1. Определите смысл строки
Допустим, нужна таблица для изучения текста и сохраненной оценки исторических публикаций сообщества python. Сначала определите единицу хранения: одна принятая исходная публикация, а сведения о запуске находятся отдельно. Это проект вашей таблицы, не обещание наличия всех полей в каждом ответе. Решите, какие сведения обязательны для анализа и без чего строку все еще можно использовать.
2. Сохраните исходный ответ
Выполните с сервера запрос https://api.redditdataapi.com/v1/posts?subreddit=python&limit=3 и сохраните фактически полученный JSON до преобразования. Рядом запишите маршрут, параметры без секретов, время получения и версию загрузчика. Независимый исторический архив не является официальной лентой Reddit. Пакет не доказывает полного охвата сообщества, а успешный пустой ответ тоже должен иметь место в журнале задания.
3. Сопоставьте свойства и столбцы
Включайте в карту только наблюдаемые свойства или поля, отсутствие которых вы явно умеете обрабатывать. Для id выберите правило сохранения исходной строки. Для title и text определите разницу между отсутствующим свойством, null и пустой строкой. Для score перечислите допустимые числовые значения и не превращайте пропуск в ноль незаметно для дальнейшего анализа.
Перед преобразованием created_utc проверьте исходное значение и единицу времени. При неудаче оставьте оригинал для разбора. У каждого столбца назначения должно быть имя и записанное правило получения значения. Присутствующие parent_id и link_id допускают локальное связывание объектов, но не доказывают полноту разговора или цепочки предков.
4. Сделайте отклонение объяснимым
Для отклоненной строки сохраните исходный объект и название нарушенного правила. Ошибку типа отделяйте от намеренного исключения из анализа: в первом случае может потребоваться исправление преобразования, во втором — пересмотр критерия отбора. Посчитайте принятые, отклоненные и исключенные объекты пакета. Эти числа описывают работу вашего загрузчика с полученным материалом, а не реальную активность всего сообщества Reddit.
5. Допустите пакет в целевую таблицу
Проверьте обновленные преобразования на том же сохраненном файле, прежде чем записывать принятые строки. При наличии пригодных идентификаторов задайте правило обработки повторного объекта. Уникальность записей между страницами API не гарантирована. Храните исходные и нормализованные данные отдельно, чтобы новая версия схемы не уничтожила материал, на котором основывалась предыдущая приемка.
Продвигайте локальную контрольную точку после сохранения нужных файлов и результата загрузки. Она отмечает выполненную работу приложения, но не является устойчивым серверным курсором. Выдача идет в порядке _doc, а не по времени или релевантности; пределы составляют 100 записей на запрос и 100 страниц на одну выборку.
6. Обоснуйте следующий запрос
Запрашивайте новый пакет, когда он нужен для следующей проверки или задачи анализа, а не только ради повторного преобразования уже сохраненных значений. Воспроизводимость здесь относится к вашим входным файлам и версиям обработки. Будущая удаленная выдача может отличаться. Формат дат, семантика итогов и коды ошибок подробно описаны в документации; оплата успешных ответов, возврат резерва при сбое источника и стоимость успешных повторов — на странице тарифов. Результат этого процесса — проверяемая процедура загрузки, а не полный неизменный экспорт архива.
