1. Définissez ce que représente une ligne
Supposons une table destinée à examiner le texte et le score enregistré de publications de python. Une ligne représente une publication source acceptée ; les métadonnées d’exécution restent séparées. Décidez des valeurs indispensables à l’analyse. Cette conception locale ne garantit pas la présence de toutes les propriétés ni la récupération de toutes les publications.
2. Préservez le fichier d’entrée
Commencez par https://api.redditdataapi.com/v1/posts?subreddit=python&limit=3. Conservez la réponse avant conversion avec la route, les paramètres sans secret, l’heure et la version du traitement. Ces archives historiques indépendantes ne sont pas Reddit en direct. Un résultat vide réussi doit lui aussi figurer dans le suivi du lot.
3. Décrivez les conversions
Associez les propriétés observées aux colonnes cibles. Pour id, choisissez la conservation de la chaîne d’origine si elle convient. Pour title et text, distinguez absence, null et chaîne vide. Pour score, indiquez les types numériques admis sans remplacer une absence par zéro. Vérifiez l’unité de created_utc avant la conversion temporelle.
Marquez les colonnes calculées comme vos propres choix. Gardez la valeur source si une transformation échoue. Les éventuels parent_id et link_id autorisent des relations locales, sans établir une arborescence complète. Le serveur ne valide pas automatiquement le schéma choisi pour votre entrepôt.
4. Rendez chaque rejet explicable
Conservez l’objet et la règle en échec. Séparez les conflits de type des exclusions volontaires : corriger une conversion et modifier une politique de sélection sont deux décisions différentes. Comptez les objets acceptés, rejetés et exclus pour ce lot. Ces nombres décrivent votre traitement des entrées, pas l’activité globale de la communauté.
5. Acceptez le lot avant son insertion
Testez les nouvelles règles sur les mêmes fichiers avant de charger les lignes admises. Si des identifiants appropriés existent, définissez le traitement d’un objet répété. Les pages ne sont pas garanties sans doublons. Gardez entrée brute et sortie normalisée séparées pour ne pas effacer les exemples ayant justifié le chargement précédent.
N’avancez le point de contrôle qu’après enregistrement des fichiers requis et du résultat de chargement. Il suit votre travail sans figer le serveur. L’ordre _doc n’est ni chronologique ni par pertinence ; les limites sont de 100 enregistrements par requête et 100 pages par recherche.
6. Motivez la prochaine récupération
Demandez un autre lot pour un besoin précis de validation ou d’analyse, pas seulement pour rejouer une conversion locale. Les réponses futures peuvent changer. La documentation explique dates et totaux ; les tarifs précisent réussites facturées, réserves restituées et nouvelles tentatives. Le livrable est une procédure de chargement vérifiable, pas une exportation exhaustive et immuable des archives.
