1. Definisci il significato della riga
Immagina una tabella per esaminare testo e punteggio registrato delle pubblicazioni di python. Una riga rappresenta una pubblicazione accettata, mentre i metadati dell’esecuzione restano separati. Decidi quali informazioni sono indispensabili. Questo progetto locale non promette la presenza di tutte le proprietà né il recupero di ogni pubblicazione della community.
2. Conserva l’ingresso senza modificarlo
Richiedi https://api.redditdataapi.com/v1/posts?subreddit=python&limit=3 dal server e salva la risposta prima delle conversioni. Registra percorso, parametri senza segreti, orario e versione del caricatore. L’archivio storico indipendente non è Reddit ufficiale in tempo reale. Registra anche un risultato vuoto riuscito, senza confonderlo con un errore della trasformazione.
3. Documenta la mappa dei campi
Associa ogni proprietà osservata a una colonna. Per id, stabilisci se mantenere la stringa originale. Per title e text, distingui proprietà omessa, null e testo vuoto. Per score, specifica i tipi numerici accettati senza trasformare un’assenza in zero. Verifica l’unità di created_utc prima della conversione temporale. Conserva un esempio per ciascuna decisione.
Indica quali colonne derivano dalle tue regole. Mantieni l’originale se una conversione fallisce. Gli eventuali parent_id e link_id permettono collegamenti locali, non dimostrano la presenza di un intero albero. Il server non esegue la validazione del tuo schema di destinazione.
4. Rendi esaminabile un rifiuto
Salva l’oggetto originale e la regola non rispettata. Separa errori di tipo da esclusioni deliberate: modificare un convertitore e cambiare un criterio di analisi sono interventi diversi. Conta record accettati, rifiutati ed esclusi nel lotto. Sono conteggi del tuo trattamento degli ingressi, non statistiche sull’attività dell’intera community.
5. Ammetti il lotto nel warehouse
Prova le nuove regole sugli stessi file conservati prima di inserire le righe. Se sono disponibili identificatori adatti, definisci cosa accade a un oggetto ripetuto. Le pagine non sono garantite uniche. Conserva ingresso e risultato normalizzato separatamente, per non perdere la base su cui è stata approvata una precedente versione della trasformazione.
Aggiorna il punto di controllo dopo aver registrato file e risultato del caricamento. È uno stato locale, non un cursore stabile del server. L’ordine _doc non è cronologico né per rilevanza; i limiti sono 100 record per richiesta e 100 pagine per query.
6. Motiva la prossima richiesta
Recupera altro materiale quando serve a una verifica o a un’analisi definita. Per ripetere una conversione usa invece gli ingressi salvati. Le risposte future possono cambiare. Consulta la documentazione per date e totali e i prezzi per successi addebitati, riserve restituite e ripetizioni. Il risultato è un procedimento di caricamento verificabile, non un’esportazione completa e immutabile dell’archivio.
