1. Die Bedeutung einer Zeile festlegen
Angenommen, eine Tabelle soll Text und gespeicherten Score historischer python-Beiträge enthalten. Definieren Sie eine Zeile als einen angenommenen Quellbeitrag, während Laufmetadaten getrennt bleiben. Legen Sie fest, welche Informationen unverzichtbar sind. Dieser lokale Entwurf sagt weder alle Eigenschaften jedes Datensatzes noch die Verfügbarkeit sämtlicher Beiträge zu.
2. Den unveränderten Eingang sichern
Speichern Sie vor der Normalisierung die Originalantwort sowie ein Manifest mit Route, Filtern, Seite, Ausführungszeit und Transformationsversion. Ein Checkpoint beschreibt den Fortschritt Ihres Laufs, friert aber den Suchindex nicht ein. Für wiederholbare lokale Tests lesen Sie die gespeicherten Antworten erneut ein. Behandeln Sie fehlende Felder, Nullwerte und Typkonflikte nach dokumentierten Regeln.
Verwenden Sie zunächst https://api.redditdataapi.com/v1/posts?subreddit=python&limit=3. Das unabhängige historische Archiv ist kein offizieller Live-Dienst. Protokollieren Sie auch einen erfolgreichen leeren Eingang, ohne ihn mit einem Verarbeitungsfehler gleichzusetzen.
3. Die Feldzuordnung ausarbeiten
Ordnen Sie beobachtete Eigenschaften konkreten Zielspalten zu. Entscheiden Sie für id, ob die ursprüngliche Zeichenfolge erhalten bleibt. Unterscheiden Sie bei title und text zwischen fehlendem Feld, null und leerem Text. Definieren Sie für score zulässige numerische Typen, ohne fehlende Angaben stillschweigend auf null Punkte zu setzen. Prüfen Sie bei created_utc die Einheit vor der Zeitumrechnung.
Kennzeichnen Sie abgeleitete Spalten als eigene Transformation. Erhalten Sie den Quellwert, wenn eine Konvertierung scheitert. Optionale parent_id- oder link_id-Felder erlauben lokale Beziehungen, beweisen aber keine vollständige Unterhaltung. Der Server prüft kein beliebiges Zielschema für Sie.
4. Ablehnungen mit einem Grund speichern
Eine abgewiesene Zeile braucht einen Verweis auf das Ursprungsobjekt und die verletzte Regel. Trennen Sie Typfehler von gewollten Ausschlüssen, damit klar bleibt, ob Konvertierung oder Auswahlentscheidung geändert werden muss. Zählen Sie angenommene, abgewiesene und ausgeschlossene Objekte dieser Charge. Das sind Verarbeitungszahlen Ihres Loaders, keine globale Community-Statistik.
5. Die Ladung bewusst freigeben
Testen Sie neue Regeln mit den gesicherten Eingaben, bevor Sie Zeilen übernehmen. Für geeignete Kennungen definieren Sie eine Regel für wiederholte Objekte. Die API garantiert keine Eindeutigkeit über Seiten hinweg. Halten Sie Rohdaten und normalisierte Ausgabe getrennt, damit die Grundlage einer früheren Freigabe erhalten bleibt.
Fortschritt wird erst nach gesichertem Eingang und dokumentiertem Ladeergebnis fortgeschrieben. Ein lokaler Checkpoint ist kein stabiler Servercursor. _doc ist weder chronologische noch Relevanzsortierung; zulässig sind höchstens 100 Datensätze je Anfrage und 100 Seiten je Abfrage.
6. Den nächsten Abruf begründen
Fordern Sie weiteres Material an, wenn es einer konkreten Prüfung oder Analyse dient. Eine vorhandene Datei lässt sich ohne neue Anfrage transformieren. Künftige Antworten können sich unterscheiden. Datumsfilter und Gesamtzahlen stehen in der Dokumentation, Kosten erfolgreicher Abrufe und Wiederholungen auf der Preisseite. Das Arbeitsergebnis ist Ihr prüfbares Ladeverfahren, kein vollständiger unveränderlicher Archivexport.
