1. Define qué representa una fila
Supón una tabla para estudiar texto y puntuación registrada de publicaciones de python. Define una fila como una publicación de origen aceptada, y separa los metadatos de ejecución. Decide qué campos necesita el análisis y cuáles pueden faltar. Este diseño local no implica que el archivo entregue siempre esos atributos ni todas las publicaciones.
2. Conserva la entrada sin transformar
Conserva las respuestas originales en una zona de entrada y un manifiesto con ruta, filtros, página, fecha de ejecución y versión de transformación. Un punto de control describe el avance, pero no congela la paginación del proveedor. Para repetir el análisis procesa los archivos conservados. min_score es un filtro de consulta, no un campo devuelto para ordenar ni una garantía de reproducibilidad.
Usa https://api.redditdataapi.com/v1/posts?subreddit=python&limit=3 para la primera entrada. Es un archivo histórico independiente, no oficial ni en vivo. Guarda también un éxito vacío: no lo conviertas en un error de análisis o en prueba de ausencia de actividad.
3. Revisa cada correspondencia
Para id, decide si conservarás el texto original. Para title y text, distingue propiedad ausente, null y cadena vacía. Para score, define los tipos numéricos aceptados sin convertir un valor desconocido en cero. Comprueba la unidad de created_utc antes de elegir la conversión temporal. Documenta columnas derivadas como decisiones tuyas, no campos garantizados del proveedor.
4. Haz que un rechazo sea útil
En Python, comprueba el estado HTTP antes de interpretar JSON y valida tipos antes de construir filas. Separa los objetos rechazados en una zona de revisión y registra el motivo sin borrar la respuesta original. Carga primero una tabla de preparación. Define las reglas de combinación a partir de identificadores observados, sin asumir que todas las páginas tienen registros únicos.
Separa errores de tipo de exclusiones intencionadas. Conserva una referencia al objeto original para que corregir una regla no implique perder el ejemplo que la hizo fallar.
5. Promueve el lote con una conciliación
Contrasta el número de objetos recibidos con aceptados, rechazados y excluidos. Si hay identificadores adecuados, documenta cómo tratarás un objeto repetido: las páginas no están garantizadas como únicas. Las relaciones opcionales parent_id y link_id solo enlazan lo observado; no completan hilos. Actualiza el punto de control después de registrar el resultado de la carga, no antes.
6. Solicita más datos por una razón
Reprocesa archivos guardados para probar cambios de transformación. Solicita otra página cuando aporte material necesario, dentro de 100 registros por petición y 100 páginas por consulta. El orden _doc no es cronológico ni por relevancia; un punto de control no congela el servidor. Documentación explica fechas y totales, y Precios los éxitos cobrados y reintentos. El entregable es tu procedimiento de carga, no un archivo remoto inmutable.
