1. Defina o significado da linha
Considere uma tabela para examinar texto e pontuação registrada de publicações de python. Uma linha pode representar uma publicação aceita, enquanto os metadados da execução ficam separados. Defina quais valores o estudo realmente exige. Esse é um projeto local: não prova que todas as propriedades estarão presentes ou que a comunidade inteira será recuperada.
2. Preserve a entrada recebida
Comece com https://api.redditdataapi.com/v1/posts?subreddit=python&limit=3 e salve a resposta antes de qualquer conversão. Registre rota, parâmetros sem segredo, horário e versão do carregador. O arquivo é histórico, independente e não oficial; a resposta não descreve o Reddit ao vivo. Uma página vazia bem-sucedida também deve ser registrada como resultado do lote.
3. Especifique cada conversão
Relacione propriedades observadas e colunas de destino. Preserve id como texto se essa for sua regra. Para title e text, distinga campo ausente, null e string vazia. Para score, indique tipos numéricos aceitos sem substituir ausência por zero. Em created_utc, confira unidade e valor antes de escolher a conversão temporal.
Marque as colunas calculadas como decisões do carregador. Guarde o valor original quando uma transformação falhar. Se houver parent_id ou link_id, o vínculo local não comprova uma árvore completa; mantenha relações não resolvidas visíveis. A API não valida automaticamente seu esquema de destino.
4. Torne as rejeições examináveis
Guarde o objeto original e o nome da regra que falhou. Separe conflito de tipo de exclusão intencional: corrigir um conversor e mudar um critério de análise são decisões diferentes. Conte os objetos aceitos, rejeitados e excluídos do lote, sem apresentar essas contagens como estatísticas globais de atividade da comunidade.
5. Promova somente o lote conferido
Teste novas regras sobre os mesmos arquivos antes de inserir linhas aceitas. Defina como lidar com um identificador repetido, quando houver um identificador adequado. As páginas não garantem registros únicos. Preserve entrada e saída separadamente para que uma nova versão não apague os exemplos usados na validação anterior.
Avance o ponto de controle depois de registrar arquivos e resultado da carga. Ele acompanha seu trabalho, não congela o índice remoto. A ordem _doc não é cronológica nem por relevância; os limites são 100 registros por requisição e 100 páginas por consulta.
6. Justifique a próxima chamada
Peça outro lote quando ele servir a uma nova verificação ou análise, não apenas para repetir uma conversão local. As respostas futuras podem mudar. Consulte Documentação para datas e totais e Preços para sucessos cobrados, devolução de reservas e repetições. O produto desta etapa é um procedimento de carga revisável, e não uma exportação completa e imutável do arquivo.
