Redditの項目に、保存先の列を決める

少量の過去投稿で項目の対応表を作り、欠損値と型を確認します。元の応答を残し、受入可能な行を選んでデータ倉庫へ進める手順です。

リクエスト例

cURL

curl --fail-with-body -H "Authorization: Bearer YOUR_API_KEY" "https://api.redditdataapi.com/v1/posts?subreddit=python&limit=3"

3件の投稿から取込設計を始める

接続に成功しても、分析に使える表ができたとは限りません。各列の意味、値がない場合の扱い、取り込めなかった行の保存先が必要です。Reddit Data APIでは過去のフラットなレコードを取得し、小さな入力でこれらの判断を試してから、大きな取込処理へ進めます。最初の目的は取得量を増やすことではなく、受け入れる行の条件を明確にすることです。

出発点はhttps://api.redditdataapi.com/v1/posts?subreddit=python&limit=3です。pythonの投稿を最大3件求めるもので、無作為抽出や全件調査ではありません。サービスはRedditと提携していない独立した過去のアーカイブで、ライブ更新は提供しません。想像した投稿スキーマではなく、実際に返ったオブジェクトを設計材料にしてください。

項目と列の対応を文章にする

観測した項目ごとに、保存先の列、許容する型、値がない場合の規則を記録します。存在するidは、自分で定義したsource_record_id列へ文字列のまま保存する方法があります。created_utcは値と単位を確認してから時刻型へ変換します。これらは利用側の設計であり、APIが倉庫専用の出力スキーマを生成するわけではありません。

scoreがないことと、scoreが0であることは別です。項目の省略、明示的なnull、空文字列も必要に応じて区別します。既定値を入れる前にその意味を決め、ローカルの検証例を添えてください。小さな応答から設計上の疑問は見つけられますが、以後のすべてのレコードが同じ形であるとは確認できません。

元の応答と受入行を分ける

正規化する前に原本の応答を保存します。中間処理でローカルのバッチ識別子と変換版を付け、条件に合わないオブジェクトは理由付きで確認用に分けます。変換を修正した後も、同じ保存済みファイルで試せるため、検証のたびに同じページを取り直す必要はありません。

この再処理が検証するのは自分のコードです。将来の応答や記録の可用性、完全な収集を保証するものではありません。parent_idやlink_idがあればローカルの関連付けは可能ですが、完全な会話の存在は証明しません。計算した関係と元の項目を分けて保存すると、表の値の由来を説明できます。

書き込む前にバッチを照合する

受信したオブジェクト数を、受入、拒否、意図的な除外の数と照合します。実際のキーが列や共有記録に混ざっていないことも確認します。成果物は、別の担当者が読める項目対応表と取込の受入手順です。これはアーカイブ全体の形式を認証するものではありません。

ガイドではこの作業を順に進め、文書ページでは取得条件を説明します。取得成功は空結果も1クレジット、1000回で$1です。このドメインのキーを支払い前に取得し、利用可能な残高を確認してください。次の取得予算は価格ページを参照し、倉庫の行数ではなく成功したリクエスト数で考えます。