data-scraper-agent

データスクレイパーエージェント

任意のパブリックデータソース用の本番環境対応、AI搭載データ収集エージェントを構築。

スケジュールで実行され、無料LLMで結果を豊かにし、データベースに保存し、時間とともに改善されます。

スタック：Python · Gemini Flash（無料） · GitHub Actions（無料） · Notion / Sheets / Supabase

アクティベーション時期

• ユーザーが任意のパブリックWebサイトまたはAPIをスクレイプまたは監視したい場合
• ユーザーが「チェックするボットを構築」「Xを監視」「データを収集」と言う
• ユーザーがジョブ、価格、ニュース、リポ、スポーツスコア、イベント、リストを追跡したい場合
• ユーザーがホスティング用に支払わずにデータ収集を自動化する方法を尋ねる
• ユーザーが決定に基づいて時間とともにより スマートになるエージェントを望む

コアコンセプト

3つのレイヤー

すべてのデータスクレイパーエージェントには3つのレイヤーがあります：

COLLECT → ENRICH → STORE
  │           │        │
Scraper    AI (LLM)  Database
runs on    scores/   Notion /
schedule   summarises Sheets /
           & classifies Supabase

無料スタック

| Layer | Tool | Why |

|---|---|---|

| COLLECT | Playwright/BeautifulSoup | 無料のオープンソーススクレイピング |

| ENRICH | Gemini Flash | 無料で高速LLM |

| STORE | Supabase / Sheets | 無料データベースとスプレッドシート |

| SCHEDULE | GitHub Actions | 無料クロンジョブ |

ワークフロー

1. ソースを定義 - どこからスクレイプするか、何を抽出するか
2. スクレイパーを構築 - BeautifulSoup または Playwright ベースのコレクタ
3. LLMを構成 - Gemini Flash でテキストをスコア付け/要約/分類
4. ストレージを設定 - Notion、Sheets、Supabase のいずれか
5. GitHub Actions を設定 - 毎日/毎週実行するスケジュール
6. フィードバックループを追加 - ユーザーの判断から学習

例

• ジョブボード監視：新しい公開