AI ベースのウェブスクレイピングエージェント
テンプレートの概要
| 項目 | 説明 |
|---|---|
| カテゴリ | 🤖 AI · 📄 データ収集 |
| 使用するノード | OpenAI、HTTP Request、Code |
| 難易度 | ⭐⭐⭐ 上級 |
| 提供元 | n8n 公式チーム |
仕組み
このワークフローは、自律的にウェブスクレイピングを行う AI エージェントを作成します。URL を指定するだけで、ページの内容を自動的に取得・分析し、重要な情報を抽出して構造化された形式で結果を返します。
主な機能
- スマートスクレイピング — AI がスクレイピング戦略とデータ抽出方法を自律的に決定
- 構造化出力 — ウェブページの情報を自動的に表または JSON として整形
- 複数ページ対応（クローリング） — リンクを自動追跡し、複数ページをクロール可能
- 堅牢なエラー処理 — 再試行およびエラー処理機構を内蔵
ワークフローノード構成
Manual Chat Trigger → AI Agent
├── OpenAI Chat Model
├── HTTP Request Tool (ウェブページ取得)
├── Code Tool (HTML 解析)
└── Memory Buffer
使い方
- テンプレートのインポート — n8n でこのワークフローをインポート
- OpenAI の設定 — OpenAI API Key を追加
- エージェントに指示 — エージェントにスクレイピングしたい内容を伝える
- 結果の取得 — AI が自動でスクレイピングを実行し、構造化されたデータを返します
活用例
- 🔍 競合他社の価格モニタリング
- 📊 市場データ収集
- 📧 連絡先情報の収集
- 🏷️ 商品情報の集約