AI 웹 스크레이핑 에이전트
템플릿 개요
| 항목 | 설명 |
|---|---|
| 분류 | 🤖 AI · 📄 데이터 수집 |
| 통합 앱 | OpenAI, HTTP Request, Code |
| 난이도 | ⭐⭐⭐ 고급 |
| 제작자 | n8n 공식 팀 |
작동 방식
이 워크플로는 웹페이지를 자동으로 스크레이핑할 수 있는 AI 에이전트를 생성합니다. 사용자는 단지 URL만 제공하면, 에이전트가 자동으로 페이지 콘텐츠를 가져오고, 구조를 분석하며, 핵심 정보를 추출한 후 구조화된 형식으로 결과를 반환합니다.
핵심 기능
- 지능형 스크레이핑 — AI가 스스로 스크레이핑 전략과 데이터 추출 방식을 결정
- 구조화된 출력 — 웹페이지 정보를 자동으로 테이블 또는 JSON 형식으로 정리
- 다중 페이지 지원 — 링크를 자동으로 추적하여 여러 페이지를 스크레이핑 가능
- 오류 허용 기능 — 내장된 재시도 및 오류 처리 메커니즘 포함
워크플로 노드
Manual Chat Trigger → AI Agent
├── OpenAI Chat Model
├── HTTP Request Tool (웹페이지 스크레이핑)
├── Code Tool (HTML 파싱)
└── Memory Buffer
사용 방법
- 템플릿 가져오기 — n8n에서 이 워크플로를 가져옵니다.
- OpenAI 설정 — OpenAI API 키를 추가합니다.
- 대화 시작 — 에이전트에게 스크레이핑할 대상을 요청합니다.
- 결과 확인 — AI가 자동으로 스크레이핑을 완료하고 구조화된 데이터를 반환합니다.
사용 사례
- 🔍 경쟁사 가격 모니터링
- 📊 시장 데이터 수집
- 📧 연락처 정보 수집
- 🏷️ 제품 정보 집계