400 크레딧 무료, 카드 등록 없이지금 시작하기
Logo
무료로 시작하기
400 크레딧 무료, 카드 등록 없이

Crawl 데이터 API

API 한 번의 호출로 Tavily Crawl 데이터를 받아 가세요. Multi-page crawl starting from a root URL. Returns each crawled page with its extracted content (unlike map, which returns only URLs). Use `instructions` to guide the crawler in natural language — Tavily uses an LLM to follow only the paths matching your intent. Use `select_*` / `exclude_*` filters (comma-separated regex patterns) to constrain scope.

무료로 시작하기문서 보기

Tavily Crawl API, 직접 써 보세요

코드 한 줄 짜기 전에, 실제 데이터부터

GET/v1/tavily/crawl

Root URL to begin crawling.

선택 파라미터 12개

Maximum link depth from the root URL. Defaults to 1.

Maximum number of links followed per level (per page). Defaults to 20.

Total number of pages the crawler will process before stopping. Defaults to 50.

Natural-language instructions for the crawler (e.g. 'Find all product pages with pricing').

Comma-separated regex patterns — only crawl URLs whose path matches.

Comma-separated regex patterns — only crawl URLs whose domain matches.

Comma-separated regex patterns — skip URLs whose path matches.

Comma-separated regex patterns — skip URLs whose domain matches.

Whether to follow links to external domains. Defaults to true.

Per-page extraction strategy. `basic` is faster; `advanced` handles harder pages.

Output format for extracted content. `markdown` (default) or `text`.

Comma-separated list of category hints to bias the crawl toward.

27개 플랫폼을 한 번에 살펴봐요

·TikTok·Instagram·YouTube·Facebook·X·LinkedIn·Reddit·Threads·Pinterest·Twitch·Truth Social·Snapchat·Kick·TikTok Shop·Amazon Shop·Linktree·Komi·Pillar·lnk.bio·Facebook Ads·Google Ads·LinkedIn Ads·Google Search·Polymarket·Tavily·Hacker News·GitHub·Perplexity·UUtility·Universal Search
·TikTok·Instagram·YouTube·Facebook·X·LinkedIn·Reddit·Threads·Pinterest·Twitch·Truth Social·Snapchat·Kick·TikTok Shop·Amazon Shop·Linktree·Komi·Pillar·lnk.bio·Facebook Ads·Google Ads·LinkedIn Ads·Google Search·Polymarket·Tavily·Hacker News·GitHub·Perplexity·UUtility·Universal Search
·TikTok·Instagram·YouTube·Facebook·X·LinkedIn·Reddit·Threads·Pinterest·Twitch·Truth Social·Snapchat·Kick·TikTok Shop·Amazon Shop·Linktree·Komi·Pillar·lnk.bio·Facebook Ads·Google Ads·LinkedIn Ads·Google Search·Polymarket·Tavily·Hacker News·GitHub·Perplexity·UUtility·Universal Search
·TikTok·Instagram·YouTube·Facebook·X·LinkedIn·Reddit·Threads·Pinterest·Twitch·Truth Social·Snapchat·Kick·TikTok Shop·Amazon Shop·Linktree·Komi·Pillar·lnk.bio·Facebook Ads·Google Ads·LinkedIn Ads·Google Search·Polymarket·Tavily·Hacker News·GitHub·Perplexity·UUtility·Universal Search
Tavily API

Crawl API로 무엇을 할 수 있을까요

Crawl 엔드포인트가 통합 스키마와 계산 필드를 담은 Tavily 데이터를 한 번의 요청으로 보내드려요. 스크래핑 인프라를 직접 만들거나 유지할 필요가 없어요.

요청 예시

GET /v1/tavily/crawl?url=https%3A%2F%2Fdocs.tavily.com

파라미터

파라미터필수설명
url예Root URL to begin crawling.
max_depth아니오Maximum link depth from the root URL. Defaults to 1.
max_breadth아니오Maximum number of links followed per level (per page). Defaults to 20.
limit아니오Total number of pages the crawler will process before stopping. Defaults to 50.
instructions아니오Natural-language instructions for the crawler (e.g. 'Find all product pages with pricing').
select_paths아니오Comma-separated regex patterns — only crawl URLs whose path matches.
select_domains아니오Comma-separated regex patterns — only crawl URLs whose domain matches.
exclude_paths아니오Comma-separated regex patterns — skip URLs whose path matches.
exclude_domains아니오Comma-separated regex patterns — skip URLs whose domain matches.
allow_external아니오Whether to follow links to external domains. Defaults to true.
extract_depth아니오Per-page extraction strategy. `basic` is faster; `advanced` handles harder pages. (basic | advanced)
format아니오Output format for extracted content. `markdown` (default) or `text`. (markdown | text)
categories아니오Comma-separated list of category hints to bias the crawl toward.
API 상세

Tavily Crawl API는 어떻게 동작하나요

API 키와 함께 GET 요청을 보내면, 통합 스키마와 계산 필드를 담은 깔끔한 JSON이 돌아와요.

메서드

GET

응답 형식

JSON

왜 SocialCrawl인가요

Tavily Crawl 데이터는 왜 SocialCrawl로 가져올까요

Tavily 데이터 추출에서 까다로운 부분은 SocialCrawl이 가려 드려요. 통합 스키마, AI 인리치먼트, 그리고 코드에 남지 않는 플랫폼 로직까지.

개발자 우선

소셜 미디어 데이터를 몇 초 만에 수집하는 방법

개발자를 위한 가장 빠른 소셜 미디어 스크래핑 API. 월간 활성 사용자 100억 명 이상을 포괄하는 27개 플랫폼에서 프로필, 게시물, 댓글, 분석 데이터를 수집하세요.

모든 플랫폼을 하나의 스키마로

동일한 응답 구조로 27개 플랫폼을 조회하세요. 연동은 한 번이면 충분합니다.

단순 수집을 넘어 계산된 필드 제공

모든 응답에 engagement_rate, estimated_reach, content_category, language가 포함되어 바로 활용할 수 있습니다.

코드 없이 사용 가능

Visual Data Explorer — URL만 붙여넣으면 결과 카드, 정형화된 테이블, CSV 내보내기 기능을 제공합니다.

import requests

response = requests.get(
    'https://www.socialcrawl.dev/v1/tiktok/profile',
    params={'handle': 'charlidamelio'},
    headers={'x-api-key': 'sc_YOUR_API_KEY'}
)
data = response.json()
[ .JSON ]
{
  "success": true,
  "platform": "tiktok",
  "data": {
    "author": { "username": "charlidamelio", "followers": 124000 },
    "engagement": { "likes": 5200, "engagement_rate": 0.045 },
    "metadata": { "language": "en", "content_category": "food" }
  }
}
외 다수

Tavily Crawl 데이터, 가져올 준비 되셨어요?

API 키 받고 60초 안에 Tavily 데이터를 받아 가세요.

무료로 시작하기