Tavily로 웹사이트는 어떻게 크롤하나요?

GET /v1/tavily/crawl에 url 파라미터로 사이트 루트를 담고 SocialCrawl x-api-key를 넣어 호출하면 돼요. Tavily가 링크를 따라 사이트를 순회하며 방문한 페이지의 본문을 추출해서 돌려줘요. 문서, 블로그, 지식베이스 수집에 잘 맞아요.

LLM이 경로를 고른다는 게 무슨 뜻인가요?

자연어 instructions를 넘기면 Tavily가 LLM으로 목표에 맞는 링크만 골라 따라가요. 모든 링크를 무작정 도는 대신에요. 예를 들어 가격·제품 페이지만 따라가라고 지시하면 그 경로를 우선해서 순회해요.

크롤을 제어하는 파라미터는 뭐가 있나요?

자연어 안내를 주는 instructions, 루트에서의 순회 깊이 max_depth, 페이지 수를 정하는 limit, 범위를 좁히는 경로·도메인 필터, 그리고 페이지 본문을 어떻게 받을지 정하는 extract 옵션을 쓸 수 있어요.

map이나 search 대신 crawl은 언제 쓰나요?

목표를 향해 사이트 내 여러 페이지의 실제 본문이 필요할 땐 crawl이에요. 링크 구조만 필요하면 map, 웹 전체에서 검색어로 페이지를 찾을 땐 search고요. 세 가지 모두 같은 SocialCrawl 키로 돌아가요.

Tavily Crawl API는 요금이 얼마인가요?

한 번 호출에 1 크레딧(스탠다드 티어)이 들어요. 새 계정은 신용카드 없이 100 크레딧을 무료로 받을 수 있어서, 결제 전에 사이트 몇 곳을 크롤해 보고 instructions·깊이·필터를 충분히 조정해 보실 수 있어요.

100 크레딧 무료, 카드 등록 없이

Tavily Crawl API

Name: Tavily Crawl API
Brand: SocialCrawl
Availability: InStock

API 한 번의 호출로 Tavily Crawl 데이터를 받아 가세요. Multi-page crawl starting from a root URL. Returns each crawled page with its extracted content (unlike map, which returns only URLs). Use `instructions` to guide the crawler in natural language — Tavily uses an LLM to follow only the paths matching your intent. Use `select_*` / `exclude_*` filters (comma-separated regex patterns) to constrain scope.

2026년 6월 업데이트

무료로 시작하기 문서 보기

Tavily Crawl API, 직접 써 보세요

코드 한 줄 짜기 전에, 실제 데이터부터

GET/v1/tavily/crawl

url필수

Root URL to begin crawling.

선택 파라미터 12개

max_depth

Maximum link depth from the root URL. Defaults to 1.

max_breadth

Maximum number of links followed per level (per page). Defaults to 20.

limit

Total number of pages the crawler will process before stopping. Defaults to 50.

instructions

Natural-language instructions for the crawler (e.g. 'Find all product pages with pricing').

select_paths

Comma-separated regex patterns — only crawl URLs whose path matches.

select_domains

Comma-separated regex patterns — only crawl URLs whose domain matches.

exclude_paths

Comma-separated regex patterns — skip URLs whose path matches.

exclude_domains

Comma-separated regex patterns — skip URLs whose domain matches.

allow_external

Whether to follow links to external domains. Defaults to true.

extract_depth

Per-page extraction strategy. `basic` is faster; `advanced` handles harder pages.

format

Output format for extracted content. `markdown` (default) or `text`.

Crawl API로 무엇을 할 수 있을까요

Crawl 엔드포인트가 통합 스키마와 계산 필드를 담은 Tavily 데이터를 한 번의 요청으로 보내드려요. 스크래핑 인프라를 직접 만들거나 유지할 필요가 없어요.

요청 예시

curl "https://www.socialcrawl.dev/v1/tavily/crawl?url=https%3A%2F%2Fdocs.tavily.com" \
  -H "x-api-key: YOUR_API_KEY"

import requests

response = requests.get(
    "https://www.socialcrawl.dev/v1/tavily/crawl",
    headers={"x-api-key": "YOUR_API_KEY"},
    params={"url": "https://docs.tavily.com"},
)
data = response.json()

const params = new URLSearchParams({
  "url": "https://docs.tavily.com",
});

const response = await fetch(`https://www.socialcrawl.dev/v1/tavily/crawl?${params}`, {
  headers: { "x-api-key": "YOUR_API_KEY" },
});
const data = await response.json();

파라미터

파라미터	필수	설명
url	예	Root URL to begin crawling.
max_depth	아니오	Maximum link depth from the root URL. Defaults to 1.
max_breadth	아니오	Maximum number of links followed per level (per page). Defaults to 20.
limit	아니오	Total number of pages the crawler will process before stopping. Defaults to 50.
instructions	아니오	Natural-language instructions for the crawler (e.g. 'Find all product pages with pricing').
select_paths	아니오	Comma-separated regex patterns — only crawl URLs whose path matches.
select_domains	아니오	Comma-separated regex patterns — only crawl URLs whose domain matches.
exclude_paths	아니오	Comma-separated regex patterns — skip URLs whose path matches.
exclude_domains	아니오	Comma-separated regex patterns — skip URLs whose domain matches.
allow_external	아니오	Whether to follow links to external domains. Defaults to true.
extract_depth	아니오	Per-page extraction strategy. `basic` is faster; `advanced` handles harder pages. (basic \| advanced)
format	아니오	Output format for extracted content. `markdown` (default) or `text`. (markdown \| text)
categories	아니오	Comma-separated list of category hints to bias the crawl toward.

API 상세

Tavily Crawl API는 어떻게 동작하나요

API 키와 함께 GET 요청을 보내면, 통합 스키마와 계산 필드를 담은 깔끔한 JSON이 돌아와요.

메서드

GET

응답 형식

JSON

왜 SocialCrawl인가요

Tavily Crawl 데이터는 왜 SocialCrawl로 가져올까요

Tavily 데이터 추출에서 까다로운 부분은 SocialCrawl이 가려 드려요. 통합 스키마, AI 인리치먼트, 그리고 코드에 남지 않는 플랫폼 로직까지.

모든 플랫폼이 같은 스키마 — 연동은 한 번이면 끝이에요
모든 응답에 계산 필드: 참여율·예상 도달·카테고리·언어
스크래핑 인프라도, 프록시도, 속도 제한도 신경 쓰지 않아도 돼요
Tavily의 실시간 데이터 — 캐시도, 지연도 없어요

개발자 우선

소셜 미디어 데이터를 몇 초 만에 수집하는 방법

개발자를 위한 가장 빠른 소셜 미디어 스크래핑 API. 월간 활성 사용자 100억 명 이상을 포괄하는 42개 플랫폼에서 프로필, 게시물, 댓글, 분석 데이터를 수집하세요.

모든 플랫폼을 하나의 스키마로

동일한 응답 구조로 42개 플랫폼을 조회하세요. 연동은 한 번이면 충분합니다.

단순 수집을 넘어 계산된 필드 제공

모든 응답에 engagement_rate, estimated_reach, content_category, language가 포함되어 바로 활용할 수 있습니다.

코드 한 줄 쓰기 전에, 데이터부터

Visual Data Explorer — URL만 붙여넣으면 결과 카드, 정형화된 테이블, CSV 내보내기 기능을 제공합니다.

import requests

response = requests.get(
    'https://www.socialcrawl.dev/v1/tiktok/profile',
    params={'handle': 'charlidamelio'},
    headers={'x-api-key': 'sc_YOUR_API_KEY'}
)
data = response.json()

[ .JSON ]

{
  "success": true,
  "platform": "tiktok",
  "data": {
    "author": {
      "username": "charlidamelio",
      "followers": 152400000
    },
    "engagement": {
      "likes": 12400000000,
      "engagement_rate": 0.087
    },
    "metadata": {
      "language": "en",
      "content_category": "lifestyle"
    }
  }
}

+ 42개 플랫폼

자주 묻는 질문

궁금한 점이 있으신가요? 답변해 드립니다

SocialCrawl의 API, 요금제, 기능에 대한 자주 묻는 질문을 확인하세요.

문의하기

AI에게 SocialCrawl을 물어보세요

ChatGPT에 물어보기 Perplexity에 물어보기 Gemini에 물어보기 Claude에 물어보기 Grok에 물어보기

Tavily Crawl 데이터, 가져올 준비 되셨어요?

API 키 받고 60초 안에 Tavily 데이터를 받아 가세요.

무료로 시작하기