100 크레딧 무료, 카드 등록 없이

Tavily Crawl API

Name: Tavily Crawl API
Brand: SocialCrawl
Availability: InStock

API 한 번의 호출로 Tavily Crawl 데이터를 받아 가세요. Multi-page crawl starting from a root URL. Returns each crawled page with its extracted content (unlike map, which returns only URLs). Use `instructions` to guide the crawler in natural language — Tavily uses an LLM to follow only the paths matching your intent. Use `select_*` / `exclude_*` filters (comma-separated regex patterns) to constrain scope.

2026년 8월 업데이트SocialCrawl 팀이 직접 관리해요

무료로 시작하기 문서 보기

시작 URL에서 링크를 따라가며 찾은 페이지를 각각의 본문 텍스트와 함께 반환합니다.

어떤 경로를 따라갈지는 자연어 지시로 조절합니다. 한 사이트에서 여러 페이지의 본문이 필요할 때 사용하세요.

48개 플랫폼을 병렬로 검색합니다

TikTok·

Instagram·

YouTube·

Facebook·

X·

LinkedIn·

Reddit·

Threads·

Pinterest·

Twitch·

Truth Social·

Snapchat·

Kick·

Bluesky·

Kwai·

Rumble·

Spotify·

TikTok Shop·

Amazon Shop·

Google Shopping·

Trustpilot·

TripAdvisor·

Linktree·

Komi·

Pillar·

lnk.bio·

Facebook Ads·

Google Ads·

LinkedIn Ads·

Google Search·

Google News·

Google Finance·

Polymarket·

Tavily·

Hacker News·

GitHub·

Perplexity·

Naver·Utility·

Universal Search

TikTok·

Instagram·

YouTube·

Facebook·

X·

LinkedIn·

Reddit·

Threads·

Pinterest·

Twitch·

Truth Social·

Snapchat·

Kick·

Bluesky·

Kwai·

Rumble·

Spotify·

TikTok Shop·

Amazon Shop·

Google Shopping·

Trustpilot·

TripAdvisor·

Linktree·

Komi·

Pillar·

lnk.bio·

Facebook Ads·

Google Ads·

LinkedIn Ads·

Google Search·

Google News·

Google Finance·

Polymarket·

Tavily·

Hacker News·

GitHub·

Perplexity·

Naver·Utility·

Universal Search

TikTok·

Instagram·

YouTube·

Facebook·

X·

LinkedIn·

Reddit·

Threads·

Pinterest·

Twitch·

Truth Social·

Snapchat·

Kick·

Bluesky·

Kwai·

Rumble·

Spotify·

TikTok Shop·

Amazon Shop·

Google Shopping·

Trustpilot·

TripAdvisor·

Linktree·

Komi·

Pillar·

lnk.bio·

Facebook Ads·

Google Ads·

LinkedIn Ads·

Google Search·

Google News·

Google Finance·

Polymarket·

Tavily·

Hacker News·

GitHub·

Perplexity·

Naver·Utility·

Universal Search

TikTok·

Instagram·

YouTube·

Facebook·

X·

LinkedIn·

Reddit·

Threads·

Pinterest·

Twitch·

Truth Social·

Snapchat·

Kick·

Bluesky·

Kwai·

Rumble·

Spotify·

TikTok Shop·

Amazon Shop·

Google Shopping·

Trustpilot·

TripAdvisor·

Linktree·

Komi·

Pillar·

lnk.bio·

Facebook Ads·

Google Ads·

LinkedIn Ads·

Google Search·

Google News·

Google Finance·

Polymarket·

Tavily·

Hacker News·

GitHub·

Perplexity·

Naver·Utility·

Universal Search

Tavily API

Crawl API로 무엇을 할 수 있을까요

Crawl 엔드포인트가 통합 스키마와 계산 필드를 담은 Tavily 데이터를 한 번의 요청으로 보내드려요. 스크래핑 인프라를 직접 만들거나 유지할 필요가 없어요.

요청 예시

curl -H "x-api-key: YOUR_API_KEY" \
  "https://www.socialcrawl.dev/v1/tavily/crawl?url=https%3A%2F%2Fdocs.tavily.com"

import requests

response = requests.get(
    "https://www.socialcrawl.dev/v1/tavily/crawl",
    params={
    'url': 'https://docs.tavily.com',
    },
    headers={"x-api-key": "YOUR_API_KEY"},
)

data = response.json()

const response = await fetch(
  "https://www.socialcrawl.dev/v1/tavily/crawl?url=https%3A%2F%2Fdocs.tavily.com",
  {
    headers: { "x-api-key": "YOUR_API_KEY" },
  },
);

const data = await response.json();

파라미터

파라미터	필수	설명
url	예	Root URL to begin crawling.
max_depth	아니오	Maximum link depth from the root URL. Defaults to 1.
max_breadth	아니오	Maximum number of links followed per level (per page). Defaults to 20.
limit	아니오	Total number of pages the crawler will process before stopping. Defaults to 50.
instructions	아니오	Natural-language instructions for the crawler (e.g. 'Find all product pages with pricing').
select_paths	아니오	Comma-separated regex patterns — only crawl URLs whose path matches.
select_domains	아니오	Comma-separated regex patterns — only crawl URLs whose domain matches.
exclude_paths	아니오	Comma-separated regex patterns — skip URLs whose path matches.
exclude_domains	아니오	Comma-separated regex patterns — skip URLs whose domain matches.
allow_external	아니오	Whether to follow links to external domains. Defaults to true.
extract_depth	아니오	Per-page extraction strategy. `basic` is faster; `advanced` handles harder pages. (basic \| advanced)
format	아니오	Output format for extracted content. `markdown` (default) or `text`. (markdown \| text)
categories	아니오	Comma-separated list of category hints to bias the crawl toward.

응답 예시

Tavily Crawl API는 무엇을 돌려주나요

모든 응답은 하나의 통합 스키마를 따라요. 크레딧을 쓰기 전에 어떤 필드가 돌아오는지, 실제 응답 본문 그대로 확인해 보세요.

응답 예시 보기

{
  "success": true,
  "platform": "instagram",
  "endpoint": "/v1/instagram/engagement",
  "data": {
    "engagement_rate_percentages": 38.33,
    "recent_posts": 12,
    "followers": 87608035,
    "comments": 528912,
    "likes": 33049046,
    "recent_posts_explanation": "Statistics based on the last 12 posts",
    "id_user": "2278169415",
    "username": "mrbeast",
    "is_private": false,
    "posts_details": [
      {
        "likes": 5636982,
        "comments": 69484,
        "taken_at": 1781457954,
        "datetime": "2026-06-14 20:25:54",
        "hours_since_post": 461,
        "time_ago": "19 days ago",
        "likes_per_hour": 12228,
        "comments_per_hour": 151
      },
      {
        "likes": 20000768,
        "comments": 223510,
        "taken_at": 1732824650,
        "datetime": "2024-11-28 23:10:50",
        "hours_since_post": 13971,
        "time_ago": "2 years ago",
        "likes_per_hour": 1432,
        "comments_per_hour": 16
      },
      {
        "likes": 929226,
        "comments": 30633,
        "taken_at": 1782232475,
        "datetime": "2026-06-23 19:34:35",
        "hours_since_post": 246,
        "time_ago": "10 days ago",
        "likes_per_hour": 3777,
        "comments_per_hour": 125
      },
      {
        "likes": 487761,
        "comments": 22482,
        "taken_at": 1781799425,
        "datetime": "2026-06-18 19:17:05",
        "hours_since_post": 366,
        "time_ago": "15 days ago",
        "likes_per_hour": 1333,
        "comments_per_hour": 61
      },
      {
        "likes": 712265,
        "comments": 15716,
        "taken_at": 1781366405,
        "datetime": "2026-06-13 19:00:05",
        "hours_since_post": 487,
        "time_ago": "20 days ago",
        "likes_per_hour": 1463,
        "comments_per_hour": 32
      },
      {
        "likes": 1475116,
        "comments": 35386,
        "taken_at": 1781277094,
        "datetime": "2026-06-12 18:11:34",
        "hours_since_post": 512,
        "time_ago": "21 days ago",
        "likes_per_hour": 2881,
        "comments_per_hour": 69
      },
      {
        "likes": 1108220,
        "comments": 26632,
        "taken_at": 1780160249,
        "datetime": "2026-05-30 19:57:29",
        "hours_since_post": 822,
        "time_ago": "1 months ago",
        "likes_per_hour": 1348,
        "comments_per_hour": 32
      },
      {
        "likes": 542948,
        "comments": 28476,
        "taken_at": 1779375582,
        "datetime": "2026-05-21 17:59:42",
        "hours_since_post": 1040,
        "time_ago": "1 months ago",
        "likes_per_hour": 522,
        "comments_per_hour": 27
      },
      {
        "likes": 698514,
        "comments": 24401,
        "taken_at": 1779120014,
        "datetime": "2026-05-18 19:00:14",
        "hours_since_post": 1111,
        "time_ago": "2 months ago",
        "likes_per_hour": 629,
        "comments_per_hour": 22
      },
      {
        "likes": 468000,
        "comments": 13548,
        "taken_at": 1778947209,
        "datetime": "2026-05-16 19:00:09",
        "hours_since_post": 1159,
        "time_ago": "2 months ago",
        "likes_per_hour": 404,
        "comments_per_hour": 12
      },
      {
        "likes": 526594,
        "comments": 24411,
        "taken_at": 1777737719,
        "datetime": "2026-05-02 19:01:59",
        "hours_since_post": 1495,
        "time_ago": "2 months ago",
        "likes_per_hour": 352,
        "comments_per_hour": 16
      },
      {
        "likes": 462652,
        "comments": 14233,
        "taken_at": 1777580305,
        "datetime": "2026-04-30 23:18:25",
        "hours_since_post": 1538,
        "time_ago": "2 months ago",
        "likes_per_hour": 301,
        "comments_per_hour": 9
      }
    ]
  },
  "credits_used": 5,
  "credits_remaining": 9999,
  "request_id": "req-8Kq2ZmR4vT9xLb3P",
  "cached": false
}

Instagram API에서 가져온 예시예요. 모든 SocialCrawl 엔드포인트가 똑같은 통합 스키마를 돌려주기 때문에, Tavily Crawl 응답도 같은 필드로 구성돼요.

API 상세

Tavily Crawl API는 어떻게 동작하나요

API 키와 함께 GET 요청을 보내면, 통합 스키마와 계산 필드를 담은 깔끔한 JSON이 돌아와요.

메서드

GET

응답 형식

JSON

왜 SocialCrawl인가요

Tavily Crawl 데이터는 왜 SocialCrawl로 가져올까요

Tavily 데이터 추출에서 까다로운 부분은 SocialCrawl이 가려 드려요. 통합 스키마, AI 인리치먼트, 그리고 코드에 남지 않는 플랫폼 로직까지.

모든 플랫폼이 같은 스키마 — 연동은 한 번이면 끝이에요
엔드포인트가 해당 지표를 지원하고 계산에 필요한 원본 값이 있을 때 참여율·예상 도달·카테고리·언어 같은 계산 필드도 함께 와요
스크래핑 인프라도, 프록시도, 속도 제한도 신경 쓰지 않아도 돼요
Tavily의 현재 공개 데이터 — 엔드포인트별로 문서에 적힌 캐시 구간을 쓰고 적중하면 0크레딧이에요. Cache-Control: no-cache를 보내면 정상 요금으로 새로 조회해요

개발자 우선

소셜 미디어 데이터를 몇 초 만에 수집하는 방법

개발자를 위한 가장 빠른 소셜 미디어 스크래핑 API. 월간 활성 사용자 100억 명 이상을 포괄하는 48개 플랫폼에서 프로필, 게시물, 댓글, 분석 데이터를 수집하세요.

모든 플랫폼을 하나의 스키마로

동일한 응답 구조로 48개 플랫폼을 조회하세요. 연동은 한 번이면 충분합니다.

단순 수집을 넘어 계산된 필드 제공

엔드포인트가 해당 지표를 지원하고 계산에 필요한 원본 값이 있을 때, 정규화된 레코드에 engagement_rate, estimated_reach, content_category, language를 함께 담아 바로 활용할 수 있습니다.

코드 한 줄 쓰기 전에, 데이터부터

Visual Data Explorer — URL만 붙여넣으면 결과 카드, 정형화된 테이블, CSV 내보내기 기능을 제공합니다.

import requests

response = requests.get(
    'https://www.socialcrawl.dev/v1/tiktok/profile',
    params={'handle': 'charlidamelio'},
    headers={'x-api-key': 'sc_YOUR_API_KEY'}
)
data = response.json()

[ .JSON ]

{
  "success": true,
  "platform": "tiktok",
  "data": {
    "author": {
      "username": "charlidamelio",
      "followers": 152400000
    },
    "engagement": {
      "likes": 12400000000,
      "engagement_rate": 0.087
    },
    "metadata": {
      "language": "en",
      "content_category": "lifestyle"
    }
  }
}

+ 48개 플랫폼

자주 묻는 질문

API, 요금제, 기능에 대한 질문과 답변입니다.

문의하기

Tavily로 웹사이트는 어떻게 크롤하나요?

GET /v1/tavily/crawl에 url 파라미터로 사이트 루트를 담고 SocialCrawl x-api-key를 넣어 호출하면 돼요. Tavily가 링크를 따라 사이트를 순회하며 방문한 페이지의 본문을 추출해서 돌려줘요. 문서, 블로그, 지식베이스 수집에 잘 맞아요.

LLM이 경로를 고른다는 게 무슨 뜻인가요?

자연어 instructions를 넘기면 Tavily가 LLM으로 목표에 맞는 링크만 골라 따라가요. 모든 링크를 무작정 도는 대신에요. 예를 들어 가격·제품 페이지만 따라가라고 지시하면 그 경로를 우선해서 순회해요.

크롤을 제어하는 파라미터는 뭐가 있나요?

자연어 안내를 주는 instructions, 루트에서의 순회 깊이 max_depth, 페이지 수를 정하는 limit, 범위를 좁히는 경로·도메인 필터, 그리고 페이지 본문을 어떻게 받을지 정하는 extract 옵션을 쓸 수 있어요.

map이나 search 대신 crawl은 언제 쓰나요?

목표를 향해 사이트 내 여러 페이지의 실제 본문이 필요할 땐 crawl이에요. 링크 구조만 필요하면 map, 웹 전체에서 검색어로 페이지를 찾을 땐 search고요. 세 가지 모두 같은 SocialCrawl 키로 돌아가요.

Tavily Crawl API는 요금이 얼마인가요?

한 번 호출에 1 크레딧(스탠다드 티어)이 들어요. 새 계정은 신용카드 없이 100 크레딧을 무료로 받을 수 있어서, 결제 전에 사이트 몇 곳을 크롤해 보고 instructions·깊이·필터를 충분히 조정해 보실 수 있어요.

AI에게 SocialCrawl을 물어보세요

ChatGPT에 물어보기 Perplexity에 물어보기 Gemini에 물어보기 Claude에 물어보기 Grok에 물어보기

Tavily API의 다른 엔드포인트

Tavily의 모든 엔드포인트가 같은 통합 스키마를 돌려줘요.

Search Extract Map

API 레퍼런스 Tavily API 가이드

Tavily Crawl 데이터, 가져올 준비 되셨어요?

API 키 받고 60초 안에 Tavily 데이터를 받아 가세요.

무료로 시작하기

🤖 AI 에이전트나 LLM이신가요? 이 페이지를 markdown으로 읽어보세요