100 크레딧 무료, 카드 등록 없이

Web Batch Scrape API

Name: Web Batch Scrape API
Brand: SocialCrawl
Availability: InStock

API 한 번의 호출로 Web Batch Scrape 데이터를 받아 가세요. Starts an async batch scrape job for multiple URLs and returns a SocialCrawl job id.

2026년 7월 업데이트

무료로 시작하기 문서 보기

Web Batch Scrape API, 직접 써 보세요

코드 한 줄 짜기 전에, 실제 데이터부터

GET/v1/web/batch-scrape

44개 플랫폼을 한 번에 살펴봐요

TikTok·

Instagram·

YouTube·

Facebook·

X·

LinkedIn·

Reddit·

Threads·

Pinterest·

Twitch·

Truth Social·

Snapchat·

Kick·

Bluesky·

Kwai·

Rumble·

Spotify·

TikTok Shop·

Amazon Shop·

Google Shopping·

Trustpilot·

TripAdvisor·

Linktree·

Komi·

Pillar·

lnk.bio·

Facebook Ads·

Google Ads·

LinkedIn Ads·

Google Search·

Google News·

Google Finance·

Polymarket·

Tavily·

Hacker News·

GitHub·

Perplexity·

Naver·Utility·

Universal Search

TikTok·

Instagram·

YouTube·

Facebook·

X·

LinkedIn·

Reddit·

Threads·

Pinterest·

Twitch·

Truth Social·

Snapchat·

Kick·

Bluesky·

Kwai·

Rumble·

Spotify·

TikTok Shop·

Amazon Shop·

Google Shopping·

Trustpilot·

TripAdvisor·

Linktree·

Komi·

Pillar·

lnk.bio·

Facebook Ads·

Google Ads·

LinkedIn Ads·

Google Search·

Google News·

Google Finance·

Polymarket·

Tavily·

Hacker News·

GitHub·

Perplexity·

Naver·Utility·

Universal Search

TikTok·

Instagram·

YouTube·

Facebook·

X·

LinkedIn·

Reddit·

Threads·

Pinterest·

Twitch·

Truth Social·

Snapchat·

Kick·

Bluesky·

Kwai·

Rumble·

Spotify·

TikTok Shop·

Amazon Shop·

Google Shopping·

Trustpilot·

TripAdvisor·

Linktree·

Komi·

Pillar·

lnk.bio·

Facebook Ads·

Google Ads·

LinkedIn Ads·

Google Search·

Google News·

Google Finance·

Polymarket·

Tavily·

Hacker News·

GitHub·

Perplexity·

Naver·Utility·

Universal Search

TikTok·

Instagram·

YouTube·

Facebook·

X·

LinkedIn·

Reddit·

Threads·

Pinterest·

Twitch·

Truth Social·

Snapchat·

Kick·

Bluesky·

Kwai·

Rumble·

Spotify·

TikTok Shop·

Amazon Shop·

Google Shopping·

Trustpilot·

TripAdvisor·

Linktree·

Komi·

Pillar·

lnk.bio·

Facebook Ads·

Google Ads·

LinkedIn Ads·

Google Search·

Google News·

Google Finance·

Polymarket·

Tavily·

Hacker News·

GitHub·

Perplexity·

Naver·Utility·

Universal Search

Web API

Batch Scrape API로 무엇을 할 수 있을까요

Batch Scrape 엔드포인트가 통합 스키마와 계산 필드를 담은 Web 데이터를 한 번의 요청으로 보내드려요. 스크래핑 인프라를 직접 만들거나 유지할 필요가 없어요.

요청 예시

curl -H "x-api-key: YOUR_API_KEY" \
  "https://www.socialcrawl.dev/v1/web/batch-scrape?urls=https%3A%2F%2Fexample.com%2Fa%2Chttps%3A%2F%2Fexample.com%2Fb"

import requests

response = requests.get(
    "https://www.socialcrawl.dev/v1/web/batch-scrape",
    params={
    'urls': 'https://example.com/a,https://example.com/b',
    },
    headers={"x-api-key": "YOUR_API_KEY"},
)

data = response.json()

const response = await fetch(
  "https://www.socialcrawl.dev/v1/web/batch-scrape?urls=https%3A%2F%2Fexample.com%2Fa%2Chttps%3A%2F%2Fexample.com%2Fb",
  {
    headers: { "x-api-key": "YOUR_API_KEY" },
  },
);

const data = await response.json();

파라미터

파라미터	필수	설명
urls	예	Array or comma-separated list of public URLs to scrape.
ignore_invalid_urls	아니오	Skip invalid URLs instead of failing the job.
formats	아니오
only_main_content	아니오
proxy	아니오	(basic \| auto \| enhanced)
webhook_url	아니오

응답 예시

Web Batch Scrape API는 무엇을 돌려주나요

모든 응답은 하나의 통합 스키마를 따라요. 크레딧을 쓰기 전에 어떤 필드가 돌아오는지, 실제 응답 본문 그대로 확인해 보세요.

응답 예시 보기

{
  "success": true,
  "platform": "instagram",
  "endpoint": "/v1/instagram/engagement",
  "data": {
    "engagement_rate_percentages": 38.33,
    "recent_posts": 12,
    "followers": 87608035,
    "comments": 528912,
    "likes": 33049046,
    "recent_posts_explanation": "Statistics based on the last 12 posts",
    "id_user": "2278169415",
    "username": "mrbeast",
    "is_private": false,
    "posts_details": [
      {
        "likes": 5636982,
        "comments": 69484,
        "taken_at": 1781457954,
        "datetime": "2026-06-14 20:25:54",
        "hours_since_post": 461,
        "time_ago": "19 days ago",
        "likes_per_hour": 12228,
        "comments_per_hour": 151
      },
      {
        "likes": 20000768,
        "comments": 223510,
        "taken_at": 1732824650,
        "datetime": "2024-11-28 23:10:50",
        "hours_since_post": 13971,
        "time_ago": "2 years ago",
        "likes_per_hour": 1432,
        "comments_per_hour": 16
      },
      {
        "likes": 929226,
        "comments": 30633,
        "taken_at": 1782232475,
        "datetime": "2026-06-23 19:34:35",
        "hours_since_post": 246,
        "time_ago": "10 days ago",
        "likes_per_hour": 3777,
        "comments_per_hour": 125
      },
      {
        "likes": 487761,
        "comments": 22482,
        "taken_at": 1781799425,
        "datetime": "2026-06-18 19:17:05",
        "hours_since_post": 366,
        "time_ago": "15 days ago",
        "likes_per_hour": 1333,
        "comments_per_hour": 61
      },
      {
        "likes": 712265,
        "comments": 15716,
        "taken_at": 1781366405,
        "datetime": "2026-06-13 19:00:05",
        "hours_since_post": 487,
        "time_ago": "20 days ago",
        "likes_per_hour": 1463,
        "comments_per_hour": 32
      },
      {
        "likes": 1475116,
        "comments": 35386,
        "taken_at": 1781277094,
        "datetime": "2026-06-12 18:11:34",
        "hours_since_post": 512,
        "time_ago": "21 days ago",
        "likes_per_hour": 2881,
        "comments_per_hour": 69
      },
      {
        "likes": 1108220,
        "comments": 26632,
        "taken_at": 1780160249,
        "datetime": "2026-05-30 19:57:29",
        "hours_since_post": 822,
        "time_ago": "1 months ago",
        "likes_per_hour": 1348,
        "comments_per_hour": 32
      },
      {
        "likes": 542948,
        "comments": 28476,
        "taken_at": 1779375582,
        "datetime": "2026-05-21 17:59:42",
        "hours_since_post": 1040,
        "time_ago": "1 months ago",
        "likes_per_hour": 522,
        "comments_per_hour": 27
      },
      {
        "likes": 698514,
        "comments": 24401,
        "taken_at": 1779120014,
        "datetime": "2026-05-18 19:00:14",
        "hours_since_post": 1111,
        "time_ago": "2 months ago",
        "likes_per_hour": 629,
        "comments_per_hour": 22
      },
      {
        "likes": 468000,
        "comments": 13548,
        "taken_at": 1778947209,
        "datetime": "2026-05-16 19:00:09",
        "hours_since_post": 1159,
        "time_ago": "2 months ago",
        "likes_per_hour": 404,
        "comments_per_hour": 12
      },
      {
        "likes": 526594,
        "comments": 24411,
        "taken_at": 1777737719,
        "datetime": "2026-05-02 19:01:59",
        "hours_since_post": 1495,
        "time_ago": "2 months ago",
        "likes_per_hour": 352,
        "comments_per_hour": 16
      },
      {
        "likes": 462652,
        "comments": 14233,
        "taken_at": 1777580305,
        "datetime": "2026-04-30 23:18:25",
        "hours_since_post": 1538,
        "time_ago": "2 months ago",
        "likes_per_hour": 301,
        "comments_per_hour": 9
      }
    ]
  },
  "credits_used": 5,
  "credits_remaining": 9999,
  "request_id": "req_example000000",
  "cached": false
}

통합 응답 구조를 보여 주는 실제 샘플이에요. 필드 값은 조회한 대상에 따라 달라져요.

API 상세

Web Batch Scrape API는 어떻게 동작하나요

API 키와 함께 GET 요청을 보내면, 통합 스키마와 계산 필드를 담은 깔끔한 JSON이 돌아와요.

메서드

GET

응답 형식

JSON

왜 SocialCrawl인가요

Web Batch Scrape 데이터는 왜 SocialCrawl로 가져올까요

Web 데이터 추출에서 까다로운 부분은 SocialCrawl이 가려 드려요. 통합 스키마, AI 인리치먼트, 그리고 코드에 남지 않는 플랫폼 로직까지.

모든 플랫폼이 같은 스키마 — 연동은 한 번이면 끝이에요
모든 응답에 계산 필드: 참여율·예상 도달·카테고리·언어
스크래핑 인프라도, 프록시도, 속도 제한도 신경 쓰지 않아도 돼요
Web의 실시간 데이터 — 캐시도, 지연도 없어요

개발자 우선

소셜 미디어 데이터를 몇 초 만에 수집하는 방법

개발자를 위한 가장 빠른 소셜 미디어 스크래핑 API. 월간 활성 사용자 100억 명 이상을 포괄하는 44개 플랫폼에서 프로필, 게시물, 댓글, 분석 데이터를 수집하세요.

모든 플랫폼을 하나의 스키마로

동일한 응답 구조로 44개 플랫폼을 조회하세요. 연동은 한 번이면 충분합니다.

단순 수집을 넘어 계산된 필드 제공

모든 응답에 engagement_rate, estimated_reach, content_category, language가 포함되어 바로 활용할 수 있습니다.

코드 한 줄 쓰기 전에, 데이터부터

Visual Data Explorer — URL만 붙여넣으면 결과 카드, 정형화된 테이블, CSV 내보내기 기능을 제공합니다.

import requests

response = requests.get(
    'https://www.socialcrawl.dev/v1/tiktok/profile',
    params={'handle': 'charlidamelio'},
    headers={'x-api-key': 'sc_YOUR_API_KEY'}
)
data = response.json()

[ .JSON ]

{
  "success": true,
  "platform": "tiktok",
  "data": {
    "author": {
      "username": "charlidamelio",
      "followers": 152400000
    },
    "engagement": {
      "likes": 12400000000,
      "engagement_rate": 0.087
    },
    "metadata": {
      "language": "en",
      "content_category": "lifestyle"
    }
  }
}

+ 44개 플랫폼

Web Batch Scrape 데이터, 가져올 준비 되셨어요?

API 키 받고 60초 안에 Web 데이터를 받아 가세요.

무료로 시작하기