Web Scraping Start Crawl API
API 한 번의 호출로 Web Scraping Start Crawl 데이터를 받아 가세요. Starts an async crawl job and returns a SocialCrawl job id (job_...). Poll or cancel it via GET/DELETE /v1/web/jobs/{job_id}, or track it with a webhook.
2026년 10월 업데이트SocialCrawl 팀이 직접 관리해요
사이트를 돌며 찾은 페이지를 모두 스크랩하는 비동기 crawl 작업을 시작하고 상태 조회에 쓸 job id를 돌려줍니다.
진행 상황은 GET jobs/{job_id}로 확인하면 되니, 한 사이트에서 많은 페이지가 필요할 때 사용하세요.
68개 플랫폼을 병렬로 검색합니다
Start Crawl API로 무엇을 할 수 있을까요
Start Crawl 엔드포인트가 통합 스키마와 계산 필드를 담은 Web Scraping 데이터를 한 번의 요청으로 보내드려요. 스크래핑 인프라를 직접 만들거나 유지할 필요가 없어요.
요청 예시
curl -X POST -H "x-api-key: YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url":"https://example.com","limit":"10"}' \
"https://www.socialcrawl.dev/v1/web/crawl"import requests
response = requests.post(
"https://www.socialcrawl.dev/v1/web/crawl",
json={
'url': 'https://example.com',
'limit': '10',
},
headers={"x-api-key": "YOUR_API_KEY"},
)
data = response.json()const response = await fetch(
"https://www.socialcrawl.dev/v1/web/crawl",
{
method: "POST",
headers: {
"x-api-key": "YOUR_API_KEY",
"Content-Type": "application/json",
},
body: JSON.stringify({
url: "https://example.com",
limit: "10",
}),
},
);
const data = await response.json();파라미터
| 파라미터 | 필수 | 설명 |
|---|---|---|
| url | 예 | Root URL to crawl. |
| limit | 아니오 | Maximum pages to crawl. |
| max_depth | 아니오 | How many link hops from the root URL to follow. 1 is the root page and the pages it links to. Leave unset to let `limit` alone bound the crawl. |
| allow_backward_links | 아니오 | Crawl the whole domain rather than only URLs under the starting path. Send it when the root URL is a deep page but you want the entire site. |
| allow_external_links | 아니오 | Follow links off the domain. Off by default, and easy to make expensive: `limit` is the only thing bounding it. |
| include_paths | 아니오 | CSV of URL path patterns to crawl, e.g. '/blog/.*,/docs/.*'. Everything else is skipped, which is the cheapest way to narrow a crawl. |
| exclude_paths | 아니오 | CSV of URL path patterns to skip, e.g. '/tag/.*'. Applied after include_paths. |
| webhook_url | 아니오 | Optional webhook URL for terminal job updates. |
| formats | 아니오 | CSV of output formats for each crawled page, e.g. 'markdown' (default) or 'markdown,html'. |
| goal | 아니오 | Optional. What you are looking for on the site, in your own words. SocialCrawl maps the site, scrapes the URLs that likely hold it (always at least two), and lists every skipped URL with p. Without this param the crawl follows links by depth only. |
Web Scraping Start Crawl API는 무엇을 돌려주나요
이 엔드포인트의 응답 구조와 필드를 보여 주는 예시예요. 값은 이해를 돕기 위한 것이며 실제 조회 결과는 아니에요.
응답 예시 보기
{
"success": true,
"platform": "web",
"endpoint": "/v1/web/crawl",
"data": {
"job_id": "job_9f3k2n8d1",
"kind": "crawl",
"resource": "crawl",
"status": "queued",
"progress": null,
"invalid_urls": null,
"result_ref": null,
"result": null,
"error": null,
"credits_hold": 10,
"credits_charged": 0,
"created_at": "2026-07-09T09:30:00.000Z",
"updated_at": "2026-07-09T09:30:00.000Z",
"expires_at": "2026-07-16T09:30:00.000Z"
},
"credits_used": 10,
"credits_remaining": 990,
"request_id": "req-a1b2c3d4e5f6",
"cached": false
}문서에 나온 응답 구조를 보여 주는 예시예요. 값은 이해를 돕기 위한 것이며 운영 환경에서 가져온 응답이 아니에요.
Web Scraping Start Crawl API는 어떻게 동작하나요
API 키와 함께 GET 요청을 보내면, 통합 스키마와 계산 필드를 담은 깔끔한 JSON이 돌아와요.
메서드
POST
응답 형식
JSON
소셜 미디어 데이터를 몇 초 만에 수집하는 방법
개발자를 위한 가장 빠른 소셜 미디어 스크래핑 API. 월간 활성 사용자 100억 명 이상을 포괄하는 68개 플랫폼에서 프로필, 게시물, 댓글, 분석 데이터를 수집하세요.
모든 플랫폼을 하나의 스키마로
동일한 응답 구조로 68개 플랫폼을 조회하세요. 연동은 한 번이면 충분합니다.
단순 수집을 넘어 계산된 필드 제공
엔드포인트가 해당 지표를 지원하고 계산에 필요한 원본 값이 있을 때, 정규화된 레코드에 engagement_rate, estimated_reach, content_category, language를 함께 담아 바로 활용할 수 있습니다.
코드 한 줄 쓰기 전에, 데이터부터
Visual Data Explorer에 URL만 붙여넣으면 결과 카드와 정형화된 테이블, CSV 내보내기를 바로 사용할 수 있습니다.
import requests
response = requests.get(
'https://www.socialcrawl.dev/v1/tiktok/profile',
params={'handle': 'charlidamelio'},
headers={'x-api-key': 'sc_YOUR_API_KEY'}
)
data = response.json(){
"success": true,
"platform": "tiktok",
"data": {
"author": {
"username": "charlidamelio",
"followers": 152400000
},
"engagement": {
"likes": 12400000000,
"engagement_rate": 0.087
},
"metadata": {
"language": "en",
"content_category": "lifestyle"
}
}
}Web Scraping Start Crawl 데이터, 가져올 준비 되셨어요?
API 키 받고 60초 안에 Web Scraping 데이터를 받아 가세요.
