Web Scraping Parse Document API
PDF처럼 직접 올린 문서의 텍스트를 깔끔한 마크다운으로, 페이지 수와 함께 반환합니다.
POST /v1/web/parseWeb Scraping Parse Document API는 언제 쓰나요
일반 웹 페이지를 읽을 거면 scrape가 맞습니다. 읽을 대상이 페이지가 아니라 파일 자체일 때 사용하세요.
API 레퍼런스 영문 원문
Uploads a document through multipart/form-data and returns parsed web-style content.
95개 플랫폼을 하나의 API로 제공합니다
Parse Document API로 무엇을 할 수 있을까요
Parse Document 엔드포인트가 통합 스키마와 계산 필드를 담은 Web Scraping 데이터를 한 번의 요청으로 보내드려요. 스크래핑 인프라를 직접 만들거나 유지할 필요가 없어요.
요청 예시
# POST /v1/web/parse: 1 credit per call. Cache hits are free and failed calls are refunded.
# Check the price first for 0 credits: add dry_run=1 to the query. Nothing is fetched or charged.
# --max-time 60: the API's own time limit for this endpoint.
# This endpoint does not take an Idempotency-Key, so a call that timed out or dropped is not retried: it may have run.
curl -sS --max-time 60 -X POST \
-H "x-api-key: YOUR_API_KEY" \
-F "file=@document.pdf" \
-F "filename=document.pdf" \
"https://www.socialcrawl.dev/v1/web/parse"# POST /v1/web/parse: 1 credit per call. Cache hits are free and failed calls are refunded.
# Check the price first for 0 credits: add dry_run=1 to the query. Nothing is fetched or charged.
import os
import random
import time
from pathlib import Path
import requests
API_KEY = os.environ.get("SOCIALCRAWL_API_KEY", "YOUR_API_KEY")
TIMEOUT_S = 60 # the API's own time limit for this endpoint.
MAX_RETRIES = 3
URL = "https://www.socialcrawl.dev/v1/web/parse"
def backoff(attempt):
# Exponential backoff with jitter: about 1 s, 2 s, then 4 s.
return 2 ** attempt * (0.5 + random.random() / 2)
def socialcrawl(files, data):
# This endpoint does not take an Idempotency-Key, so a call that timed out or dropped is not retried: it may have run.
for attempt in range(MAX_RETRIES + 1):
res = requests.post(
URL,
files=files,
data=data,
headers={"x-api-key": API_KEY},
timeout=TIMEOUT_S,
)
body = res.json()
if body["success"]:
return body
error = body["error"]
# Branch on error["type"], never on the message text.
if error["type"] == "RESOURCE_NOT_FOUND":
return None # refunded: nothing to read
retry_after = res.headers.get("Retry-After")
# SERVICE_UNAVAILABLE without Retry-After is a withdrawn endpoint: permanent.
permanent = error["type"] == "SERVICE_UNAVAILABLE" and retry_after is None
if not error.get("retryable") or permanent or attempt == MAX_RETRIES:
raise RuntimeError(f"{error['type']}: {error['message']} (request_id {body['request_id']})")
# Retry-After (seconds) wins; otherwise back off.
time.sleep(float(retry_after) if retry_after else backoff(attempt))
files = {"file": ("document.pdf", Path("document.pdf").read_bytes())}
data = {"filename": "document.pdf"}
body = socialcrawl(files, data)
if body is not None:
print(body["data"])// POST /v1/web/parse: 1 credit per call. Cache hits are free and failed calls are refunded.
// Check the price first for 0 credits: add dry_run=1 to the query. Nothing is fetched or charged.
import { openAsBlob } from "node:fs";
const API_KEY = process.env.SOCIALCRAWL_API_KEY ?? "YOUR_API_KEY";
const TIMEOUT_MS = 60_000; // the API's own time limit for this endpoint.
const MAX_RETRIES = 3;
type Page = { next_cursor: string | null; has_more: boolean };
type SocialCrawlResponse =
| { success: true; data: any; pagination?: Page; credits_used: number; request_id: string }
| { success: false; error: { type: string; message: string; retryable: boolean }; request_id: string };
const sleep = (ms: number) => new Promise((resolve) => setTimeout(resolve, ms));
// Exponential backoff with jitter: about 1 s, 2 s, then 4 s.
const backoffMs = (attempt: number) => 2 ** attempt * 1000 * (0.5 + Math.random() / 2);
async function socialcrawl(url: string, payload: FormData) {
// This endpoint does not take an Idempotency-Key, so a call that timed out or dropped is not retried: it may have run.
for (let attempt = 0; ; attempt++) {
const res = await fetch(url, {
method: "POST",
headers: {
"x-api-key": API_KEY,
},
body: payload,
signal: AbortSignal.timeout(TIMEOUT_MS),
});
const body = (await res.json()) as SocialCrawlResponse;
if (body.success) return body;
// Branch on error.type, never on the message text.
if (body.error.type === "RESOURCE_NOT_FOUND") return null; // refunded: nothing to read
const retryAfter = res.headers.get("Retry-After");
// SERVICE_UNAVAILABLE without Retry-After is a withdrawn endpoint: permanent.
const permanent = body.error.type === "SERVICE_UNAVAILABLE" && retryAfter === null;
if (!body.error.retryable || permanent || attempt >= MAX_RETRIES) {
throw new Error(`${body.error.type}: ${body.error.message} (request_id ${body.request_id})`);
}
// Retry-After (seconds) wins; otherwise back off.
await sleep(retryAfter ? Number(retryAfter) * 1000 : backoffMs(attempt));
}
}
const form = new FormData();
form.set("file", await openAsBlob("document.pdf"), "document.pdf");
form.set("filename", "document.pdf");
const body = await socialcrawl("https://www.socialcrawl.dev/v1/web/parse", form);
if (body) console.log(body.data);파라미터
| 파라미터 | 필수 | 설명 |
|---|---|---|
| file | 예 | Multipart file field. |
| filename | 아니오 | Name to record for the uploaded file, e.g. 'report.pdf'. Used for the parsed document's title when the file carries none. |
| mime_type | 아니오 | Optional MIME type override. |
| url | 아니오 | Public URL to fetch and parse instead of uploading a file. Send either this or the file field. |
Web Scraping Parse Document API는 무엇을 돌려주나요
이 엔드포인트의 응답 구조와 필드를 보여 주는 예시예요. 값은 이해를 돕기 위한 것이며 실제 조회 결과는 아니에요.
응답 예시 보기
{
"success": true,
"platform": "web",
"endpoint": "/v1/web/parse",
"data": {
"page": {
"url": null,
"final_url": null,
"status_code": null,
"scrape_id": "sc_6k9d3f8b4",
"fetched_at": "2026-07-09T09:30:02.000Z",
"title": "document.pdf",
"description": null,
"source_type": null,
"content": {
"markdown": "# Quarterly report\n\nRevenue grew 12%...",
"html": null,
"raw_html": null,
"summary": null
},
"media": {
"screenshot_url": null,
"audio_url": null,
"video_url": null
},
"extraction": null,
"answer": null,
"highlights": null,
"change_tracking": null,
"page_count": 3,
"total_page_count": 3,
"fetch": {
"cache_state": null,
"cached_at": null,
"proxy_tier": null
}
}
},
"credits_used": 1,
"credits_remaining": 999,
"request_id": "req-a1b2c3d4e5f6",
"cached": false
}문서에 나온 응답 구조를 보여 주는 예시예요. 값은 이해를 돕기 위한 것이며 운영 환경에서 가져온 응답이 아니에요.
Web Scraping Parse Document API는 어떻게 동작하나요
API 키와 함께 GET 요청을 보내면, 통합 스키마와 계산 필드를 담은 깔끔한 JSON이 돌아와요.
메서드
POST
응답 형식
JSON
소셜 미디어 데이터를 몇 초 만에 수집하는 방법
개발자를 위한 가장 빠른 소셜 미디어 스크래핑 API. 월간 활성 사용자 100억 명 이상을 포괄하는 95개 플랫폼에서 프로필, 게시물, 댓글, 분석 데이터를 수집하세요.
모든 플랫폼을 하나의 스키마로
동일한 응답 구조로 95개 플랫폼을 조회하세요. 연동은 한 번이면 충분합니다.
단순 수집을 넘어 계산된 필드 제공
엔드포인트가 해당 지표를 지원하고 계산에 필요한 원본 값이 있을 때, 정규화된 레코드에 engagement_rate, estimated_reach, content_category, language를 함께 담아 바로 활용할 수 있습니다.
코드 한 줄 쓰기 전에, 데이터부터
Visual Data Explorer에 URL만 붙여넣으면 결과 카드와 정형화된 테이블, CSV 내보내기를 바로 사용할 수 있습니다.
import requests
response = requests.get(
'https://www.socialcrawl.dev/v1/tiktok/profile',
params={'handle': 'charlidamelio'},
headers={'x-api-key': 'sc_YOUR_API_KEY'}
)
data = response.json(){
"success": true,
"platform": "tiktok",
"data": {
"author": {
"username": "charlidamelio",
"followers": 152400000
},
"engagement": {
"likes": 12400000000,
"engagement_rate": 0.087
},
"metadata": {
"language": "en",
"content_category": "lifestyle"
}
}
}자주 묻는 질문
API, 요금제, 기능에 대한 질문과 답변입니다.
문의하기Web Parse API는 어떤 데이터를 돌려주나요?
Web Parse 엔드포인트는 언제 쓰면 좋나요?
Web Parse API 비용은 얼마인가요?
Web Parse API에는 어떤 파라미터가 필요한가요?
Web Parse API는 어떻게 호출하나요?
AI에게 SocialCrawl을 물어보세요
Web Scraping Parse Document 데이터, 가져올 준비 되셨어요?
API 키 받고 60초 안에 Web Scraping 데이터를 받아 가세요.
