Web Scraping Scrape API
API 한 번의 호출로 Web Scraping Scrape 데이터를 받아 가세요. Fetches a public web page and returns clean content, metadata, and optional media in the unified WebPage schema.
2026년 8월 업데이트SocialCrawl 팀이 직접 관리해요
웹 페이지 하나의 내용을 깔끔한 마크다운이나 HTML로 반환합니다. 최종 URL과 상태 코드, 수집 메타데이터가 함께 오고 원하면 스크린샷까지 붙습니다.
사이트 전체가 대상이라면 crawl 작업을 걸어야 합니다. URL이 이미 정해진 한 페이지를 가져올 때 사용하세요.
Web Scraping Scrape API, 직접 써 보세요
코드 한 줄 짜기 전에, 실제 데이터부터
50개 플랫폼을 병렬로 검색합니다
TikTok·
Instagram·
YouTube·
Facebook·
X·
LinkedIn·
Reddit·
Threads·
Pinterest·
Twitch·
Truth Social·
Snapchat·
Kick·
Bluesky·
Kwai·
Rumble·
Spotify·Apple Music·TikTok Shop·
Amazon Shop·
Google Shopping·
Trustpilot·
TripAdvisor·
Linktree·
Komi·
Pillar·
lnk.bio·Facebook Ads·Google Ads·LinkedIn Ads·Google Search·Google News·Google Finance·
Polymarket·
Tavily·
Hacker News·
GitHub·
Perplexity·
Naver·Utility·
Universal SearchTikTok·Instagram·YouTube·Facebook·X·LinkedIn·Reddit·Threads·Pinterest·Twitch·Truth Social·Snapchat·Kick·Bluesky·Kwai·Rumble·Spotify·Apple Music·TikTok Shop·Amazon Shop·Google Shopping·Trustpilot·TripAdvisor·Linktree·Komi·Pillar·lnk.bio·Facebook Ads·Google Ads·LinkedIn Ads·Google Search·Google News·Google Finance·Polymarket·Tavily·Hacker News·GitHub·Perplexity·Naver·Utility·Universal SearchTikTok·Instagram·YouTube·Facebook·X·LinkedIn·Reddit·Threads·Pinterest·Twitch·Truth Social·Snapchat·Kick·Bluesky·Kwai·Rumble·Spotify·Apple Music·TikTok Shop·Amazon Shop·Google Shopping·Trustpilot·TripAdvisor·Linktree·Komi·Pillar·lnk.bio·Facebook Ads·Google Ads·LinkedIn Ads·Google Search·Google News·Google Finance·Polymarket·Tavily·Hacker News·GitHub·Perplexity·Naver·Utility·Universal SearchTikTok·Instagram·YouTube·Facebook·X·LinkedIn·Reddit·Threads·Pinterest·Twitch·Truth Social·Snapchat·Kick·Bluesky·Kwai·Rumble·Spotify·Apple Music·TikTok Shop·Amazon Shop·Google Shopping·Trustpilot·TripAdvisor·Linktree·Komi·Pillar·lnk.bio·Facebook Ads·Google Ads·LinkedIn Ads·Google Search·Google News·Google Finance·Polymarket·Tavily·Hacker News·GitHub·Perplexity·Naver·Utility·Universal SearchScrape API로 무엇을 할 수 있을까요
Scrape 엔드포인트가 통합 스키마와 계산 필드를 담은 Web Scraping 데이터를 한 번의 요청으로 보내드려요. 스크래핑 인프라를 직접 만들거나 유지할 필요가 없어요.
요청 예시
curl -H "x-api-key: YOUR_API_KEY" \
"https://www.socialcrawl.dev/v1/web/scrape?url=https%3A%2F%2Fexample.com"import requests
response = requests.get(
"https://www.socialcrawl.dev/v1/web/scrape",
params={
'url': 'https://example.com',
},
headers={"x-api-key": "YOUR_API_KEY"},
)
data = response.json()const response = await fetch(
"https://www.socialcrawl.dev/v1/web/scrape?url=https%3A%2F%2Fexample.com",
{
headers: { "x-api-key": "YOUR_API_KEY" },
},
);
const data = await response.json();파라미터
| 파라미터 | 필수 | 설명 |
|---|---|---|
| url | 예 | Public URL to fetch. |
| formats | 아니오 | Comma-separated output formats such as markdown,screenshot. |
| only_main_content | 아니오 | |
| wait_for | 아니오 | |
| mobile | 아니오 | |
| timeout | 아니오 | |
| max_age | 아니오 | |
| location_country | 아니오 | |
| screenshot_full_page | 아니오 | |
| include_tags | 아니오 | |
| exclude_tags | 아니오 | |
| proxy | 아니오 | Proxy tier: basic, auto, or enhanced. (basic | auto | enhanced) |
| pdf_parse | 아니오 | |
| block_ads | 아니오 | |
| remove_base64_images | 아니오 |
Web Scraping Scrape API는 어떻게 동작하나요
API 키와 함께 GET 요청을 보내면, 통합 스키마와 계산 필드를 담은 깔끔한 JSON이 돌아와요.
메서드
GET
응답 형식
JSON
소셜 미디어 데이터를 몇 초 만에 수집하는 방법
개발자를 위한 가장 빠른 소셜 미디어 스크래핑 API. 월간 활성 사용자 100억 명 이상을 포괄하는 50개 플랫폼에서 프로필, 게시물, 댓글, 분석 데이터를 수집하세요.
모든 플랫폼을 하나의 스키마로
동일한 응답 구조로 50개 플랫폼을 조회하세요. 연동은 한 번이면 충분합니다.
단순 수집을 넘어 계산된 필드 제공
엔드포인트가 해당 지표를 지원하고 계산에 필요한 원본 값이 있을 때, 정규화된 레코드에 engagement_rate, estimated_reach, content_category, language를 함께 담아 바로 활용할 수 있습니다.
코드 한 줄 쓰기 전에, 데이터부터
Visual Data Explorer — URL만 붙여넣으면 결과 카드, 정형화된 테이블, CSV 내보내기 기능을 제공합니다.
import requests
response = requests.get(
'https://www.socialcrawl.dev/v1/tiktok/profile',
params={'handle': 'charlidamelio'},
headers={'x-api-key': 'sc_YOUR_API_KEY'}
)
data = response.json(){
"success": true,
"platform": "tiktok",
"data": {
"author": {
"username": "charlidamelio",
"followers": 152400000
},
"engagement": {
"likes": 12400000000,
"engagement_rate": 0.087
},
"metadata": {
"language": "en",
"content_category": "lifestyle"
}
}
}Web Scraping Scrape 데이터, 가져올 준비 되셨어요?
API 키 받고 60초 안에 Web Scraping 데이터를 받아 가세요.