100 크레딧 무료, 카드 등록 없이지금 시작하기
Logo
무료로 시작하기
Web Scraping logoWeb Scraping API

웹 스크래핑·크롤 API

SocialCrawl API 키 하나로 페이지 스크래프, 웹 검색, 사이트 맵, 필드 extract, 크롤, 배치 스크래프, 에이전트를 호출합니다. 업스트림은 Firecrawl이며 소셜과 같은 봉투와 크레딧 체계입니다. 읽기와 작업은 크레딧으로 과금됩니다.

문서 보기동작 방식직접 호출
Web Scraping logo
/v1/web

활성 엔드포인트는 22개입니다. 주요 제품 표면은 10개입니다.

  • GET /v1/web/scrape
  • GET /v1/web/search
  • GET /v1/web/map
  • GET /v1/web/extract
  • GET /v1/web/crawl
  • GET /v1/web/batch-scrape
  • GET /v1/web/agent
  • GET /v1/web/parse
  • GET /v1/web/sessions
  • GET /v1/web/monitors

웹 스크래핑 엔드포인트

주요 제품 카드는 scrape, search, map, extract, crawl, batch-scrape, agent, parse, sessions, monitors입니다. 레지스트리에는 작업 상태·취소·목록 등 운영 GET도 있으며 해당 조회는 0 크레딧입니다. 업스트림은 Firecrawl입니다. 소셜 플랫폼과 같은 SocialCrawl 키를 사용합니다.

페이지 스크래프

1 크레딧
/v1/web/scrape

공개 URL 하나를 깔끔한 마크다운 또는 HTML과 메타데이터로 가져옵니다. formats, proxy, wait_for, only_main_content를 지원합니다. URL이 정해진 한 페이지에 사용하고 여러 페이지가 필요하면 crawl을 시작합니다.

url, formats, proxy, wait_for, only_main_content

웹 검색

2 크레딧
/v1/web/search

검색어로 웹·뉴스·이미지 결과를 순위대로 반환합니다. 각 히트에 제목, URL, 요약이 있습니다. limit, country, 도메인 필터를 지원합니다.

query, limit, country, include_domains, exclude_domains

사이트 맵

1 크레딧
/v1/web/map

각 페이지 본문을 가져오지 않고 사이트의 URL 목록을 찾습니다. search 필터, limit, sitemap 모드를 지원합니다. scrape나 crawl 전에 사용합니다.

url, limit, search, sitemap

구조화 extract

5 크레딧
/v1/web/extract

JSON 스키마 또는 자연어 프롬프트로 한 페이지에서 구조화 필드를 뽑습니다. 전체 마크다운보다 가격, 작성자, 요금제 필드가 필요할 때 사용합니다.

url, schema or prompt

사이트 크롤

비동기 홀드 후 스크랩한 페이지 수로 정산
/v1/web/crawl

사이트를 돌며 찾은 페이지를 스크랩하는 비동기 작업을 시작합니다. job_id를 반환합니다. 홀드는 max(1, limit)이며 정산은 스크랩한 페이지 수에 따릅니다. GET /v1/web/jobs/{job_id}로 상태를 조회합니다.

url, limit, depth, webhook_url

배치 스크래프

비동기 홀드는 URL 개수와 동일
/v1/web/batch-scrape

이미 아는 URL 목록을 한 비동기 작업으로 스크랩합니다. 홀드는 URL 개수와 같습니다. 상태와 결과를 위해 job_id를 반환합니다. 사이트를 대신 탐색해야 하면 crawl을 사용합니다.

urls

브라우저 에이전트

25 크레딧 홀드 후 토큰 정산
/v1/web/agent

사이트에서 자연어 지시를 따르는 브라우저 에이전트 작업을 시작합니다. job_id를 반환합니다. 먼저 25 크레딧을 홀드한 뒤 사용한 토큰으로 정산합니다. 클릭과 이동이 필요할 때 사용합니다.

url, prompt, model

문서 파싱

1 크레딧
/v1/web/parse

PDF 같은 문서를 업로드하면 깔끔한 마크다운과 페이지 수를 반환합니다. 일반 웹 페이지는 scrape를 쓰고 입력이 파일일 때 parse를 사용합니다.

file (multipart), mime_type, filename, url

브라우저 세션

최소 5 크레딧 홀드, TTL 기준 정산
/v1/web/sessions

URL을 연 단기 브라우저 세션을 만들고 수명 동안 조작을 실행합니다. 최소 5 크레딧 홀드이며 TTL 기준으로 정산합니다. 끝나면 닫아 남은 홀드를 정산합니다.

url, ttl_seconds

변경 모니터

생성 0 크레딧, 확인은 이후 과금
/v1/web/monitors

페이지나 검색을 정해진 주기로 다시 확인하는 모니터를 만듭니다. 생성은 0 크레딧입니다. 이후 실행되는 확인마다 과금됩니다. API 규칙에 따라 이력을 유지한 채 일시 정지하거나 삭제할 수 있습니다.

url, cadence, mode, webhook_url

Web Scraping API13개 엔드포인트 지원
문서 보기
Scrape & Extract
Search & Discover
Crawl Jobs
Monitors
Browser Sessions

웹 페이지 하나의 내용을 깔끔한 마크다운이나 HTML로 반환합니다. 최종 URL과 상태 코드, 수집 메타데이터가 함께 오고 원하면 스크린샷까지 붙습니다.

사이트 전체가 대상이라면 crawl 작업을 걸어야 합니다. URL이 이미 정해진 한 페이지를 가져올 때 사용하세요.

GET/v1/web/scrape?url=https%3A%2F%2Fexample.com&formats=markdown

url · Public URL to fetch.

$ curl https://www.socialcrawl.dev/v1/web/scrape?url=https%3A%2F%2Fexample.com&formats=markdown \
    -H "x-api-key: sc_YOUR_API_KEY"
— · 대기 중
// 파라미터를 수정한 뒤 "실행해보기"를 누르면 실제 응답을 받습니다

웹 스크래핑 API 동작

웹 스크래핑은 /v1/web 아래의 일반 SocialCrawl 엔드포인트입니다. x-api-key로 인증하고 크레딧으로 과금하며(작업이 끝날 때 정산되는 비동기 홀드 포함) 동일한 JSON 봉투를 읽습니다. 업스트림은 Firecrawl입니다. 소셜과 같은 키를 사용합니다.

호출 인증

x-api-key 헤더에 키를 보냅니다. 고객이 별도 Firecrawl 계정을 둘 필요가 없습니다. Reddit, TikTok, Perplexity를 포함한 카탈로그 전 구간에 같은 SocialCrawl 키를 사용합니다.

동기 GET과 작업 POST

scrape, search, map, extract는 쿼리 파라미터 GET입니다. crawl, batch-scrape, agent, parse, sessions, monitors는 POST 본문입니다(parse는 multipart). 비동기 작업은 GET /v1/web/jobs/{job_id}로 폴링합니다.

크레딧 과금과 비동기 홀드

동기 티어는 scrape·map·parse 1, search 2, extract 5입니다. crawl은 max(1, limit)를 홀드한 뒤 스크랩 페이지 수로 정산합니다. batch-scrape 홀드는 URL 개수입니다. agent는 25를 홀드한 뒤 토큰으로 정산합니다. sessions는 최소 5 홀드와 TTL 정산입니다. 모니터 생성은 0이며 확인은 이후 과금됩니다. jobs/* 상태 GET은 0 크레딧입니다.

JSON 봉투

응답 형태는 success, data, credits_used, credits_remaining, request_id, cached로 동일합니다. 비동기 시작 응답은 job_id를 포함합니다. 상태와 취소 라우트도 같은 봉투 안에서 정산을 반영합니다.

연동 순서

대부분 제품은 URL을 찾고 필요한 페이지만 스크래프한 뒤 사이트 전체가 필요할 때만 크롤합니다. 비동기 작업은 항상 상태 폴링으로 끝납니다.

01스크래프
GET /v1/web/scrape?url=…

WebPage입니다. markdown/HTML, url, 메타데이터를 반환합니다.

URL이 이미 정해진 한 페이지에 가장 빠릅니다.

02검색
GET /v1/web/search?query=…

WebPageList입니다. 순위 제목, URL, 요약입니다.

아직 URL을 모를 때 사용합니다.

03크롤
POST /v1/web/crawl { url, limit }

사이트 단위 비동기 크롤의 job_id입니다.

한 출처에서 여러 페이지가 필요하고 limit·depth를 쓸 때 사용합니다.

04작업 상태
GET /v1/web/jobs/{job_id}

진행률, 정산, 완료 시 결과입니다.

완료되거나 취소될 때까지 0 크레딧 GET /v1/web/jobs/{job_id}를 호출합니다.

요청
GET /v1/web/scrape
  ?url=https://example.com
  &formats=markdown
Host: www.socialcrawl.dev
x-api-key: sc_your_api_key_here

POST /v1/web/crawl
Content-Type: application/json
{ "url": "https://docs.example.com", "limit": 25 }
응답 봉투
{
  "success": true,
  "data": {
    "url": "https://example.com",
    "markdown": "# Example…",
    "metadata": {}
  },
  "credits_used": 1,
  "credits_remaining": 9999,
  "request_id": "req_…",
  "cached": false
}

data 형태

웹 아키타입은 소셜 Post·Author와 나란히 둡니다. WebPage, WebPageList, 작업 봉투를 기준으로 파싱합니다.

WebPagescrape, parse

url, markdown/html 본문, 메타데이터, 선택 스크린샷 또는 extract 페이로드(scrape, parse, extract)

WebPageListsearch, map

items[]의 제목, url, 요약 또는 맵 경로 행(search, map)

Extract WebPageextract

schema 또는 prompt에 맞춘 extraction 구조화 필드

비동기 작업 봉투crawl, batch-scrape, agent jobs

job_id, kind, status, 크레딧 홀드/정산, 진행률, 결과 참조(crawl, batch-scrape, agent)

게이트웨이

다른 /v1 플랫폼 엔드포인트와 같은 요청 수명주기입니다. 웹 전용 별도 스택이 아닙니다.

  1. 01

    엣지 수신

    Next.js catch-all이 Hono 소셜 API로 들어갑니다. request_id를 발급하고 키를 인증한 뒤 키별 한도와 동시성을 적용합니다.

  2. 02

    검증 후 차감 또는 홀드

    레지스트리에서 web 리소스를 찾습니다. 파라미터와 본문 검증이 먼저입니다. 잘못된 입력은 400이며 과금하지 않습니다. 동기 라우트는 티어 비용을 차감하고 비동기 라우트는 업스트림 전에 크레딧을 홀드합니다.

  3. 03

    캐시 또는 조회

    search와 map 등 허용 경로는 짧은 공개 캐시에 히트하면 credits_used 0으로 반환할 수 있습니다. scrape와 extract는 보통 라이브로 갑니다. 비동기 작업은 Firecrawl 잡으로 넘기고 jobs/*로 진행을 폴링합니다.

  4. 04

    정규화 후 반환

    업스트림 페이로드를 WebPage, WebPageList 또는 작업 상태 객체로 매핑하고 스키마를 검증한 뒤 성공 봉투로 감쌉니다. 작업 완료나 실패 시 홀드를 정산하거나 환불합니다.

과금 규칙

  • scrape, map, parse 라이브 미스는 각 1 크레딧입니다.
  • search는 2 크레딧, extract는 5 크레딧입니다.
  • crawl은 max(1, limit)를 비동기 홀드한 뒤 스크랩한 페이지 수로 정산합니다.
  • batch-scrape 비동기 홀드는 URL 개수와 같습니다.
  • agent는 25 크레딧을 홀드한 뒤 토큰으로 정산합니다.
  • sessions는 최소 5 크레딧 홀드이며 TTL 기준으로 정산합니다.
  • monitors 생성은 0 크레딧이며 확인은 이후 과금됩니다.
  • jobs/* 상태 GET은 0 크레딧입니다.
  • 취소 또는 하드 실패 시 미정산 홀드는 환불됩니다.

데이터 수집

웹 스크래핑은 Firecrawl을 통한 공개 페이지·SERP 접근입니다. SocialCrawl WebPage와 작업 봉투로 정규화하므로 키와 과금 모델을 하나로 유지합니다.

API에서의 웹

공개 웹 페이지, 검색 결과, 사이트 맵, 구조화 extract, 다중 페이지 크롤, 배치 URL 스크래프, 브라우저 에이전트, 문서 파싱, 세션, 변경 모니터를 제공합니다. 소셜 프로필이나 댓글 트리가 아닙니다.

업스트림

scrape, search, map, extract, crawl, batch-scrape, agent와 관련 작업 운영의 업스트림은 Firecrawl입니다. SocialCrawl 경로에서 고객이 별도 Firecrawl 키를 관리하지 않습니다.

응답 형태

success, data, credits_used, request_id, cached를 담은 통합 JSON 봉투를 반환합니다. 페이지 본문은 WebPage, 검색·맵은 WebPageList, 비동기 시작은 상태와 정산을 위한 job_id를 반환합니다.

미제공 항목

무제한 무료 크롤은 없습니다. 비동기 작업에는 항상 홀드와 정산이 적용됩니다. 작업 상태 GET은 무료이지만 스크랩한 페이지 비용을 대체하지 않습니다. 비공개 인증 사이트는 제품이 지원하는 범위에서 sessions 또는 agent 흐름이 필요합니다.

필드 매핑
page HTML / markdown→ WebPage페이지 HTML 또는 마크다운과 메타데이터
SERP / sitegraph rows→ WebPageListSERP·사이트그래프 행을 목록 항목으로
async job status→ jobs/* envelope비동기 작업 상태와 크레딧 정산

이 API의 활용 분야

이 API가 가장 많이 사용되는 작업입니다.

22active Web Scraping endpoints in the registry
1 / 2 / 5scrape, search, extract 크레딧 사다리

페이지 스크래프, 사이트 크롤, 변경 모니터링

호출은 단일 URL scrape, 검색 후 scrape 체인, 규모가 클 때의 crawl·batch-scrape에 집중됩니다. 반복 변경 확인에는 monitors가 쓰입니다. 단순 GET이 막히는 로그인·탐색 단계에서는 agent와 sessions가 나타납니다. 소셜과 같은 SocialCrawl 키·봉투 아래 Firecrawl 웹을 제공합니다. 비동기 홀드·정산 규칙이 명확하며 jobs/* 상태는 0 크레딧입니다.

단일 scrape는 라이브 미스 시 보통 수 초입니다. search와 extract는 더 길 수 있습니다. crawl, batch-scrape, agent는 비동기이므로 정산까지 jobs를 폴링합니다.

Web Scraping API 활용 사례

Web Scraping 데이터가 가장 많이 쓰이는 작업입니다. 각 항목에서 엔드포인트 순서와 과금 방식을 확인합니다.

활용 사례

이 데이터를 활용하는 대표적인 방식과 각 방식에서 주로 사용하는 스택입니다.

데이터 파이프라인

Python, 워커, 오브젝트 스토리지

알려진 URL을 scrape하고 문서 사이트는 map 후 crawl합니다. 다중 페이지 실행은 jobs로 폴링합니다.

리서치·SEO 도구

Node, 노트북, CMS

search로 후보를 찾고 승자를 scrape한 뒤 가격·작성자 필드를 extract합니다. 합성 답변이 먼저면 Perplexity나 Tavily와 짝을 이룹니다.

운영·제품 잡

Go, cron, 웹훅

변경 감지는 monitors, 인터랙티브 페이지는 sessions, 다단계 브라우저 작업은 agent를 사용합니다. 소셜 모니터링과 같은 키입니다.

호출 예시

scrape 1 크레딧 또는 search 2 크레딧으로 시작합니다. 다중 페이지는 crawl 또는 batch-scrape를 POST한 뒤 정산까지 jobs를 0 크레딧으로 폴링합니다.

curl "https://www.socialcrawl.dev/v1/web/scrape?url=https://example.com&formats=markdown" \
  -H "x-api-key: sc_your_api_key_here"
curl "https://www.socialcrawl.dev/v1/web/search?query=social+media+api&limit=10" \
  -H "x-api-key: sc_your_api_key_here"
Web Scraping logoSocialCrawl 웹 스크래핑

카탈로그와 같은 API 키

플랫폼 문서API 키 받기
엔드포인트

Web Scraping API는 어떤 데이터를 돌려주나요

모든 엔드포인트가 같은 응답 구조의 JSON을 보내드려요. 엔드포인트가 해당 지표를 지원하고 계산에 필요한 원본 값이 있을 때만 참여율·콘텐츠 카테고리 같은 계산 필드가 포함돼요.

ScrapeScrape a web pageSearchSearch the webMapMap URLs on a siteExtractExtract structured data from a web pageStart CrawlStart an async web crawlStart Batch ScrapeStart an async batch scrapeList JobsList async web jobsRun AgentStart an async web agent jobCreate MonitorCreate a web monitorList MonitorsList web monitorsOpen SessionCreate an interactive web sessionList SessionsList interactive web sessionsParse DocumentParse an uploaded document
비교

SocialCrawl과 직접 만드는 스크래핑 스택, 뭐가 다른가요?

같은 Web Scraping 데이터를 받는 두 가지 방법을 나란히 비교했어요. 인증부터 비용까지 한눈에 확인해 보세요.

시작하기

SocialCrawl
GET 요청 하나면 안정된 스키마의 깔끔한 마크다운이 돌아와요
직접 만드는 스크래핑 스택
헤드리스 브라우저, 프록시 풀, 파서를 직접 만들고 계속 고쳐야 해요

자바스크립트 렌더링

SocialCrawl
실제 브라우저 렌더링이 기본이고, 인터랙티브 흐름은 세션으로 다뤄요
직접 만드는 스크래핑 스택
Playwright·Puppeteer 클러스터를 직접 운영해야 해요

변경 모니터링

SocialCrawl
최소 5분 간격 예약 모니터, 체크가 돌 때만 과금돼요
직접 만드는 스크래핑 스택
크론 잡, 비교 로직, 알림 배관을 직접 짜야 해요

비동기 크롤

SocialCrawl
크레딧을 잡아뒀다 실사용으로 정산하고 남으면 자동 환불해요
직접 만드는 스크래핑 스택
큐 인프라와 재시도 로직을 직접 돌려야 해요

요금

SocialCrawl
페이지당 1 크레딧부터, 50개 플랫폼이 잔액 하나를 같이 써요
직접 만드는 스크래핑 스택
프록시·컴퓨트·유지보수 비용이 볼륨만큼 늘어나요

열린 웹 너머

SocialCrawl
같은 키로 SNS·커머스·리서치 데이터까지 닿아요
직접 만드는 스크래핑 스택
플랫폼마다 스크래퍼를 따로 만들고 따로 깨져요
자주 묻는 질문

자주 묻는 질문

API, 요금제, 기능에 대한 질문과 답변입니다.

문의하기
SocialCrawl 웹 스크래핑 API는 무엇인가요?
열린 웹을 가져와 구조화하는 /v1/web/* 엔드포인트 모음이에요. 페이지 하나를 깔끔한 마크다운·HTML로 스크랩하고, 웹을 검색하고, 사이트의 모든 URL을 맵으로 뽑고, 프롬프트나 JSON 스키마로 구조화 추출을 하고, 비동기 크롤·배치 스크랩을 돌리고, 변경 모니터를 예약하고, 인터랙티브 브라우저 세션까지 다룰 수 있어요. 전부 SNS·커머스 데이터와 같은 키, 같은 응답 구조, 같은 크레딧으로요.
스크랩 응답은 어떤 모양인가요?
콘텐츠를 담는 엔드포인트는 통합 WebPage 스키마로 돌아와요. 페이지 URL, 리다이렉트 후 최종 URL, 제목, 설명, 마크다운·HTML 본문, 스크린샷 미디어, 구조화 추출 결과, 요청 메타데이터가 표준 SocialCrawl 응답 구조의 data.page 아래에 담겨요. 검색·맵 같은 목록 엔드포인트는 items[]를 담은 WebPageList로 와요.
웹 스크래핑 요금은 얼마인가요?
기본 페이지 스크랩은 1 크레딧이에요. 웹 검색은 2 크레딧, 사이트 맵은 1 크레딧, 구조화 추출은 5 크레딧이고요. 크롤처럼 양이 변하는 작업은 페이지 한도만큼 크레딧을 잡아둔 뒤 실제 사용량으로 정산하고, 안 쓴 만큼은 자동으로 돌려드려요. 새 계정은 신용카드 없이 100 크레딧을 무료로 받아요.
사이트 전체를 비동기로 크롤할 수 있나요?
네. POST /v1/web/crawl로 비동기 잡을 시작하면 잡 ID가 돌아와서 조회·목록·취소를 할 수 있어요. 설정한 페이지 한도만큼 크레딧을 먼저 잡아두고, 크롤이 실제로 가져온 만큼만 정산해요. 중간에 취소하면 남은 크레딧은 환불돼요. 이미 아는 URL 여러 개는 /v1/web/batch-scrape로 같은 방식으로 돌릴 수 있어요.
페이지 변경을 계속 지켜볼 수 있나요?
네. POST /v1/web/monitors로 최소 5분 간격까지 촘촘하게 모니터를 예약할 수 있어요. 체크는 실제로 돌 때만 과금되고, 같은 /v1/web/monitors 엔드포인트에서 체크 기록 조회, 일시정지, 재개, 삭제까지 전부 할 수 있어요.
자바스크립트가 많은 페이지도 되나요?
네, 캡처 전에 실제 브라우저 환경에서 렌더링하니까 클라이언트 사이드 콘텐츠도 담겨요. 클릭이나 로그인, 커스텀 내비게이션이 필요한 흐름은 POST /v1/web/sessions로 인터랙티브 세션을 열고 브라우저 코드를 단계별로 실행하면 돼요.
직접 스크래퍼를 돌리는 것과 뭐가 다른가요?
프록시 풀, 헤드리스 브라우저, 재시도 로직, 파싱 파이프라인을 직접 관리할 필요가 없어요. GET 요청 하나로 안정된 스키마의 깔끔한 마크다운이 돌아오고, 같은 키로 SocialCrawl의 SNS·커머스·리서치 플랫폼까지 닿아요. 웹 데이터가 다른 수집 데이터와 같은 모양으로 떨어지는 게 가장 큰 차이예요.
Web Scraping 데이터 스크래핑, 법적으로 괜찮을까요?
SocialCrawl은 누구나 볼 수 있는 공개 Web Scraping 데이터만 돌려드리고, 로그인이 필요한 비공개 콘텐츠에는 접근하지 않아요. 다만 실제 적법성은 활용 목적과 국가별 법률에 따라 달라져요. Web Scraping 이용약관과 GDPR·CCPA 같은 개인정보 보호 법규를 지키는 책임은 이용자에게 있어요. 이 답변은 일반 안내일 뿐, 법률 자문은 아니에요.
Web Scraping 스크래핑 API와 공식 Web Scraping API는 뭐가 다른가요?
SocialCrawl은 앱 심사나 승인 대기가 없어요. 가입 직후 x-api-key 하나로 Web Scraping 엔드포인트를 바로 호출할 수 있고, 응답은 다른 모든 플랫폼과 같은 통합 스키마로 와요. 요금도 플랫폼별 쿼터 대신 크레딧 하나로 계산해요. 글 게시 같은 쓰기 작업이 필요하다면 공식 API가 맞아요 — SocialCrawl은 읽기 전용 데이터만 다뤄요.

AI에게 SocialCrawl을 물어보세요

ChatGPT에 물어보기Perplexity에 물어보기Gemini에 물어보기Claude에 물어보기Grok에 물어보기

Web Scraping API 레퍼런스 문서 보기

🤖 AI 에이전트나 LLM이신가요? 이 페이지를 markdown으로 읽어보세요