웹 크롤링의 관심사는 단순히 HTML을 가져오는 데서 끝나지 않습니다. 어떤 방식으로 페이지를 읽을지, 링크를 어떻게 따라갈지, 결과를 어떤 형식으로 저장해 다음 작업에 넘길지가 더 중요해졌습니다. 최근 MarkTechPost에 소개된 Crawlee for Python 튜토리얼이 로컬 데모 사이트를 만들고, BeautifulSoupCrawler, ParselCrawler, PlaywrightCrawler를 비교하며, JSON·CSV·RAG용 JSONL 청크 export까지 다룬 것도 이 흐름과 맞닿아 있습니다.1
Crawlee for Python은 무엇인가
Crawlee for Python은 웹 크롤링과 브라우저 자동화를 위한 Python 라이브러리입니다. Python 3.10 이상이 필요하며, 공식 문서는 주요 크롤러 클래스로 BeautifulSoupCrawler, ParselCrawler, PlaywrightCrawler를 제시합니다.2
가장 실용적인 장점은 이 세 크롤러가 동일한 인터페이스를 공유한다는 점입니다.2 처음에는 빠른 HTTP 기반 크롤러로 시작하고, 자바스크립트 렌더링이 필요해지면 Playwright 기반 크롤러로 전환할 수 있습니다. 즉, 크롤러 선택이 전체 파이프라인의 재설계를 의미하지 않습니다.
세 가지 크롤러를 어떻게 구분할까
BeautifulSoupCrawler는 HTTP 클라이언트로 페이지를 가져온 뒤 BeautifulSoup로 HTML을 파싱합니다. 빠르고 효율적이지만, 자바스크립트로 렌더링되는 콘텐츠는 처리하지 못합니다.2 정적 페이지나 서버에서 완성된 HTML을 내려주는 사이트에 적합합니다.
ParselCrawler도 HTTP 기반 크롤러입니다. Parsel은 CSS 선택자 기반 API로 HTML 문서에서 데이터를 추출하는 경량 라이브러리입니다.2 선택자 중심의 추출 방식이 편한 경우에 잘 맞지만, 이 역시 자바스크립트 렌더링이 필요한 페이지에는 적합하지 않습니다.
PlaywrightCrawler는 Playwright가 제어하는 헤드리스 브라우저를 사용합니다.2 Chromium, Firefox, WebKit 등 여러 브라우저를 다룰 수 있어 동적 웹사이트에 강합니다.2 다만 브라우저를 실행하는 만큼 HTTP 기반 크롤러보다 비용이 큽니다.
선택 기준은 간단합니다. 페이지 HTML에 필요한 데이터가 이미 들어 있다면 BeautifulSoupCrawler나 ParselCrawler로 충분합니다. 화면 렌더링 후에야 데이터가 나타난다면 PlaywrightCrawler를 고려해야 합니다.
크롤링 결과는 어디에 쓰일 수 있어야 하는가
Crawlee for Python을 볼 때 중요한 관점은 “무엇을 긁을 수 있는가”보다 “긁은 데이터를 어떻게 재사용할 수 있는가”입니다. 특히 RAG 환경에서는 크롤링 결과가 단순 페이지 목록이 아니라 검색과 생성에 넣을 수 있는 구조화된 지식 조각이어야 합니다.
그래서 파이프라인에는 몇 가지 요소가 필요합니다.
접근 규칙을 고려하는 robots 처리
페이지 간 연결을 추적할 수 있는 링크 그래프
분석과 저장을 위한 JSON, CSV export
RAG에 넣기 쉬운 JSONL 청크 export
MarkTechPost 튜토리얼은 이 흐름을 로컬 데모 웹사이트에서 단계적으로 보여줍니다.1 Crawlee 공식 예제 역시 데이터를 push하고, 링크를 enqueue하며, 결과를 CSV로 export하는 기본 흐름을 제시합니다.3 즉 Crawlee는 개별 파서라기보다 “수집-추적-저장” 과정을 하나의 크롤링 워크플로로 묶는 도구에 가깝습니다.
결론
Crawlee for Python을 사용할 때는 먼저 사이트 성격을 판단해야 합니다. 정적 HTML 중심이면 BeautifulSoupCrawler나 ParselCrawler로 시작하고, 자바스크립트 렌더링이 필요하면 PlaywrightCrawler를 선택하면 됩니다.
더 중요한 것은 결과물의 목적입니다. 단순 스크래핑이 아니라 검색, 분석, RAG까지 염두에 둔다면 처음부터 링크 추적과 export 형식을 포함한 파이프라인으로 설계해야 합니다. Crawlee for Python의 가치는 바로 그 전환, 즉 “페이지를 긁는 코드”에서 “재사용 가능한 데이터 수집 워크플로”로 넘어가는 데 있습니다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.