크롤링과 스크래핑 차이 무엇일까 ?

겉으로 보면 둘 다
웹에서 정보를 가져오는 작업이다.
그래서 같은 의미로 쓰이는 경우도 많다.

하지만 목적과 역할이 다르다.

 

차이는 “무엇을 하려는가”에 있다

크롤링은 찾는 일

크롤링은 웹을 돌아다니며
어떤 페이지가 존재하는지 찾고 수집한다.

링크를 따라 이동하며
페이지 목록과 구조를 파악한다.

즉, 탐색이 목적이다.

---

스크래핑은 뽑아내는 일

스크래핑은 이미 접근한 페이지에서
필요한 데이터만 추출한다.

가격, 텍스트, 테이블, 개인 정보 등이 대상이다.

즉, 데이터 활용이 목적이다.

---

그래서 하는 일은 비슷해 보여도 다르다

구분크롤링스크래핑

 

구분	크롤링	스크래핑
핵심 목적	페이지 탐색	데이터 추출
링크 이동	한다	하지 않는다
대상	페이지 자체	페이지 안의 정보
결과물	URL, 페이지 목록	정형 데이터

---

대출 신청을 예로 들면

대출 신청 시에는
특정 개인의 소득, 납부 내역 같은 정보가 필요하다.

• 웹을 돌아다닐 필요가 없다
• 정해진 화면에서 정보만 가져오면 된다

이 경우는 크롤링이 아니라 스크래핑이다.

 

즉,

• 크롤링은 어디에 뭐가 있는지 찾는 작업
• 스크래핑은 그 안에서 필요한 것을 꺼내는 작업