4주차 - 웹데이터 수집(크롤링)

웹 크롤링(Web Crawling)은 '크롤러'라는 자동화 소프트웨어가 웹 사이트들을 돌아다니며 HTML 페이지를 탐색하고, 정보를 자동으로 수집·분류·저장하는 기술

 

만약 무신사에 있는 상품들의 정보를 1페이지~2페이지 정도 가져오고 싶다면 수동으로 할 수도 있겠지만 몇십,몇백개를 가져오고 싶다면 해당 기능을 이용해야 한다.(물론 공식적인 API 사용이 허락된다면 좋겠지만 대부분은 허용하지 않는다)\

 

크롤링 시작방법

1. 탐색하고 싶은 웹페이지를 연다

2. F12 를 누른다(개발자 도구 창이 열린다)

3. 상단에 Elements 탭을 클릭한다

4. 왼쪽 상단에 있는 점선네모와 화살표가 있는 아이콘을 클릭한다

5. 웹페이지의 원하는 부분에 마우스를 가져다 놓고 클릭한다.

6. 개발자 도구에 Elements 아래에 진하게 칠해진 부분이 선택한 부분이다.

7. 해당 부분을 ctrl + c 또는 마우스 오른쪽 클릭=>Copy=>Copy element 를 누른다.

8. 메모장(비추) 또는 vscode에 test.html 파일을 만들고 ctrl + v 를 누른다

<span class="T286Pc" data-sfc-cp="" jscontroller="fly6D" jsuid="V6T0Jf_k"><strong class="Yjhzub" jscontroller="zYmgkd" jsuid="V6T0Jf_l">핵심 기능:<!--TgQPHd|[]--></strong> 웹 페이지의 하이퍼링크를 따라다니며(Crawling) 데이터를 가져오고, 필요한 정보만 추출(Scraping)하여 저장합니다.<!--TgQPHd|[]--></span>

 

9. 위에 해당하는 정보들을 자동으로 여러 개 모집하기 위하여 쓰는 것을 크롤링이라고 한다.

 

아나콘다

동물이름 아니다.

위에서 했던 크롤링을 좀 더 쉽고 편하게 하기 위해서 쓰는 프로그램이다.

 

하지만 나 개인적으로는 vscode 에서 URL과 network Tab에 있는 api를 보고 직접 쓰는 게 더 편해서 잘 사용하지 않는다.

그럼에도 사용하려는 분들은 한 번 배워보면 좋다.

마우스나 키보드 조작을 쉽게 할 수 있게 해준다.

 

요약

- 지금 F12 눌러서 Elements 칸을 클릭해봐라

- 아나콘다는 이를 쉽게 하게 해준다

- 그렇다고 한 것들 다른곳에 배포하지마라. 불법으로 잡혀갈 수도 있다