request와 cheerio를 이용한 웹 크롤링

node.js에서 request와 cheerio로 아주 간단하게 웹페이지를 크롤링해서 원하는 정보를 얻을 수 있다.

request 샘플 코드에서 내용만 살짝 바꿔서 네이버에서 실시간 검색어를 받아와서 출력해주는 프로그램을 만들어 보자.

const request = require('request');

const cheerio = require('cheerio');

const options = {

url: 'https://www.naver.com',

headers: {

'User-Agent': 'request'

}

};

const callback = ((error, response, body) => {

if (!error && response.statusCode == 200) {

const $ = cheerio.load(body);

const search = $('.ah_roll_area > .ah_l > .ah_item > a > .ah_k');

search.each((index, item) => {

console.log(`${index + 1} - ${$(item).text()}`);

});

}

});

request(options, callback);

request로 네이버 메인 페이지 내용을 받아와서 cheerio로 그 내용을 읽은 후 selector를 이용해서 실시간 검색어 부분만 파싱을 한다.

실행 결과

$ node naver.js

1 - 크릴 오일

2 - 안드레아 보첼리

3 - 가려진 시간

4 - 말레피센트

5 - 고파도

6 - 월요일이 사라졌다

7 - 서수연

8 - 베트남 북한

9 - 이필모

10 - 전홍준박사

11 - 인턴

12 - 눈이 부시게

13 - 지금 만나러 갑니다

14 - 곽동연

15 - 범블비 쿠키영상

16 - 콩 스컬 아일랜드

17 - 라이브 에이드

18 - 이일재

19 - 북한 베트남

20 - 신과함께

다음에는 네이버 주식에서 내용을 크롤링해서 맞춤형 페이지를 만들어 봐야 겠다.