웹 크롤링을 위해서 먼저 해당 페이지가 웹 크롤링을 해도 되는 페이지인지 확인하기 위해 사이트 주소 뒤에 /robots.txt 붙여 확인한다.
https://www.melon.com/robots.txt
chart 크롤링이 허용되어 있다. Disallow로 명시되어 있으면 크롤링을 할 수 없다.
<http://localhost:8080/melon/collectMelonSong>
멜론 차트 탑 100을 수집하고 저장한다.
<http://localhost:8080/melon/getSongList>
저장한 차트를 조회한다.
<http://localhost:8080/melon/getSingerSongCnt>
가수별 차트에 등록된 노래 수를 카운트한다.
MongoDB 저장 데이터