웹크롤링

    [python] 웹 크롤링으로 게시판 업데이트 확인하기 (1)

    계기 데스크탑을 사고 싶어서 핫딜을 알아보고 싶은데, 핫딜 게시판을 주기적으로 들르자니 너무 귀찮았다. RSS 느낌으로다가 게시판이 업데이트되면 terminal 수준에서 알려주는 어플리케이션을 만들면 편할 것 같았다. 언어는 가장 빠르게 구현할 수 있는 python으로 선택했다. 목표 특정 사이트의 게시물 리스트를 5분 간격으로 탐색하고 업데이트돤 내용만을 추려서 보여준다. 구현 먼저 웹 크롤링에 필요한 모듈을 다운로드한다. pip install requests, beautifulsoup4 requests => 서버에 웹페이지 내용을 요구할 수 있게 해준다. urlopen을 쓸 예정. beautifulsoup4 => requests를 통해 얻은 웹페이지 내용을 쓰기 좋게 다듬어준다. 해당 url을 url..