데이터 크롤러 개요

개요

본 문서는 SOOJLE 서비스의 대상이 되는 모든 웹 서비스 및 플랫폼으로부터 정보를 수집하는 크롤러 구현 및 분석에 관한 내용을 다루는 문서이다.

본 크롤러의 수집 대상이 되는 URL은 아래의 문서를 참고하도록 한다.

수집 URL 대상 목록

이번 프로젝트에서는 빅데이터라는 주제와 세종대학교라는 특정한 범위 내에서의 주제의 정보가 필요하다. 그 수많은 정보를 직접 스크랩할 수 없으므로, 웹에서 표현되는 세종대학교에 맞는 특정 정보를 자동으로 크롤링해주는 프로그램을 제작할 필요성이 있다.

크롤링 URL 선정크롤러 구현을 위한 사전조사크롤러 개발 과정