게시물 토픽 정의 및 분류

개요

크롤러에 의해 수집된 문서에 대하여 토픽을 정의해야 한다. 문서의 토픽을 결정하기 위해 LDA 알고리즘을 사용하며, 추천 시스템의 성능을 높이기 위하여 Rule Based 기반으로 해당 문서를 수집한 게시판의 본래 목적 등을 토대로 일정 부분 기여하도록 한다.

LDA 토픽

LDA는 학습된 문서 내의 단어 빈도수 통계를 기반으로 해당 문서에 지정된 복수의 토픽을 예측한다. 예를 들어 아래와 같은 토픽 목록을 LDA가 학습을 통해 도출했다고 가정한다.

(0, '0.015*"drive" + 0.014*"thanks" + 0.012*"card" + 0.012*"system"')
(1, '0.009*"back" + 0.009*"like" + 0.009*"time" + 0.008*"went"')
(2, '0.012*"colorado" + 0.010*"david" + 0.006*"decenso" + 0.005*"tyre"')
(3, '0.020*"number" + 0.018*"wire" + 0.013*"bits" + 0.013*"filename"')
(4, '0.038*"space" + 0.013*"nasa" + 0.011*"research" + 0.010*"medical"')
(5, '0.014*"price" + 0.010*"sale" + 0.009*"good" + 0.008*"shipping"')
(6, '0.012*"available" + 0.009*"file" + 0.009*"information" + 0.008*"version"')
(7, '0.021*"would" + 0.013*"think" + 0.012*"people" + 0.011*"like"')
...(생략)

각 토픽은 위와 같이 각 단어에 따라 해당 문서의 토픽 분류에 기여하고 있는 수치를 나타내고 있다. 다음과 같이 정의된 모델에서 특정 문서를 입력 값으로 넣었을 경우, 아래와 같은 분석 결과를 확인할 수 있다.

해당 문서의 topic 비율은 [
(7, 0.3050222), (9, 0.5070568), (11, 0.1319604), (18, 0.042834017)
]

모델은 위의 문서가 7, 9, 11, 18번 토픽과 관련이 있으며 그중에서도 9번 토픽이 양 50%의 비중을 차지하고 있다고 예측을 내린 것이다.

단, 해당 알고리즘은 문서 내의 단어의 빈도 수에 따라 토픽을 결정하기 때문에 학습되지 못한 단어나 매우 복잡한 토픽을 다루는 문서에 대하여 성능이 떨어지는 단점이 존재한다.

Rule Based Tag

문서의 크롤링을 수행하는 도중에 얻을 수 있는 정보를 토대로 정적으로 주제 분류를 도출해낼 수 있다. 대표적으로 아래와 같은 경우가 있다.

• 해당 문서는 어떤 사이트의 어떤 게시판에서 수집된 것인가

• 해당 문서의 제목에는 보편적으로 특정 토픽을 가리키는 단어가 포함되어 있는

예를 들어 학생경력개발 시스템 사이트의 채용 공고 게시판에서 문서를 수집할 경우, "경력"이라는 단어가 제목에 포함되어 있을 경우, "경력" 태그를 추가하는 방식이다.

{"title" : "[장학공지] 2019-2 국가장학금 및 에델바이스 추가 신청안내", 
"author" : "14141414", "date" : 1566367860, "post" : 
"도 2학기 국가장학금 및 에델바이스 신청안내2019학년도 2학기 국가장학금 신
청이 아래와 같이 진행될 예정이오니, 재학예정인 학생(대학원생, 글로벌지식교육원 제외)은 
반드시 신청하시기 바랍니다. - 아   래 -1) 소득분위별 장학금액 ※ 국가장학금 신청 시, 
국가Ⅰ유형 및 국가Ⅱ유형, 에델바이스Ⅱ 장학금 통합신청 구 분국가Ⅰ유형국
가Ⅰ다자녀구 분국가Ⅱ유형에델바이스Ⅱ0...", 

# 정적 분석 태깅 결과
"tag" : ["장학", "공지", "세종대역"] }

이러한 정적 분석 방식은 조건에 충족될 경우, 높은 확률로 정확한 토픽 선정이 가능하지만 모든 경우의 수 중, 일부분 만을 반영하지 못한다는 단점이 존재한다.

결론

각 토픽 분류 방법에 대하여 서로의 단점을 보완하기 위해 두가지 방법을 병행하여 토픽 분류를 수행하기로 한다.