인공지능 개발 개요

본 문서는 SOOJLE 서비스에서 사용될 인공지능 개발을 위한 학습 과정, 모델 구현 및 분석에 대한 내용을 다룬다. 본 프로젝트에서 개발될 모델은 다음과 같다.

• 크롤링된 문서를 학습하여 주제를 분류해주는 LDA 모델

• 특정 단어의 의미를 분석하여 유사한 단어를 추출해주는 FastText 모델

본 문서에서는 상기의 구현 목표를 달성하기 위한 과정을 나열하고 각 과정에 대한 분석 및 회고에 대한 내용을 다루고 있다.

전반적인 프로젝트 절차

데이터 수집

​학습을 수행하기 위한 데이터 수집 관련은 데이터 크롤러 문서를 참고하도록 한다.

데이터 크롤러 개요

데이터 전처리

중복되거나 학습에 좋지 않은 영향을 끼칠 만한 데이터를 처리해야 한다. 또한 초기 데이터를 머신러닝 모델의 입력에 적합한 형태로 바꿔주는 데이터 정제 과정 또한 이에 포함된다.

데이터 전처리 과정

탐색적 데이터 분석(EDA)

EDA는 프로젝트의성공 여부를 결정하는 매우 중요한 프로세스이다. 데이터를 이해하기 위해 데이터의특징을 찾고, 숨겨진 패턴을 발견하는 과정이 이에 해당한다.

모델 선정

예측값을 도출해내는 알고리즘 및 각 모델에 대한 hyperparameter를 선정한다. 모델에 사용될 feature의 경우, 공모전의 룰을 따른다.

성능 평가 및 배포

수행 모델에 대한 성능을 평가하는 과정이다. 평가를 위한 test 데이터셋은 모델 선정 및 학습 과정에서 사용되지 않은 것들은 선정하여 평가를 수행한다.