> For the complete documentation index, see [llms.txt](https://soojle.gitbook.io/project/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://soojle.gitbook.io/project/undefined-2/undefined.md).
# 인공지능 개발 개요
본 문서는 SOOJLE 서비스에서 사용될 인공지능 개발을 위한 학습 과정, 모델 구현 및 분석에 대한 내용을 다룬다. 본 프로젝트에서 개발될 모델은 다음과 같다.
* 크롤링된 문서를 학습하여 주제를 분류해주는 LDA 모델
* 특정 단어의 의미를 분석하여 유사한 단어를 추출해주는 FastText 모델
본 문서에서는 상기의 구현 목표를 달성하기 위한 과정을 나열하고 각 과정에 대한 분석 및 회고에 대한 내용을 다루고 있다.
## 전반적인 프로젝트 절차
## 데이터 수집
학습을 수행하기 위한 데이터 수집 관련은 **데이터 크롤러** 문서를 참고하도록 한다.
{% content-ref url="/pages/-LngpWsEB--gA7gLflrj" %}
[데이터 크롤러 개요](/project/undefined-4/undefined.md)
{% endcontent-ref %}
## 데이터 전처리
중복되거나 학습에 좋지 않은 영향을 끼칠 만한 데이터를 처리해야 한다. 또한 초기 데이터를 머신러닝 모델의 입력에 적합한 형태로 바꿔주는 데이터 정제 과정 또한 이에 포함된다.
{% content-ref url="/pages/-LngqBU2z8\_hoWxVjGh9" %}
[데이터 전처리 과정](/project/undefined-2/undefined-1.md)
{% endcontent-ref %}
## 탐색적 데이터 분석(EDA)
EDA는 프로젝트의성공 여부를 결정하는 매우 중요한 프로세스이다. 데이터를 이해하기 위해 데이터의특징을 찾고, 숨겨진 패턴을 발견하는 과정이 이에 해당한다.
## 모델 선정
예측값을 도출해내는 알고리즘 및 각 모델에 대한 hyperparameter를 선정한다. 모델에 사용될 feature의 경우, 공모전의 룰을 따른다.
## **성능 평가 및 배포**
수행 모델에 대한 성능을 평가하는 과정이다. 평가를 위한 test 데이터셋은 모델 선정 및 학습 과정에서 사용되지 않은 것들은 선정하여 평가를 수행한다.
