Issue & Exception

MongoDB Cursor connection error

Pymongo를 통하여 Python으로 DB의 정보를 불러오게 되면, 다음과 같이 cursor로 반환이 된다.

이는 현재 Pymongo 쿼리를 통하여 요청한 데이터 전부를 DB에서 불러온 것이 아니라, Pointer를 통하여 MongoDB의 해당 객체를 가리키고 있다. 따라서 이를 그대로 Front로 반환을 하게 되면 Error가 발생한다.

이를 해결하기 위해서는 다음과 같은 두 가지 방법이 존재한다.

• Python 자체에서 list() 리스트화

• dumps

list()화를 시키게 된다면, front에서도 온전한 딕셔너리 형({}) json 데이터를 그대로 받게 된다. 하지만 두 번째 방법인 dumps로 파싱을 시키고 보내게 되면 json형 데이터로 변경되긴 하지만 자료형은 string으로 처리되어서 하나의 string으로 받게 된다. 이럴 경우는 front에서 따로 파싱 작업이 요구된다.

MongoDB의 json화 처리

result = db['test_posts6'].find_one(
		{
			'_id': ObjectId(post_obi)
		}, 
		show_dict
	)

Pymongo에서 MongoDB와 커넥트 하여 데이터를 불러오게 되면, 기본적으로 MongoDB의 ObjectID, Date 등의 자료는 아래와 같이 오브젝트 형식으로 Python으로 불러오게 된다.

이들의 자료형은 Python에서는 인식을 하여 Backend에서 작업 시에는 크게 문제는 없다. 하지만 Front로 반환을 하면 Error를 발생한다.

이를 해결하기 위해서는 두 가지의 주된 방법이 있다.

• 전체 dumps로 인한 string Json화

• 특정 Object만 dumps 혹은 string화

SOOJLE은 Backend에서 사용자 추천을 위한 연산을 돌리기 때문에, 요청한 해당 API가 DB에서 불러온 데이터를 하나하나 반복문을 통하여 접근할 경우에는 특정 Object만 dumps를 시켜주었다.

애초에 Backend에서 DB에서 불러온 데이터들을 접근하지 않는다면, 바로 dumps를 시켜서 Front에 반환해준다.

MongoDB 16Mbytes Limit

Mongodb의 Document는 개당 최대 16Mb로 제한이 걸려있다.

따라서 Soojle의 Log기록에 문제가 발생한다. 특히, 사용자 검색기록, 좋아요 한 게시글, 접근한 게시글, 접근한 뉴스피드 등 다양한 log를 기록하는데, 이는 실시간으로 사용자의 액션에 따라 데이터 량이 증가하기 때문에 16Mb를 넘기는건 시간문제이다.

따라서, 이를 해결하기 위한 대책은 다음과 같다.

• user테이블에는 특정 X개의 로그 개수를 맞춰놓는다.

• 특정 X개의 로그가 기록 되었을 때에는 Queue형태로 로그가 기록된다. (FIFO)

즉, 특정 X개가 꽉 찼을 시에는 가장 오래된 것을 빼서 새롭게 들어온 log를 기록한다. 리스트에서 빠진 기존의 log는 새로운 Collection의 테이블로 이동하여 계속 보존하는 방식을 취한다.