Issue: 강남과 같은 주요지역들에 있는 가게들의 리뷰들은 다른곳보다 많아서 크롤링하는데 시간이 훨씬오래걸림( 가게하나당 500개가 넘는 경우들도 비일비재함. ) - 현재 카카오 맵에 5페이지 내에 있는 모든 가게의 모든 리뷰들을 긁어오는 상황이 문제.
Problem Solving:
서초동에 쌀국수집 찾아보면 5분가량 걸림
해결: 크롤링하는 리뷰수를 가게당 최대 50개정도로 줄임.
해결: 크롤링하는 리뷰수를 가게당 최대 50개정도로 줄임.
5분걸리던것 2분으로 줄여짐.
추가로 크롤링하던페이지를 5에서 3으로 줄였다. 클러스터링하는 과정까지해서 대부분 1~2분내로 결과를 산출.
한계 - 절대적으로 수집하는 데이터량이 줄어듬으로 성능이 떨어짐
카카오맵이 아닌 구글맵 리뷰로 우리가 서비스방향을 전환한다면 구글 api로 속도향상가능, 하지만 리뷰의 퀄과 신뢰도, 양 떨어질수있고 가게의 호환성이 어떨지모름 (구글엔 잇지만 카카오엔 없는 가게?)