데이터를 크롤링할때 네이버플레이스 주소에 나와있는 것을 기반으로 크롤링을 하는 상태로 구축하고 있기에, 많은 양을 데이터를 일일이 주소(즉, 키값)을 찾아가면서 데이터를 크롤링하는데 시간소모와 한계가 있음. 자동화 할 방법 찾기 또는 다른 방식으로 크롤링할 것.
크롤링할때 1. 식당 웹주소가 필요하다. 2.식당을 클릭하면 그밑에 리뷰들을 전부 크롤링하려면 일일이 셀레니움 동적크롤링 통해서 가져와야한다는 문제
→ 밑에 이슈2 해결방식 자동화해서 일일이 크롤링할것
→ https://www.hashscraper.com/ ( 무료 크레딧 활용해서 데이터 모을까? )
Issue 2: 사용자 위치기반이나, 사용자가 설정한 곳의 주변 식당들의 데이터들을 어떻게 불러올것인지 생각보다 까다롭다. (네이버를 사용할것인가?, 구글? 카카오?) 네이버 api가 있다고는 하는데 확인필요 (식당이름만 아니라 리뷰랑, 별점정보들 까지 같이제공하는지 )
→ 좌표로 주소로 얻어내는 카카오api사용하여, 주소에서 필요한 키워드 추출 + 사용자가 원하는 음식 키워드 합친것으로 api 만든다.
https://apis.map.kakao.com/web/sample/coord2addr/
→ 키워드로 장소검색하고 목록으로 표출하기, 그 리스트 기반으로 크롤링할것
https://apis.map.kakao.com/web/sample/keywordList/
→ 크롤링 참고자료
https://dduniverse.tistory.com/entry/카카오맵-리뷰-크롤링-하기-with-Selenium-BeautifulSoup
/ 또는 크롤링하는 부분을 naver api 사용해서 블로그기반 리뷰들을 긁어와도됨
https://developers.naver.com/docs/serviceapi/search/blog/blog.md
( api들 사용하는데 비용제한과 목록가져오는 제한이 있기는 함 )
Naver Developers, 하루에 검색 API 호출이 25000회로 제한
Kakao Developers 에서는 일반 서비스에서는 충분히 활용하실 수 있는 기본 사용량을 제공하고 있습니다.