미래내일 일경험 인턴 기록13
Intro
이 글은 미래내일 일경험 인턴십에서 근무하면서
겪거나 배우고 느낀 것을 기록하고자 작성한 포스트입니다.
태블로 시각화 및 클라우드에 DB 올리기
이번 주에는 주로 태블로 시각화와 클라우드에 DB올리는 작업을 진행했다.
크롤링을 진행하는 파이썬 코드에 오라클 클라우드 관련 정보를 연동해서 디비에 직접 업로드 하는 방향으로 진행을 하고자 했다. 이 부분에 대해서는 아래 포스트를 참고했다.
그런데 크롤링 실행 과정에서 문제가 발생했다.
크롤링을 통해 2022년 1월 1일 정보까지 디비에 넣을려고 했는데 자꾸 메모리 누수가 발생해서 2022년 7월~8월 정보를 크롤링할 쯤에 코드 실행이 중단되는 문제가 발생했다.
인터넷으로 정보를 찾아보면서 selenium의 chromedriver를 종료하거나 가비지컬렉터를 이용하면
된다는 얘기를 봐서 이 방향으로 코드도 수정해 봤지만, 계속 같은 문제가 발생했다.
그래서 그냥 예전에 csv파일로 추출했던 정보를 DB에 넣고, 나머지 차분의 데이터를 직접 크롤링하는 방식으로 DB에 정보를 넣게 되었다. 이렇게 해서 클라우드에 DB 올리는 작업 테스트는 완료.
대표님 오라클 계정에도 DB를 올려야 하는데, 대표님 계정의 무료 체험 기간이 아직 유효한지는 모르겠다.
문제점은 태블로랑 오라클 클라우드 DB를 연결하는 부분인데, 이 부분에 대해서는 정보가 잘 안나와있고, 관련 포스트가 있는 velog 글을 찾아봤지만, 상당히 절차가 복잡한 것 같았다.
이건 내일 한 번 다시 찾아보면서 연구를 좀 해봐야 할 것 같다.
그리고 대표님이 크롤링을 매일 1번씩 수행하는 부분에 대해서 자동화 하는 방법을 고민해보라 하셨는데
다른 분이 관련된 정보를 찾아본 게 있어서 이것과 관련해서 진행 방향을 모색해 봐야 할 것 같다.
달콤한 주말이 벌써 지나가니 아쉽다. 이번 주도 파이팅이다.