우테코 Car-ffeine #2 - 23만 건의 데이터를 받아서 저장하는 과정을 최적화 해보자

안녕하세요. 우테코 카페인 팀의 제이입니다.

저희 서비스에서 필연적으로 해야하는 과정이 있습니다. 바로 공공 API에서 데이터를 받아오고 데이터베이스에 저장하는 것입니다.

공공 API에서는 한 페이지당 최대 9,999개의 데이터를 제공하고, 이를 23번 정도 반복해야합니다. 따라서 데이터의 양은 총 약 23만 건 정도 되고, 오늘은 이 데이터를 DB에 저장하는 과정을 최적화하는 과정을 다뤄보겠습니다.

저희 팀은 4인 페어로 진행하면서 기본적인 방법부터 여러 가지를 적용했는데요. 어떻게 유의미한 속도로 바뀌었는지 작성해보도록 하겠습니다.

(with. 누누, 박스터, 키아라) 같은 팀의 크루 누누의 글을 참고 했습니다!

테이블 구조 간단 설명 최적화 과정에 앞서 저희 서비스의 테이블의 구조를 간단하게 설명하겠습니다. 저희는 전기차 충전소를 다루는 도메인이기 때문에, 다음과 같은 테이블로 구성되어있습니다.

충전소 충전소에 속한 충전기들 조회시에 충전소와 충전기들의 데이터 모두가 필요해서 ...