어제 분명 다들 바빠서 나는 일이 적을 줄 알았는데..... 마케팅팀에서 데이터 업데이트 요청이 몇 번이나 들어왔는지 모르겠다.....
(데이터팀 아니고 마케팅팀인줄.....) 업무가 들어와서 힘들었다기 보다는, 반복적으로 수동작업 해야하는 것들이 너무 많아서 힘들었다...
왜냐면 회사에서는 아직 GCP BigQuery의 예약된 쿼리를 쓰기 때문에.............. 반복적으로 4~5개씩 예약된 쿼리를 돌릴 때 마다 귀찮다.
그래서 지난번부터 노려왔던 airflow를 찾아봤다. 일단 무작정 찾아보기 전에 유튜브부터 봤다.
예약된 쿼리에서 airflow로 바꾸면 진짜 일이 줄어들지... https://youtu.be/OB1euuIATkE 이 분께서는 2명이 8시간 걸렸던 작업이 30분으로 줄었다고 했다. 아무튼 이걸 보고 airflow 진짜 써야겠다는 생각이 들었다.
그래서 구글링과 네이버 검색 결과.....한국어 버전은 찾기 힘들었고 대신 "구글 빅쿼리 완벽 가이드"(=회사에 ...
#
airflow
#
엔지니어링
#
에어플로우
#
빅쿼리
#
데이터엔지니어링
#
데이터엔지니어
#
구글빅쿼리
#
구글
#
tutorial
#
Google
#
GCP
#
ETL
#
ELT
#
dataengineering
#
dataengineer
#
Composer
#
BigQuery
#
튜토리얼
원문 링크 : airflow 튜토리얼 해보기
