Nifi, Kafka, Spark, Druid 장애 대응 사례 kt넥스알 2021년 상반기 테크리포트 by 기술블로그 저는 이번에 데이터엔지니어링 관련 Nifi, Kafka, Spark 장애 대응 사례를 다루고자 합니다. 주로 Nifi, Kafka, Spark 장애 처리 과정 및 조치과정에 대해 다루려고 합니다.
Apache Nifi Cluster Connection이 끊어지는 문제와 해결방안 시스템 개요 Hadoop 클러스터 가운데 NDAP 4.10.1 버전을 운영중에 있으며, DataOps팀에서는 NDAP 관련 기술지원 업무를 수행하고 있습니다. Hive, Presto, Nifi를 주로 사용하고 있으며, 수집 데이터는 Nifi를 활용하여 HDFS에 저장됩니다.
이때 Yarn 클러스터에서는 MapReduce 등의 애플리케이션이 실행되어 데..........
