Data Infra

배경: 데이터 파이프라인 장애의 상당수는 기술 장애가 아니라 계약 부재에서 시작된다

배경: “DB 저장 후 Kafka 발행”은 가장 쉬운 코드이지만 가장 위험한 경계다

배경: Kafka Consumer는 메시지를 읽는 코드가 아니라 운영 계약이다

배경: Kafka를 이벤트 버스로만 보면 상태 복구 토픽을 잘못 설계하게 된다

배경: Kafka를 쓴다고 자동으로 안전한 이벤트 발행이 되는 것은 아니다

배경: 스토리지는 이미 분리했는데, 왜 Lakehouse 쿼리는 여전히 느리고 비쌀까?

배경: 대시보드는 실시간이어야 하는데, 웨어하우스만으로는 왜 자꾸 늦고 비싸질까?

배경: 분석 쿼리는 느린데, 데이터 플랫폼 비용은 왜 더 빨리 늘어날까?

배경: SQL은 많은데, 왜 분석 테이블은 여전히 자주 틀릴까?

배경: 스트리밍이 어려운 이유는 “실시간”보다 “늦게 오는 데이터”에 있다

배경: Spark 작업이 느린 이유는 “클러스터가 약해서”보다 “데이터 이동을 잘못 설계해서”인 경우가 많다

배경: 데이터 레이크가 느려지는 이유는 파일 포맷보다 “테이블 운영 방식”에 더 가깝다

배경: Kafka를 붙였는데도 장애는 왜 더 복잡해질까?

배경: 배치는 “한 번 돌면 끝”이 아니라 “다시 돌려도 안 망가져야” 한다

배경: 이벤트는 코드보다 오래 살아남고, 그래서 스키마가 사고를 만든다

배경: 왜 CDC를 지금 다시 봐야 할까?

왜 Query DSL을 따로 배워야 할까?

왜 리밸런싱을 이해해야 하나?

왜 매핑 설계가 중요한가?

왜 파티션 키가 중요한가?

왜 샤드/레플리카를 따로 배워야 할까?

왜 이 주제가 중요한가?

왜 이 주제가 중요한가?

왜 Kafka를 알아야 할까?

왜 Elasticsearch를 알아야 할까?

원문: https://blog.naver.com/qoxmfaktmxj/223818156532

원문: https://blog.naver.com/qoxmfaktmxj/223789574581

원문: https://blog.naver.com/qoxmfaktmxj/223701240538

원문: https://blog.naver.com/qoxmfaktmxj/222725741877

원문: https://blog.naver.com/qoxmfaktmxj/222705139430