Challenge
배치 처리 기반의 분석 시스템으로 실시간 인사이트 제공 불가
Solution
이벤트 드리븐 아키텍처 설계 + Kafka 기반 스트리밍 파이프라인 + 실시간 대시보드
Results
데이터 지연 24시간 → 3초
일 배치 ETL에서 실시간 스트리밍 전환.
Apache Kafka + Flink 조합으로
이벤트 수집부터 분석까지 3초 이내.
초당 100만 이벤트 처리
파티션 기반 수평 확장 아키텍처 설계.
피크 트래픽 대비 3배 여유 용량 확보.
백프레셔 메커니즘으로 안정성 보장.
분석 비용 60% 절감
ClickHouse 기반 컬럼 스토어 도입으로
기존 대비 쿼리 속도 50배 향상.
스토리지 비용 대폭 절감.
Tech Stack
Streaming: Apache Kafka, Apache Flink
Storage: ClickHouse, S3, Delta Lake
Ops: Kubernetes, Grafana, Prometheus