Kafka란?

오픈 소스 메시지 브로커 프로젝트. 메시지 브로커는 한 시스템에서 다른 시스템으로 메시지를 안전하게 전달하는 미들웨어이다. 실시간 데이터 피드를 관리하기 위해 통일된 높은 처리량과 낮은 지연 시간을 제공한다.

카프카 이전의 시스템

• End to End 방식의 아키텍처
• 데이터 연동의 복잡함, 장애 전파, 서로 다른 데이터의 파이프라인 필요
• 즉 확장이 어려운 구조

→ 수요 : 모든 시스템으로 데이터를 실시간 전송하여 처리할 수 있으며, 데이터가 많아지더라도 확장이 용이한 시스템

카프카 도입

• 카프카가 메시지의 수신자와 송신자를 추상화, 더 유연하게 이벤트 처리 가능
• 높은 처리량을 위한 메시지 최적화
• 카프카 서버 자체의 스케일 아웃 가능
• 데이터 스트리밍, 데이터 조작 언어로 다른 스토리지 시스템과 연결 가능