아파치 카프카(Apache Kafka)는 아파치 소프트웨어 재단이 스칼라로 개발한 오픈 소스 메시지 브로커 프로젝트이다.
이 프로젝트는 실시간 데이터 피드를 관리하기 위해 통일된, 높은 처리량, 낮은 지연시간을 지닌 플랫폼을 제공하는 것이 목표이다.
요컨대 분산 트랜잭션 로그로 구성된, 상당히 확장 가능한 pub/sub 과 메시지 큐[1]로 정의할 수 있으며,
스트리밍 데이터를 처리하기 위한 기업 인프라를 위한 고부가 가치 기능이다.
최초 링크드인에서 개발됐다.
Kafka에서 Publisher/Subscriber 또는 Producer/Consumer 는 논리적인 개념으로 실제 Kafka는 Broker만 존재한다고 생각해도 무방하다.즉 퍼블리셔(프로듀서)는 Broker에 메시지를 넣는 자(어플리케이션), 구독자(컨슈머)는 Broker에 있는 메시지를 가져가는 자(어플리케이션)를 지칭하는 논리적인 개념이다. ↩︎