RabbitMQ vs Kafka 차이??

공통점

• pub/sub 구조를 가지고 있다.
• 이벤트를 전달해준다
• 비동기 처리 → 즉시성이 없다
  • 약한 결합 → 장애가 전파되지 않는다. → MSA 아키텍처의 강점
• 구조
  • TOPIC 이라는 것이 각 기능 컴포넌트에 연결되어있는 형태
  • TOPIC → A / TOPIC → B / TOPIC → C / TOPIC → D
• Transaction 을 가짐

가장 큰 차이점은 consumer 를 ‘배분’한다는 점

kafka가 성공한 이유는 기능을 늘리는 것이 아니라 기능을 없애고 본질에 집중했기 때문

• kafka 는 각 기능 컴포넌트들이 TOPIC에서 메시지를 Pulling 받도록 했기 때문에 cpu 연산을 각 기능 컴포넌트가 가져감
  • → 대용량 처리가 가능

→ AWS에서는 kinesis 를 주로 사용할 것임 Kafka 와 거의 유사함

시작

• 메시지를 저장할 서버가 필요함 → Kafka 서버

Data pipeline

• 데이터를 중앙 집권형으로 한 곳에 모아놓는 것이 아니라, 여러 곳에 저장해놓음

• 원하는 쪽으로 데이터를 흘러가게 만든다 → Data mesh

• FlustD

• logstash