mydailylogs

mydailylogs

  • 분류 전체보기 (115)
    • Kafka (1)
      • Debezium CDC (1)
    • Archieve (110)
      • Elastic Stack (1)
      • AI (3)
      • etc (2)
      • errors (5)
      • CS (20)
      • OS (18)
      • Linux OS (2)
      • 알고리즘 (26)
      • DevOps (8)
      • Cloud Service (5)
      • Airflow (3)
      • Python (3)
      • Go (4)
      • Data Engineering (9)
      • Programming Language (0)
      • Kafka (1)
  • 홈
  • 태그
  • Github
RSS 피드
로그인
로그아웃 글쓰기 관리

mydailylogs

컨텐츠 검색

태그

광물캐기 SIIT two pointer cache IPv6 헤더 sliding window Binary Search git 충돌 캐시 동기화 Zookeeper greedy airflow 위험 궤적 logging kafka 경쟁 상태 Dual Stack Python kuberntes

최근글

댓글

공지사항

아카이브

Archieve/Kafka(1)

  • max.block.ms 주절주절

    브로커에 메세지를 전송하기 전 Producer의 큰 흐름을 3 단계로 나눠보면 Producer -> Accumulator -> Sender로 구분할 수 있습니다. (네이버 D2에서 훌륭하게 소개해주고 계십니다 https://d2.naver.com/helloworld/6560422) 대표적으로 메시지를 전송할 때 사용하는 send() 메서드는, 먼저 Kafka 브로커로부터 토픽과 파티션에 대한 메타데이터를 확보한 후, 이 정보를 바탕으로 파티션을 결정하고, 그에 따라 내부 버퍼(RecordAccumulator의 deque)에 데이터를 적재합니다. 이 버퍼에 쌓인 데이터는 배치 조건이 충족되면 Sender 스레드에 의해 브로커로 전송됩니다. 이때 내부 버퍼가 꽉 차서 더이상 데이터를 담을 수 없는 경우, s..

    2025.04.21
이전
1
다음
티스토리
© 2018 TISTORY. All rights reserved.

티스토리툴바