渝发建设官方网站_网上购物的设计与实现_短视频营销策划方案_专业网站优化排名

• 磁盘顺序写入：Kafka将消息追加写入（Append-Only）日志文件，避免随机磁盘寻址，吞吐量可达数百万条/秒
• Zero-Copy优化：通过sendfile()系统调用，数据直接从页缓存（Page Cache）传输到网卡（NIC），减少内核态与用户态拷贝开销

• 批处理：减少网络往返（RTT）和IOPS消耗
• 压缩算法：Snappy/LZ4降低网络传输量

• Reactor模式：单线程处理请求元数据，多线程处理数据IO
• Page Cache利用：消息直接写入操作系统缓存，由Linux后台线程异步刷盘

• 分段滚动：默认1GB生成新文件，便于过期数据清理
• 稀疏索引：.index文件存储位移偏移量，实现快速定位

• 数据分片：Topic划分为多个Partition，分散到不同Broker
• ISR（In-Sync Replicas）：仅同步副本参与读写，避免慢节点拖累性能

# 查看Topic分区分布 
kafka-topics.sh --describe --topic orders --bootstrap-server localhost:9092

• Leader-Follower模型：每个Partition一个Leader（处理读写），多个Follower（异步/同步复制）
• ACK机制：
  • acks=0：不等待确认（可能丢失数据）
  • acks=1：Leader落盘即响应（默认）
  • acks=all：所有ISR副本确认（强一致）

• Leader选举：由Controller节点（ZooKeeper协调）触发，优先从ISR选择
• Unclean Leader选举：unclean.leader.election.enable=false时禁止数据不一致风险

• Producer分区策略：
  • 轮询（Round Robin）
  • 键哈希（Key Hashing）：相同Key的消息固定到同一分区
  • 自定义策略（实现Partitioner接口）

• 单分区有序：同一分区内消息严格有序（通过偏移量保证）
• 跨分区无序：需业务层处理（如使用事务或状态机）