Apache Kafka是分布式发布-订阅消息系统（消息中间件）。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。
就像是一个放鸡蛋的篮子。生产者生产鸡蛋放到篮子中，消费者从篮子中消费鸡蛋。
Kafka的优势
Kafka就是一个分布式的用于消息存储的消息队列。一般用于大数据的流式处理中。
一些常见的中间件：ActiveMQ，IBMMQ，RabbitMQ，ZMQ 但都不是分布式的。
Apache Kafka与传统消息系统相比，有以下不同：
它是分布式系统，易于向外扩展。
它同时为发布和订阅提供高吞吐量。
它支持多订阅者，当失败时能自动平衡消费者。
它将消息持久化到磁盘，因此可用于批量消费，允许多个消费者消费数据。
消息队列的两种模式
1、 点对点模式（一对一，消费者主动拉取数据，消息收到后清除）。
2、 发布订阅模式（一对多，消费者消费数据之后不会删除，数据可以被多个消费者使用）。有两种消费方式，一种是消费者主动拉取操纵，好处是速度可以自己控制，坏处是要维护一个常轮询，不断询问队列是否有新数据产生；另一种是消息队列推送数据，消费者的消费能力不一样，没法根据不同的消费者提供不同的推送速度。
Kafka的特性
（1） 高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, consumer group 对partition进行consume操作。
（2）可扩展性：kafka集群支持热扩展。
（3）持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失。
（4）容错性：允许集群中节点失败（若副本数量为n,则允许n-1个节点失败）。
（5）高并发：支持数千个客户端同时读写。
上传安装包到集群中，并解压。
利用已有的3台机器：node01、node02、node03
修改配置：
·cd config
·vi server.properties
Spark-yarn 解压缩文件，并重命名为spark-yarn。 tar zxvf spark-3.0.0-bin-hadoop3.2.tgz mv spark-3.0.0-bin-hadoop3.2 spark-yarn 修改配置文件 修改hadoop配置文件/opt/software/hadoop/hadoop-2.9.2/etc/hadoop/yarn-site.xml，并分发给其他节点。 是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是 true <property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value> </property> 是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是 true <property> <name>yarn.nodemanager.pmem-check-enabled</name> <value>false</value> </property> 返回到spark-yarn目录，修改conf/spark-env.sh，添加 JAVA_HOME 和 YARN_CONF_DIR 配置。 mv spark-env.sh.template spark-env.sh vi spark-env.sh 启动HDFS以及Yarn集群 提交测试应用 bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode cluster \ ./examples/jars/spark-examples_2.12-3.0.0.jar \ 10
