大数据开发环境：Kafka安装

以下基于Debain系Linux系统为基础

Kafka的运行需要依赖Zookeeper如果没有安装Zookeeper请参考如下文章。

大数据开发环境：Zookeeper安装

需要确保Java的环境变量被设置。如果没有设置请参考如下：

JAVA_HOME=/usr/lib/jvm/java-8-openjdk-armhf
JRE_HOME=/usr/lib/jvm/java-8-openjdk-armhf/jre
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export JAVA_HOME JRE_HOME PATH CLASSPATH

以上内容是arm环境下的情况。需要追加到/etc/profile文件的末尾。

如果装过java 执行java -version可以获得版本号。但不知道java安装在什么位置了。可以利用whereis 命令来查找。

先通过whereis java来确定java程序的位置比如/usr/bin/java

然后ls -l /usr/bin/java 可以获得java的下一个位置。反复操作找到原始文件。这时你也就知道java装在什么位置了。

java配置好后使用source 来刷新环境变量

source /etc/profile

source ~/.bashrc

下载：kafka_2.13-2.4.1.tgz

首先对Kafka进行解压：

tar -xvf kafka_2.13-2.4.1.tgz

Kafka自带了zookeeper，它默认配置也是将数据目录指向/tmp/zookeeper。如果希望修改需要到config/zookeeper.properties修改。

Kafka不修改任何配置只要本地启动一个zookeeper就可以正常运行。如果需要一些数据的持久保存。则主要配置在config/server.properties文件的这个配置项：log.dirs=/tmp/kafka-logs

配置免密登录

1. 进入到.ssh文件夹中，如果没有就自己创建该文件夹，生成公钥私钥
   ssh-keygen -t rsa 对于提示 一路回车
2. 将生成的公钥 id_rsa.pub 追加到 authorized_keys文件中，
   cat id_rsa.pub >> authorized_keys
   这里需要注意修改authorized_keys文件的权限：
   chmod 600 authorized_keys
3. 配置完成后本地测试一下，如果没有提示输入密码则配置成功
   ssh localhost
4. 对于分布式环境，只需要把对应的公钥放到目标机器的authorized_keys里面即可免密登录