大数据开发环境：Spark安装

发表于2020年3月14日由xmsg

用到的软件

openjdk-8-jdk
hadoop-2.7.7

下载： spark-2.4.5-bin-hadoop2.7.tgz

配置

配置文件位于conf目录下。 

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-armhf
#export HADOOP_HOME=/usr/local/bigdata/hadoop-2.7.1
#export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
SPARK_MASTER_IP=Master
SPARK_LOCAL_DIRS=/mnt/data/var/bigdata/data/spark
SPARK_DRIVER_MEMORY=512M

export SPARK_MASTER_HOST=192.168.0.253
export SPARK_LOCAL_IP=192.168.0.253
export SPARK_WORKER_CORES=4
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=2G

关于xmsg

技术面前人人平等.同时技术也不分高低贵贱.正所谓学无大小,达者为尊.
此条目发表在未分类分类目录。将固定链接加入收藏夹。