引言
Apache Spark 是一款强大的分布式计算系统,广泛应用于大数据处理和分析。本文将向您介绍如何在 Ubuntu 系统上一键部署 Spark,让您快速体验其高效的数据处理能力。
准备工作
在开始部署之前,请确保您的 Ubuntu 系统满足以下要求:
操作系统:Ubuntu 16.04 或更高版本
软件包管理器:apt-get 或 apt
硬件资源:至少 4GB 内存(推荐 8GB 以上)
安装 Spark
更新系统包列表
:
sudo apt-get update
添加 Spark 仓库
:
echo “deb http://archive.apache.org/apache/spark/spark-3.1.1-bin-hadoop2.7/ ubuntu16.04 main” | sudo tee /etc/apt/sources.list.d/spark.list
添加 Spark 仓库密钥
:
sudo apt-key adv –keyserver keyserver.ubuntu.com –recv-keys EECAB39C0E3E0E242BCEA76C77ECC4A4CC4FEA2D
安装 Spark
:
sudo apt-get update
sudo apt-get install spark
安装 Python Spark
(可选):
sudo pip install pyspark
配置 Spark
配置 Spark 依赖项
:
确保您的 Java 版本与 Spark 兼容。Spark 官方推荐使用 Java 8。
安装 Java:
sudo apt-get install openjdk-8-jdk
设置环境变量
:
编辑
~/.bashrc
文件:
nano ~/.bashrc
添加以下行:
export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
保存并退出编辑器,然后重新加载
~/.bashrc
:
source ~/.bashrc
启动 SparkMaster 和 SparkWorker
:
启动 SparkMaster:
start-master.sh
启动 SparkWorker:
start-slave.sh spark://master:7077
验证 Spark 安装
查看 Spark 版本
:
spark-shell
spark.version
执行一个简单的 Spark 操作
:
val lines = sc.textFile(“README.md”)
val lineLengths = lines.map(s => (s, s.length))
lineLengths.collect().foreach(println)
退出 SparkShell:
:quit
总结
通过以上步骤,您已经成功在 Ubuntu 系统上部署了 Spark。现在,您可以开始使用 Spark 进行高效的大数据处理和分析。祝您使用愉快!