轻松上手Hadoop:Windows系统下Hadoop安装全攻略

引言
Hadoop是一个开源的大数据处理框架,能够在集群上可靠地存储大量数据。本文将详细介绍如何在Windows系统下安装Hadoop,帮助初学者快速上手。
系统要求
在开始安装Hadoop之前,请确保您的Windows系统满足以下要求:
操作系统:Windows 7 或更高版本
硬件要求:至少4GB内存,建议8GB或更多
Java环境:安装Java 1.8或更高版本
安装步骤
1. 下载Hadoop
访问Hadoop官方下载页面(
hadoop.apache.org
),下载适用于Windows的Hadoop版本。本文以Hadoop 3.3.4版本为例。
2. 安装Java
确保您的系统已安装Java 1.8或更高版本。您可以通过以下命令检查Java版本:
java -version
如果Java版本低于要求,请从
Oracle官网
下载并安装Java。
3. 解压Hadoop安装包
将下载的Hadoop安装包解压到您选择的目录,例如
D:\hadoop
。
4. 环境变量配置
右键点击“此电脑”或“我的电脑”,选择“属性”,点击“高级系统设置”。在“系统属性”窗口中,点击“环境变量”按钮。
在“环境变量”窗口中,进行以下操作:
在“系统变量”下,点击“新建”。
变量名:
HADOOP_HOME
变量值:
D:\hadoop
点击“确定”。
在“系统变量”下,找到
Path
变量,点击“编辑”。
在变量值的末尾添加
;D:\hadoop\bin;D:\hadoop\lib
。
点击“确定”两次。
5. 配置Hadoop环境变量
在Hadoop解压目录下,找到
etc\hadoop
文件夹,打开
hadoop-env.sh
文件,在文件末尾添加以下内容:
export JAVA_HOME=C:\Program Files\Java\jdk1.8.0_231
确保将
JAVA_HOME
的值替换为您安装的Java路径。
6. 配置Hadoop配置文件
在
etc\hadoop
文件夹下,找到
core-site.xml
文件,将其内容替换为以下内容:
fs.defaultFS
hdfs://localhost:9000

找到
hdfs-site.xml
文件,将其内容替换为以下内容:
dfs.replication
1

找到
mapred-site.xml
文件,将其内容替换为以下内容:
mapreduce.framework.name
yarn

找到
yarn-site.xml
文件,将其内容替换为以下内容:
yarn.resourcemanager.host
localhost

7. 格式化HDFS
在命令提示符中,切换到Hadoop安装目录的
bin
文件夹,然后执行以下命令:
hdfs dfs -format
8. 启动Hadoop服务
在命令提示符中,切换到Hadoop安装目录的
bin
文件夹,然后执行以下命令来启动Hadoop服务:
start-dfs.sh
start-yarn.sh
9. 验证安装
在浏览器中访问以下地址,检查Hadoop服务是否正常运行:
HDFS:
http://localhost:50070
YARN:
http://localhost:8088
总结
通过以上步骤,您已成功在Windows系统下安装了Hadoop。接下来,您可以开始学习和使用Hadoop进行大数据处理了。祝您学习愉快!