引言
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集。在CentOS7上安装Hadoop是一个相对简单的过程，但需要遵循一系列步骤以确保成功。本文将为您提供从基础到实战的详细指南，帮助您在CentOS7上轻松安装和配置Hadoop。
系统要求
在开始之前，请确保您的CentOS7系统满足以下要求：
至少64位CPU
至少4GB内存（推荐8GB或更多）
至少20GB可用磁盘空间
网络连接
安装前准备
更新系统
：
sudo yum update -y
关闭防火墙
：
sudo systemctl stop firewalld
sudo systemctl disable firewalld
禁用SELinux
：
编辑
/etc/selinux/config
文件，将
SELINUX=enforcing
改为
SELINUX=disabled
，然后重启系统。
sudo vi /etc/selinux/config
sudo reboot
添加Hadoop用户
：
sudo groupadd hadoop
sudo useradd -g hadoop -m hadoop
配置SSH无密码登录
：
生成SSH密钥对：
ssh-keygen -t rsa -P ” -f ~/.ssh/id_rsa
将公钥添加到
~/.ssh/authorized_keys
文件：
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
设置文件权限：
chmod 600 ~/.ssh/authorized_keys
测试无密码登录：
ssh localhost
安装Hadoop
下载Hadoop
：
从
Hadoop官网
下载适合CentOS7的Hadoop版本。
解压Hadoop
：
tar -zxvf hadoop-3.3.4.tar.gz -C /opt/hadoop
配置Hadoop
：
编辑
/opt/hadoop/etc/hadoop/hadoop-env.sh
文件，设置Java环境变量：
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.292.x86_64
编辑
/opt/hadoop/etc/hadoop/core-site.xml
文件，配置Hadoop核心设置：
编辑
/opt/hadoop/etc/hadoop/hdfs-site.xml
文件，配置HDFS设置：
编辑
/opt/hadoop/etc/hadoop/yarn-site.xml
文件，配置YARN设置：
初始化HDFS
：
sudo -u hadoop hadoop fs -mkdir -p /tmp
sudo -u hadoop hadoop fs -mkdir -p /user
sudo -u hadoop hadoop fs -chmod 777 /tmp
sudo -u hadoop hadoop fs -chmod 777 /user
sudo -u hadoop hadoop hdfs namenode -format
启动Hadoop服务
启动HDFS
：
sudo -u hadoop start-dfs.sh
启动YARN
：
sudo -u hadoop start-yarn.sh
访问Web界面
：
打开浏览器，访问
http://localhost:50070
查看HDFS Web界面，访问
http://localhost:8088
查看YARN Web界面。
实战：运行WordCount示例
下载WordCount示例
：
从
Hadoop官网
下载WordCount示例。
编译WordCount
：
javac -cp /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-core-3.3.4.jar:/opt/hadoop/share/hadoop/common/hadoop-common-3.3.4.jar WordCount.java
运行WordCount
：
java -cp .:/opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-core-3.3.4.jar:/opt/hadoop/share/hadoop/common/hadoop-common-3.3.4.jar WordCount /input /output
查看结果
：
sudo -u hadoop hadoop fs -cat /output/*
总结
通过以上步骤，您已经在CentOS7上成功安装和配置了Hadoop。您可以使用Hadoop处理大规模数据集，并运行各种数据分析任务。本文提供了从基础到实战的详细指南，希望对您有所帮助。