目录

• Hadoop学习笔记
• 一、安装
• 安装SSH
• 配置SSH无密码登陆
• 安装Java环境
• 安装Hadoop（伪分布式模式）
• 一键配置脚本

Hadoop学习笔记

一、安装

准备Ubuntu镜像和Hadoop安装包

链接：https://pan.baidu.com/s/1yVXwAuZxDNFZBZIkA2NrTA
提取码：lu0x

操作系统：ubuntukylin-16.04-desktop-amd64

Hadoop：3.3.1

操作系统安装步骤省略

！！！需要将Ubuntu的账号设置为hadoop！！！

安装SSH

sudo apt update
sudo apt install openssh-server -y

配置SSH无密码登陆

ssh localhost

进入ssh，这里会要求输入密码，输入Ubuntu的密码即可

cd ~/.ssh/
ssh-keygen -t rsa

这里会提示要求你输入一些参数，直接全部按回车默认即可

cat ./id_rsa.pub >> ./authorized_keys #加入授权
exit #退出远程ssh

安装Java环境

如果安装嫌麻烦，这里可以一键复制我的脚本，全部粘贴进去，它会自动安装，并配置好java环境

sudo apt install openjdk-8-jdk -y && echo -e "export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64\nexport JRE_HOME=\${JAVA_HOME}/jre\nexport CLASSPATH=.:\${JAVA_HOME}/lib:\${JRE_HOME}/lib\nexport PATH=\${JAVA_HOME}/bin:\$PATH" >> ~/.bashrc && source ~/.bashrc && java -version

出现下图就是安装成功了

安装Hadoop（伪分布式模式）

用任意一个远程连接软件，连接到sftp，或者你的虚拟机支持直接粘贴上传文件，总之我们要把

hadoop-3.3.1-aarch64.tar.gz 这个文件传到虚拟机里。这里我直接放到桌面

同样滴，代码我整理好了，一键安装Hadoop

sudo tar -zxf ./hadoop-3.3.1-aarch64.tar.gz -C /usr/local && sudo mv /usr/local/hadoop-3.3.1 /usr/local/hadoop && sudo chown -R hadoop /usr/local/hadoop && /usr/local/hadoop/bin/hadoop version

出现下图是安装成功了

接下来配置伪分布式模式

sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml

替换里面的内容

如下图

配置完成点右上角Save保存文件，然后左上角关闭即可。

配置代码在下面，可以直接复制：

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

接下来配置hdfs-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml

和上面的操作一样替换，如下图

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

修改完配置文件后，要执行名称节点的格式化：

这里有可能会遇到一个JAVA_HOME不存在的坑，为了避坑，直接选择手动将JAVA_HOME输入到文件中

echo "export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64" >> /usr/local/hadoop/etc/hadoop/hadoop-env.sh

 /usr/local/hadoop/bin/hdfs namenode -format

可以看到successfully就是成功了

最后启动Hadoop

/usr/local/hadoop/sbin/start-dfs.sh

输入jps命令，如下图就是启动成功

可以用本地的浏览器访问http://localhost:9870

一键配置脚本

重复配置太繁琐，所以我写了一个一键配置的安装包，在使用脚本之前你需要先配置好ssh，同时将系统用户名称设置为hadoop

sudo apt update && sudo apt install openssh-server -y

ssh localhost

cd ~/.ssh/ && ssh-keygen -t rsa

cat ./id_rsa.pub >> ./authorized_keys #加入授权
exit #退出远程ssh

链接：https://pan.baidu.com/s/1-qfvZ97NcBwfs-hxcSb93w
提取码：nan9

下载到桌面上解压

打开控制台输入

cd ~/Desktop/auto_hadoop && sh install-hadoop.sh

这里请选择 否则会安装失败

接着jps 看一下是否安装成功！