• 周日. 9月 25th, 2022

5G编程聚合网

5G时代下一个聚合的编程学习网

热门标签

101_Hadoop简介

admin

11月 28, 2021

Hadoop简介

1 什么是Hadoop

Hadoop是一个适合大数据的分布式存储和计算平台.

如前所述,狭义上说Hadoop就是一个框架平台,广义上讲Hadoop代表大数据的一个技术生态圈,包括很多其他软件框架.

Hadoop生态圈技术栈
Hadoop(HDFS + MapReduce + Yarn)
Hive数据仓库工具
HBase海量列式非关系型数据库
Flume数据采集工具
Sqoop ETL工具
Kafka高吞吐消息中间件
……

2 Hadoop的特点

  • 扩容能力: Hadoop在计算机集群内分配数据并完成计算任务,集群可以方便的扩展到数以千计个节点.
  • 低成本: Hadoop通过普通廉价的机器组成服务器集群来分发以及处理数据,以至于成本很低.
  • 高效率: Hadoop可以在节点之间动态并行的移动数据,使得速度非常快.
  • 可靠性: 能自动维护数据的多份复制,并且能在任务失败后自动的重新部署计算任务.

3 Hadoop的优缺点

  • Hadoop的优点
    • Hadoop具有存储和处理数据能力的高可靠性.
    • Hadoop通过可用的计算机集群分配数据,完成存储和计算任务,这些集群可以方便地扩展到数以千计地节点中,具有高扩展性.
    • Hadoop能够在啊节点之间进行动态地移动数据,并保证各个节点的动态平衡,处理速度非常快,具有高效性.
    • Hadoop能够自动保存数据的多个副本,并且能够自动讲失败的任务重新分配,具有高容错性.
  • Hadoop的缺点
    • Hadoop不适用于低延迟数据访问.
    • Hadoop不能存储大量小文件.
    • Hadoop不支持多用户写入并任意修改文件.

Apache Hadoop的重要组成

Hadoop=HDFS(分布式文件系统) + MapReduce(分布式计算框架) + Yarn(资源协调框架) + Common模块

  1. Hadoop HDFS: 一个高可靠,高吞吐量的分布式文件系统,比如: 100T数据存储.采用”分而治之”的思想, 比如将100T的数据拆分为10G一个数据块由一个电脑节点存储这个数据块,对每个数据块进行单独的计算,最后对每个节点的计算结果进行汇总.

图片中涉及到的几个角色:

  • NameNode(nn): 存储文件的元数据,比如文件名,文件目录结构,文件属性(包括生成时间,副本数量,文件权限),以及每个文件的块列表所在的DataNode等.
  • SecondaryNameNode(2nn): 辅助NameNode更好的工作,用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据快照.
  • DataNode(dn): 在本地文件系统存储文件块数据,以及块数据的校验.
  1. Hadoop MapReduce: 一个分布式的离线并行计算框架, 其作用是: 拆解任务->分散处理->汇整结果
  • MapReduce计算 = Map阶段 + Reduce阶段
  • Map阶段就是”分”的阶段,并行处理输入数据
  • Reduce阶段就是”合”的阶段,对Map阶段结果进行汇总

  1. Hadoop YARN: 作业调度与集群资源管理的框架,负责计算资源协调

Yarn中有如下几个主要角色,同样,既是角色名,也是进程名,也指代所在计算机节点名称

  • ResourceManager: 处理客户端请求,启动/监控ApplicationMaster,监控NodeManager,资源分配与调度
  • NodeManager: 单节点上的资源管理,处理来自ResourceManager的命令,处理来自ApplicationMaster的命令
  • ApplicationMaster: 数据切分,为应用程序申请资源,并分配给内部任务,任务监控与容错
  • Container: 对任务运行环境的抽象,封装了CPU,内存等多位资源以及环境变量,启动命令等任务运行相关的信息

  1. Hadoop Common: 支持其他模块的工具模块(Configuration, RPC, 序列化机制, 日志操作)

Apache Hadoop完全分布式集群搭建

1 搭建虚拟机集群

1.1 创建一台虚拟机

软件安装版本(如果VMware15闪退就安装12版本的)

1.2 给虚拟机挂载操作系统

1.3 开启虚拟机并安装操作系统

Install centos7直接回车运行即可

配置语言环境,选择English,点击continue继续按钮

点击DATE&TIME

在地图位置点击中国,选择时区为shanghai,点击左上角的Done按钮完成设置

选择 INSTALLATION DESTINATION

选择I will configure partitioning⾃自定义分区,然后按左上⻆角的蓝⾊色Done按钮

继续点击+添加swap分区

继续点击+添加根/分区,不写Desired Capacity的⼤大⼩小,即是把剩余的空间都给了了根/分区

点击Done 完成分区

点击Accept Changes。返回上一页,点击右下⻆角蓝⾊色按钮Begin installation

点击ROOT PASSWORD,输入两遍密码,确认后即可看到程序正在运行安装了

重新启动

1.4 配置静态IP

最好在关机状态下,修改网络

点击编辑,选择倒数第二个选项“虚拟⽹网络编辑器器”,出现下⾯面的“虚拟⽹网络编辑器器”窗口。选择NAT模式,
注意子网IP前三位与NAT设置的网关IP、DHCP网段一致

使用命令:
vi /etc/sysconfig/network-scripts/ifcfg-ens33
打开ifcfg-ens33文件,修改配置

ONBOOT改为yes, 开启自动启用网络连接
BOOTPROTO改为静态static
IPADDR改为你自己设置的ip (ip可以通过命令 ip addr来获得)

GATEWAY设置网关
设置DNS1作为主DNS,也可以加个DNS2作为备⽤用。
常见的DNS1=8.8.8.8 DNS2=8.8.4.4
按esc退出编辑模式后 :wq! 强制退出并保存;
此时,运⽤用命令ping baidu.com

即可看出已经联通:

1.5 防火墙相关命令

systemctl status firewalld  # 查看防火墙的状态
systemctl stop firewalld    # 停止防火墙
systemctl disable firewalld # 禁止防火墙开机启动

三台虚拟机关闭防火墙:

第一步,查看防火墙状态:systemctl status firewalld

第二步,关闭三台机器器的selinux: vi /etc/selinux/config

1.6 配置hostname

hostname # 查看主机名
hostnamectl set-hostname linux121 # 修改主机名

另外一种修改主机名的方式:

vi /etc/sysconfig/network打开network编辑

改动配置文件要进行网络重启: service network restart从而使配置文件生效

1.7 配置IP映射

vi /etc/hosts

我此时已经配置了了三台机器器的IP与hostname映射,从而可以达到,在本机ping hostname可通,如果没有配此映射,需用ping IP地址可通。如果是三台机器互相用hostname来ping,那么三台机器器必须同时配好三个IP和hostname的映射。
至此,网络配置完成。

2 部署jdk环境

下载jdk安装包,并解压到本地指定位置:

配置环境变量: vim /etc/profile

使环境变量生效: source /etc/profile

查看是否安装成功:

java -version
javac

3 部署Hadoop集群

3.1 环境准备

下载hadoop安装包,并解压到指定目录:

配置环境变量: vim /etc/profile

使环境变量生效: source /etc/profile

查看是否安装成功:

hadoop version

3.2 集群配置

Hadoop集群配置 = HDFS集群配置 + MapReduce集群配置 + Yarn集群配置

  • HDFS集群配置
    • 将JDK路径明确配置给HDFS(修改hadoop-env.sh)
    • 指定NameNode节点以及数据存储目录(修改core-site.xml)
    • 指定SecondaryNameNode节点(修改hdfs-site.xml)
    • 指定DataNode从节点(修改etc/hadoop/slaves文件,每个节点配置信息占一行)
  • MapReduce集群配置
    • 将JDK路径明确配置给MapReduce(修改mapred-env.sh)
    • 指定MapReduce计算框架运行Yarn资源调度框架(修改mapred-site.xml)
  • Yarn集群配置
    • 将JDK路径明确配置给Yarn(修改yarn-env.sh)
    • 指定ResourceManager老大节点所在计算机节点(修改yarn-site.xml)
    • 指定NodeManager节点(会通过slaves文件内容确定)

3.2.1 HDFS集群配置

cd /opt/lagou/servers/hadoop-2.9.2/etc/hadoop
vim hadoop-env.sh # 配置:hadoop-env.sh  将JDK路径明确配置给HDFS

export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231
vim core-site.xml # 指定NameNode节点以及数据存储目录(修改core-site.xml)

<!-- 指定HDFS中NameNode的地址 -->
<property>
	<name>fs.defaultFS</name>
     <value>hdfs://linux121:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/lagou/servers/hadoop-2.9.2/data/tmp</value>
</property>


core-site.xml的官方默认配置: https://hadoop.apache.org/docs/r2.9.2/hadoop-project-dist/hadoop-common/core-default.xml
vim hdfs-site.xml # 指定secondarynamenode节点(修改hdfs-site.xml)

<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>linux123:50090</value>
</property>
<!--副本数量 -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>

hdfs-site.xml的官方默认配置: https://hadoop.apache.org/docs/r2.9.2/hadoop-project-dist/hadoop-hdfs/hdfs-
default.xml
vim slaves # 指定datanode从节点(修改slaves文件,每个节点配置信息占一行)

linux121
linux122
linux123


注意:该文件中添加的内容结尾不允许有空格,文件中不允许有空行。

3.2.2 MapReduce集群配置

vim mapred-env.sh # 指定MapReduce使用的jdk路径(修改mapred-env.sh)

export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml # 指定MapReduce计算框架运行Yarn资源调度框架(修改mapred-site.xml)

<!-- 指定MR运行在Yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>


mapred-site.xml的官方默认配置: https://hadoop.apache.org/docs/r2.9.2/hadoop-mapreduce-client/hadoop-mapreduce-
client-core/mapred-default.xml

3.2.3 Yarn集群配置

vim yarn-env.sh # 指定JDK路径

export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231
vim yarn-site.xml # 指定ResourceMnager的master节点信息(修改yarn-site.xml)

<!-- 指定YARN的ResourceManager的地址 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>linux123</value>
</property>
<!-- Reducer获取数据的方式 -->
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>


yarn-site.xml的官方默认配置: https://hadoop.apache.org/docs/r2.9.2/hadoop-yarn/hadoop-yarn-common/yarn-
default.xml
vim slaves # 指定datanode从节点(修改slaves文件,每个节点配置信息占一行)

linux121
linux122
linux123


注意:该文件中添加的内容结尾不允许有空格,文件中不允许有空行。
注意:Hadoop安装目录所属用户和所属用户组信息,默认是501 dialout,而我们操作Hadoop集群的用户使
用的是虚拟机的root用户,
所以为了避免出现信息混乱,修改Hadoop安装目录所属用户和用户组!!

chown -R root:root /opt/lagou/servers/hadoop-2.9.2

3.3 分发配置

  • rsync 远程同步工具

    • rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。
    • rsync和scp区别:用rsync做文件的复制要比scp的速度快,rsync只对差异文件做更新。scp是把所有文
      件都复制过去。
  • 基本语法

    rsync   -rvl     $pdir/$fname      [email protected]$host:$pdir/$fname
    命令   选项参数  要拷贝的文件路径/名称   目的用户@主机:目的路径/名称
    
  • 选项参数说明

选项 功能
-r 递归
-v 显示复制过程
-l 拷贝符号连接
  • 安装rsync
    • yum -y install rsync

案例:编写shell代码将文件分发到所有服务器

vim rsync-script:

#!/bin/bash
#1 获取命令输入参数的个数,如果个数为0,直接退出命令
paramnum=$#
if((paramnum==0)); then
    echo no params;
    exit;
fi

#2 根据传入参数获取文件名称
p1=$1
file_name=`basename $p1`
echo fname=$file_name
#3 获取输入参数的绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir
#4 获取用户名称
user=`whoami`
#5 循环执行rsync
for((host=121; host<124; host++)); do
    echo ------------------- linux$host --------------
    echo "rsync -rvl $pdir/$file_name [email protected]$host:$pdir"
    rsync -rvl $pdir/$file_name [email protected]$host:$pdir
done

修改脚本 rsync-script 具有执行权限: chmod 777 rsync-script

执行命令,分发文件: rsync-script /opt/lagou/servers/hadoop-2.9.2

4 启动集群

4.1 单节点启动

注意:如果集群是第一次启动,需要在Namenode所在节点格式化NameNode,非第一次不用执行格
式化Namenode操作!!

hadoop namenode -format # 格式化NameNode

格式化命令执行效果:

格式化后创建的文件:/opt/lagou/servers/hadoop-2.9.2/data/tmp/dfs/name/current

4.1.1 启动hdfs

  1. 在linux121上启动NameNode
[[email protected] hadoop-2.9.2]$ hadoop-daemon.sh start namenode
[[email protected] hadoop-2.9.2]$ jps
  1. 在linux121、linux122以及linux123上分别启动DataNode
[[email protected] hadoop-2.9.2]$ hadoop-daemon.sh start datanode
[[email protected] hadoop-2.9.2]$ jps
3461 NameNode
3608 Jps
3561 DataNode
[ro[email protected] hadoop-2.9.2]$ hadoop-daemon.sh start datanode
[[email protected] hadoop-2.9.2]$ jps
3190 DataNode
3279 Jps
[[email protected] hadoop-2.9.2]$ hadoop-daemon.sh start datanode
[[email protected] hadoop-2.9.2]$ jps
3237 Jps
3163 DataNode
  1. web端查看Hdfs界面
http://linux121:50070/dfshealth.html#tab-overview

查看HDFS集群正常节点:

4.1.2 启动Yarn

  1. Yarn集群单节点启动
[[email protected] servers]# yarn-daemon.sh start resourcemanager
[[email protected] servers]# jps
7881 ResourceManager
8094 Jps
[[email protected] servers]# yarn-daemon.sh start nodemanager
[[email protected] servers]# jps
8166 NodeManager
8223 Jps
[[email protected] servers]# yarn-daemon.sh start nodemanager
[[email protected] servers]# jps
8166 NodeManager
8223 Jps

4.2 集群群起

  1. 格式化NameNode

如果已经单节点方式启动了Hadoop,可以先停止之前的启动的Namenode与Datanode进程,如果
之前Namenode没有执行格式化,这里需要执行格式化!

hadoop namenode -format
  1. 启动HDFS
[[email protected] hadoop-2.9.2]$ sbin/start-dfs.sh
[[email protected] hadoop-2.9.2]$ jps
4166 NameNode
4482 Jps
4263 DataNode
[[email protected] hadoop-2.9.2]$ jps
3218 DataNode
3288 Jps
[[email protected] hadoop-2.9.2]$ jps
3221 DataNode
3283 SecondaryNameNode
3364 Jps
  1. 启动YARN
[[email protected] hadoop-2.9.2]$ sbin/start-yarn.sh

注意:NameNode和ResourceManger不是在同一台机器,不能在NameNode上启动 YARN,应该
在ResouceManager所在的机器上启动YARN。

4.3 Hadoop集群启动停止命令汇总

  1. 分别启动/停止HDFS组件
hadoop-daemon.sh start/stop namenode/datanode/secondarynamenode
  1. 启动/停止YARN
yarn-daemon.sh start/stop resourcemanager/nodemanager
  1. 各个模块分开启动/停止(配置ssh免密登录是前提)常用

(1)整体启动/停止HDFS

start-dfs.sh / stop-dfs.sh

(1)整体启动/停止YARN

start-yarn.sh / stop-yarn.sh

5 配置历史服务器

在Yarn中运行的任务产生的日志数据不能查看,为了查看程序的历史运行情况,需要配置一下历史日志
服务器。具体配置步骤如下:

  1. 配置mapred-site.xml:
[[email protected] hadoop]$ vi mapred-site.xml

在该文件里面增加如下配置:

<!-- 历史服务器端地址 -->
<property>
	<name>mapreduce.jobhistory.address</name>
	<value>linux121:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
	<name>mapreduce.jobhistory.webapp.address</name>
	<value>linux121:19888</value>
</property>
  1. 分发mapred-site.xml到其它节点
[[email protected] hadoop]$ rsync-script mapred-site.xml
  1. 启动历史服务器
[[email protected] hadoop-2.9.2]$ mr-jobhistory-daemon.sh start historyserver
  1. 查看历史服务器是否启动
[[email protected] hadoop-2.9.2]$ jps

  1. 查看JobHistory
http://linux121:19888/jobhistory

5.1 配置日志的聚集

日志聚集:应用(Job)运行完成以后,将应用运行日志信息从各个task汇总上传到HDFS系统上。

日志聚集功能好处:可以方便的查看到程序运行详情,方便开发调试。

注意:开启日志聚集功能,需要重新启动NodeManager 、ResourceManager和
HistoryManager。

开启日志聚集功能具体步骤如下:

  1. 配置yarn-site.xml
[[email protected] hadoop]$ vi yarn-site.xml

在该文件里面增加如下配置:

<!-- 日志聚集功能使能 -->
<property>
	<name>yarn.log-aggregation-enable</name>
	<value>true</value>
</property>
<!-- 日志保留时间设置7天 -->
<property>
	<name>yarn.log-aggregation.retain-seconds</name>
	<value>604800</value>
</property>
<property>
	<name>yarn.log.server.url</name>
	<value>http://linux121:19888/jobhistory/logs</value>
</property>
  1. 分发yarn-site.xml到集群其它节点
[[email protected] hadoop]$ rsync-script yarn-site.xml
  1. 关闭NodeManager 、ResourceManager和HistoryManager
[[email protected] hadoop-2.9.2]$ sbin/yarn-daemon.sh stop resourcemanager
[[email protected] hadoop-2.9.2]$ sbin/yarn-daemon.sh stop nodemanager
[[email protected] hadoop-2.9.2]$ sbin/mr-jobhistory-daemon.sh stop historyserver
  1. 删除HDFS上已经存在的输出文件
[[email protected] hadoop-2.9.2]$ bin/hdfs dfs -rm -R /wcoutput
  1. 执行WordCount程序
[[email protected] hadoop-2.9.2]$ hadoop jar share/hadoop/mapreduce/hadoop-
mapreduce-examples-2.9.2.jar wordcount /wcinput /wcoutput
  1. 查看日志,如图所示

发表回复

您的电子邮箱地址不会被公开。