• 周五. 4月 26th, 2024

5G编程聚合网

5G时代下一个聚合的编程学习网

热门标签
python

101_Hadoop简介

由admin

11月 28, 2021
目录

Hadoop简介

1 什么是Hadoop

Hadoop是一个适合大数据的分布式存储和计算平台.

如前所述,狭义上说Hadoop就是一个框架平台,广义上讲Hadoop代表大数据的一个技术生态圈,包括很多其他软件框架.

Hadoop生态圈技术栈
Hadoop(HDFS + MapReduce + Yarn)
Hive数据仓库工具
HBase海量列式非关系型数据库
Flume数据采集工具
Sqoop ETL工具
Kafka高吞吐消息中间件
……

2 Hadoop的特点

  • 扩容能力: Hadoop在计算机集群内分配数据并完成计算任务,集群可以方便的扩展到数以千计个节点.
  • 低成本: Hadoop通过普通廉价的机器组成服务器集群来分发以及处理数据,以至于成本很低.
  • 高效率: Hadoop可以在节点之间动态并行的移动数据,使得速度非常快.
  • 可靠性: 能自动维护数据的多份复制,并且能在任务失败后自动的重新部署计算任务.

3 Hadoop的优缺点

  • Hadoop的优点
    • Hadoop具有存储和处理数据能力的高可靠性.
    • Hadoop通过可用的计算机集群分配数据,完成存储和计算任务,这些集群可以方便地扩展到数以千计地节点中,具有高扩展性.
    • Hadoop能够在啊节点之间进行动态地移动数据,并保证各个节点的动态平衡,处理速度非常快,具有高效性.
    • Hadoop能够自动保存数据的多个副本,并且能够自动讲失败的任务重新分配,具有高容错性.
  • Hadoop的缺点
    • Hadoop不适用于低延迟数据访问.
    • Hadoop不能存储大量小文件.
    • Hadoop不支持多用户写入并任意修改文件.

Apache Hadoop的重要组成

Hadoop=HDFS(分布式文件系统) + MapReduce(分布式计算框架) + Yarn(资源协调框架) + Common模块

  1. Hadoop HDFS: 一个高可靠,高吞吐量的分布式文件系统,比如: 100T数据存储.采用”分而治之”的思想, 比如将100T的数据拆分为10G一个数据块由一个电脑节点存储这个数据块,对每个数据块进行单独的计算,最后对每个节点的计算结果进行汇总.

图片中涉及到的几个角色:

  • NameNode(nn): 存储文件的元数据,比如文件名,文件目录结构,文件属性(包括生成时间,副本数量,文件权限),以及每个文件的块列表所在的DataNode等.
  • SecondaryNameNode(2nn): 辅助NameNode更好的工作,用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据快照.
  • DataNode(dn): 在本地文件系统存储文件块数据,以及块数据的校验.
  1. Hadoop MapReduce: 一个分布式的离线并行计算框架, 其作用是: 拆解任务->分散处理->汇整结果
  • MapReduce计算 = Map阶段 + Reduce阶段
  • Map阶段就是”分”的阶段,并行处理输入数据
  • Reduce阶段就是”合”的阶段,对Map阶段结果进行汇总

  1. Hadoop YARN: 作业调度与集群资源管理的框架,负责计算资源协调

Yarn中有如下几个主要角色,同样,既是角色名,也是进程名,也指代所在计算机节点名称

  • ResourceManager: 处理客户端请求,启动/监控ApplicationMaster,监控NodeManager,资源分配与调度
  • NodeManager: 单节点上的资源管理,处理来自ResourceManager的命令,处理来自ApplicationMaster的命令
  • ApplicationMaster: 数据切分,为应用程序申请资源,并分配给内部任务,任务监控与容错
  • Container: 对任务运行环境的抽象,封装了CPU,内存等多位资源以及环境变量,启动命令等任务运行相关的信息

  1. Hadoop Common: 支持其他模块的工具模块(Configuration, RPC, 序列化机制, 日志操作)

Apache Hadoop完全分布式集群搭建

1 搭建虚拟机集群

1.1 创建一台虚拟机

软件安装版本(如果VMware15闪退就安装12版本的)

1.2 给虚拟机挂载操作系统

1.3 开启虚拟机并安装操作系统

Install centos7直接回车运行即可

配置语言环境，选择English，点击continue继续按钮

点击DATE&TIME

在地图位置点击中国，选择时区为shanghai，点击左上角的Done按钮完成设置

选择 INSTALLATION DESTINATION

选择I will configure partitioning⾃自定义分区，然后按左上⻆角的蓝⾊色Done按钮

继续点击+添加swap分区

继续点击+添加根/分区，不写Desired Capacity的⼤大⼩小，即是把剩余的空间都给了了根/分区

点击Done 完成分区

点击Accept Changes。返回上一页，点击右下⻆角蓝⾊色按钮Begin installation

点击ROOT PASSWORD,输入两遍密码，确认后即可看到程序正在运行安装了

重新启动

1.4 配置静态IP

最好在关机状态下，修改网络

点击编辑，选择倒数第二个选项“虚拟⽹网络编辑器器”,出现下⾯面的“虚拟⽹网络编辑器器”窗口。选择NAT模式，
注意子网IP前三位与NAT设置的网关IP、DHCP网段一致

使用命令：
vi /etc/sysconfig/network-scripts/ifcfg-ens33
打开ifcfg-ens33文件，修改配置

ONBOOT改为yes, 开启自动启用网络连接
BOOTPROTO改为静态static
IPADDR改为你自己设置的ip (ip可以通过命令 ip addr来获得)

GATEWAY设置网关
设置DNS1作为主DNS，也可以加个DNS2作为备⽤用。
常见的DNS1=8.8.8.8 DNS2=8.8.4.4
按esc退出编辑模式后 :wq! 强制退出并保存；
此时，运⽤用命令ping baidu.com

即可看出已经联通:

1.5 防火墙相关命令

systemctl status firewalld  # 查看防火墙的状态
systemctl stop firewalld    # 停止防火墙
systemctl disable firewalld # 禁止防火墙开机启动

三台虚拟机关闭防火墙:

第一步,查看防火墙状态:systemctl status firewalld

第二步,关闭三台机器器的selinux: vi /etc/selinux/config

1.6 配置hostname

hostname # 查看主机名
hostnamectl set-hostname linux121 # 修改主机名

另外一种修改主机名的方式:

vi /etc/sysconfig/network打开network编辑

改动配置文件要进行网络重启: service network restart从而使配置文件生效

1.7 配置IP映射

vi /etc/hosts

我此时已经配置了了三台机器器的IP与hostname映射，从而可以达到，在本机ping hostname可通，如果没有配此映射，需用ping IP地址可通。如果是三台机器互相用hostname来ping，那么三台机器器必须同时配好三个IP和hostname的映射。
至此，网络配置完成。

2 部署jdk环境

下载jdk安装包,并解压到本地指定位置:

配置环境变量: vim /etc/profile

使环境变量生效: source /etc/profile

查看是否安装成功:

java -version
javac

3 部署Hadoop集群

3.1 环境准备

下载hadoop安装包,并解压到指定目录:

配置环境变量: vim /etc/profile

使环境变量生效: source /etc/profile

查看是否安装成功:

hadoop version

3.2 集群配置

Hadoop集群配置 = HDFS集群配置 + MapReduce集群配置 + Yarn集群配置

  • HDFS集群配置
    • 将JDK路径明确配置给HDFS（修改hadoop-env.sh）
    • 指定NameNode节点以及数据存储目录（修改core-site.xml）
    • 指定SecondaryNameNode节点（修改hdfs-site.xml）
    • 指定DataNode从节点（修改etc/hadoop/slaves文件，每个节点配置信息占一行）
  • MapReduce集群配置
    • 将JDK路径明确配置给MapReduce（修改mapred-env.sh）
    • 指定MapReduce计算框架运行Yarn资源调度框架（修改mapred-site.xml）
  • Yarn集群配置
    • 将JDK路径明确配置给Yarn（修改yarn-env.sh）
    • 指定ResourceManager老大节点所在计算机节点（修改yarn-site.xml）
    • 指定NodeManager节点（会通过slaves文件内容确定）

3.2.1 HDFS集群配置

cd /opt/lagou/servers/hadoop-2.9.2/etc/hadoop

vim hadoop-env.sh # 配置：hadoop-env.sh  将JDK路径明确配置给HDFS

export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231

vim core-site.xml # 指定NameNode节点以及数据存储目录（修改core-site.xml）

<!-- 指定HDFS中NameNode的地址 -->
<property>
	<name>fs.defaultFS</name>
     <value>hdfs://linux121:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/lagou/servers/hadoop-2.9.2/data/tmp</value>
</property>


core-site.xml的官方默认配置: https://hadoop.apache.org/docs/r2.9.2/hadoop-project-dist/hadoop-common/core-default.xml

vim hdfs-site.xml # 指定secondarynamenode节点(修改hdfs-site.xml)

<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>linux123:50090</value>
</property>
<!--副本数量 -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>

hdfs-site.xml的官方默认配置: https://hadoop.apache.org/docs/r2.9.2/hadoop-project-dist/hadoop-hdfs/hdfs-
default.xml

vim slaves # 指定datanode从节点(修改slaves文件，每个节点配置信息占一行)

linux121
linux122
linux123


注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

3.2.2 MapReduce集群配置

vim mapred-env.sh # 指定MapReduce使用的jdk路径（修改mapred-env.sh）

export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231

mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml # 指定MapReduce计算框架运行Yarn资源调度框架(修改mapred-site.xml)

<!-- 指定MR运行在Yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>


mapred-site.xml的官方默认配置: https://hadoop.apache.org/docs/r2.9.2/hadoop-mapreduce-client/hadoop-mapreduce-
client-core/mapred-default.xml

3.2.3 Yarn集群配置

vim yarn-env.sh # 指定JDK路径

export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231

vim yarn-site.xml # 指定ResourceMnager的master节点信息(修改yarn-site.xml)

<!-- 指定YARN的ResourceManager的地址 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>linux123</value>
</property>
<!-- Reducer获取数据的方式 -->
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>


yarn-site.xml的官方默认配置: https://hadoop.apache.org/docs/r2.9.2/hadoop-yarn/hadoop-yarn-common/yarn-
default.xml

vim slaves # 指定datanode从节点(修改slaves文件，每个节点配置信息占一行)

linux121
linux122
linux123


注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

注意：Hadoop安装目录所属用户和所属用户组信息，默认是501 dialout，而我们操作Hadoop集群的用户使
用的是虚拟机的root用户，
所以为了避免出现信息混乱，修改Hadoop安装目录所属用户和用户组！！

chown -R root:root /opt/lagou/servers/hadoop-2.9.2

3.3 分发配置

  • rsync 远程同步工具

    • rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。
    • rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文
      件都复制过去。

  • 基本语法

    rsync   -rvl     $pdir/$fname      $user@$host:$pdir/$fname
命令   选项参数  要拷贝的文件路径/名称   目的用户@主机:目的路径/名称

  • 选项参数说明

选项 功能
-r 递归
-v 显示复制过程
-l 拷贝符号连接
  • 安装rsync
    • yum -y install rsync

案例:编写shell代码将文件分发到所有服务器

vim rsync-script:

#!/bin/bash
#1 获取命令输入参数的个数，如果个数为0，直接退出命令
paramnum=$#
if((paramnum==0)); then
    echo no params;
    exit;
fi

#2 根据传入参数获取文件名称
p1=$1
file_name=`basename $p1`
echo fname=$file_name
#3 获取输入参数的绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir
#4 获取用户名称
user=`whoami`
#5 循环执行rsync
for((host=121; host<124; host++)); do
    echo ------------------- linux$host --------------
    echo "rsync -rvl $pdir/$file_name $user@linux$host:$pdir"
    rsync -rvl $pdir/$file_name $user@linux$host:$pdir
done

修改脚本 rsync-script 具有执行权限: chmod 777 rsync-script

执行命令,分发文件: rsync-script /opt/lagou/servers/hadoop-2.9.2

4 启动集群

4.1 单节点启动

注意：如果集群是第一次启动，需要在Namenode所在节点格式化NameNode，非第一次不用执行格
式化Namenode操作！！

hadoop namenode -format # 格式化NameNode

格式化命令执行效果:

格式化后创建的文件：/opt/lagou/servers/hadoop-2.9.2/data/tmp/dfs/name/current

4.1.1 启动hdfs

  1. 在linux121上启动NameNode
[root@linux121 hadoop-2.9.2]$ hadoop-daemon.sh start namenode
[root@linux121 hadoop-2.9.2]$ jps
  1. 在linux121、linux122以及linux123上分别启动DataNode
[root@linux121 hadoop-2.9.2]$ hadoop-daemon.sh start datanode
[root@linux121 hadoop-2.9.2]$ jps
3461 NameNode
3608 Jps
3561 DataNode

[root@linux122 hadoop-2.9.2]$ hadoop-daemon.sh start datanode
[root@linux122 hadoop-2.9.2]$ jps
3190 DataNode
3279 Jps

[root@linux123 hadoop-2.9.2]$ hadoop-daemon.sh start datanode
[root@linux123 hadoop-2.9.2]$ jps
3237 Jps
3163 DataNode
  1. web端查看Hdfs界面
http://linux121:50070/dfshealth.html#tab-overview

查看HDFS集群正常节点：

4.1.2 启动Yarn

  1. Yarn集群单节点启动
[root@linux123 servers]# yarn-daemon.sh start resourcemanager
[root@linux123 servers]# jps
7881 ResourceManager
8094 Jps

[root@linux122 servers]# yarn-daemon.sh start nodemanager
[root@linux122 servers]# jps
8166 NodeManager
8223 Jps

[root@linux121 servers]# yarn-daemon.sh start nodemanager
[root@linux121 servers]# jps
8166 NodeManager
8223 Jps

4.2 集群群起

  1. 格式化NameNode

如果已经单节点方式启动了Hadoop,可以先停止之前的启动的Namenode与Datanode进程,如果
之前Namenode没有执行格式化，这里需要执行格式化!

hadoop namenode -format
  1. 启动HDFS
[root@linux121 hadoop-2.9.2]$ sbin/start-dfs.sh
[root@linux121 hadoop-2.9.2]$ jps
4166 NameNode
4482 Jps
4263 DataNode

[root@linux122 hadoop-2.9.2]$ jps
3218 DataNode
3288 Jps

[root@linux123 hadoop-2.9.2]$ jps
3221 DataNode
3283 SecondaryNameNode
3364 Jps
  1. 启动YARN
[root@linux123 hadoop-2.9.2]$ sbin/start-yarn.sh

注意：NameNode和ResourceManger不是在同一台机器，不能在NameNode上启动 YARN，应该
在ResouceManager所在的机器上启动YARN。

4.3 Hadoop集群启动停止命令汇总

  1. 分别启动/停止HDFS组件
hadoop-daemon.sh start/stop namenode/datanode/secondarynamenode
  1. 启动/停止YARN
yarn-daemon.sh start/stop resourcemanager/nodemanager
  1. 各个模块分开启动/停止（配置ssh免密登录是前提）常用

(1)整体启动/停止HDFS

start-dfs.sh / stop-dfs.sh

(1)整体启动/停止YARN

start-yarn.sh / stop-yarn.sh

5 配置历史服务器

在Yarn中运行的任务产生的日志数据不能查看，为了查看程序的历史运行情况，需要配置一下历史日志
服务器。具体配置步骤如下:

  1. 配置mapred-site.xml:
[root@linux121 hadoop]$ vi mapred-site.xml

在该文件里面增加如下配置:

<!-- 历史服务器端地址 -->
<property>
	<name>mapreduce.jobhistory.address</name>
	<value>linux121:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
	<name>mapreduce.jobhistory.webapp.address</name>
	<value>linux121:19888</value>
</property>
  1. 分发mapred-site.xml到其它节点
[root@linux121 hadoop]$ rsync-script mapred-site.xml
  1. 启动历史服务器
[root@linux121 hadoop-2.9.2]$ mr-jobhistory-daemon.sh start historyserver
  1. 查看历史服务器是否启动
[root@linux121 hadoop-2.9.2]$ jps

  1. 查看JobHistory
http://linux121:19888/jobhistory

5.1 配置日志的聚集

日志聚集：应用(Job)运行完成以后，将应用运行日志信息从各个task汇总上传到HDFS系统上。

日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。

注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和
HistoryManager。

开启日志聚集功能具体步骤如下：

  1. 配置yarn-site.xml
[root@linux121 hadoop]$ vi yarn-site.xml

在该文件里面增加如下配置:

<!-- 日志聚集功能使能 -->
<property>
	<name>yarn.log-aggregation-enable</name>
	<value>true</value>
</property>
<!-- 日志保留时间设置7天 -->
<property>
	<name>yarn.log-aggregation.retain-seconds</name>
	<value>604800</value>
</property>
<property>
	<name>yarn.log.server.url</name>
	<value>http://linux121:19888/jobhistory/logs</value>
</property>
  1. 分发yarn-site.xml到集群其它节点
[root@linux121 hadoop]$ rsync-script yarn-site.xml
  1. 关闭NodeManager 、ResourceManager和HistoryManager
[root@linux121 hadoop-2.9.2]$ sbin/yarn-daemon.sh stop resourcemanager
[root@linux121 hadoop-2.9.2]$ sbin/yarn-daemon.sh stop nodemanager
[root@linux121 hadoop-2.9.2]$ sbin/mr-jobhistory-daemon.sh stop historyserver
  1. 删除HDFS上已经存在的输出文件
[root@linux121 hadoop-2.9.2]$ bin/hdfs dfs -rm -R /wcoutput
  1. 执行WordCount程序
[root@linux121 hadoop-2.9.2]$ hadoop jar share/hadoop/mapreduce/hadoop-
mapreduce-examples-2.9.2.jar wordcount /wcinput /wcoutput
  1. 查看日志，如图所示

admin

相关文章

python
对嵌入字符串中的数字进行排序
3月 7, 2023 [db:作者]
python
如何使用Pandas对excel文件中的数据进行排序。并对副本进行排序
3月 7, 2023 [db:作者]
python
在pygtk Treevi中添加新行
3月 7, 2023 [db:作者]

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

You missed

python
python
python
python