首页 > 电脑 > bin/hadoop jar share/hadoop/mapreduce

bin/hadoop jar share/hadoop/mapreduce

电脑 2022-07-23

搭建hadoop集群，常用配置文件是什么，以及配置哪些属性

一. 简介

参考了网上许多教程，最终把hadoop在ubuntu14.04中安装配置成功。下面就把详细的安装步骤叙述一下。我所使用的环境：两台ubuntu 14.04 64位的台式机，hadoop选择2.7.1版本。（前边主要介绍单机版的配置，集群版是在单机版的基础上，主要是配置文件有所不同，后边会有详细说明）

二. 准备工作

2.1 创建用户

创建用户，并为其添加root权限，经过亲自验证下面这种方法比较好。

1 sudo adduser hadoop2 sudo vim /etc/sudoers3 # 修改内容如下：4 root ALL = (ALL)ALL5 hadoop ALL = (ALL)ALL

给hadoop用户创建目录，并添加到sudo用户组中，命令如下：

1 sudo chown hadoop /home/hadoop2 # 添加到sudo用户组3 sudo adduser hadoop sudo

最后注销当前用户，使用新创建的hadoop用户登陆。

2.2安装ssh服务

ubuntu中默认是没有装ssh server的（只有ssh client），所以先运行以下命令安装openssh-server。安装过程轻松加愉快～

sudo apt-get install ssh openssh-server

2.3 配置ssh无密码登陆

直接上代码：执行完下边的代码就可以直接登陆了（可以运行ssh localhost进行验证）

1 cd ~/.ssh　　# 如果找不到这个文件夹，先执行一下 "ssh localhost"2 ssh-keygen -t rsa3 cp id_rsa.pub authorized_keys

注意：

这里实现的是无密登陆自己，只适用与hadoop单机环境。如果配置Hadoop集群设置Master与Slave的SSH无密登陆可

三. 安装过程

3.1 下载hadoop安装包

有两种下载方式：

1. 直接去官网下载：

2. 使用wget命令下载：

3.2 配置hadoop

1. 解压下载的hadoop安装包，并修改配置文件。我的解压目录是（/home/hadoop/hadoop-2.7.1），即进入/home/hadoop/文件夹下执行下面的解压缩命令。

tar -zxvf hadoop-2.7.1.tar.gz

2. 修改配置文件：（hadoop2.7.1/etc/hadoop/）目录下，hadoop-env.sh，core-site.xml，mapred-site.xml.template，hdfs-site.xml。

(1). core-site.xml 配置：其中的hadoop.tmp.dir的路径可以根据自己的习惯进行设置。

hadoop.tmp.dirfile:/home/hadoop/hadoop/tmpAbase for other temporary directories.fs.defaultFShdfs://localhost:9000

(2).mapred-site.xml.template配置:

mapred.job.trackerlocalhost:9001

(3).hdfs-site.xml配置:其中dfs.namenode.name.dir和dfs.datanode.data.dir的路径可以自由设置，最好在hadoop.tmp.dir的目录下面。

注意：如果运行Hadoop的时候发现找不到jdk，可以直接将jdk的路径放置在hadoop-env.sh里面，具体如下：

export JAVA_HOME="/opt/java_file/jdk1.7.0_79"，即安装java时的路径。

dfs.replication1dfs.namenode.name.dirfile:/home/hadoop/hadoop/tmp/dfs/namedfs.datanode.data.dirfile:/home/hadoop/hadoop/tmp/dfs/data

配置完成后运行hadoop。

四. 运行hadoop

4.1初始化HDFS系统

在hadop2.7.1目录下执行命令：

bin/hdfs namenode -format

出现如下结果说明初始化成功。

4.2开启NameNode和DataNode守护进程

在hadop2.7.1目录下执行命令：

sbin/start-dfs.sh

成功的截图如下：

4.3 使用jps命令查看进程信息：

若出现如图所示结果，则说明DataNode和NameNode都已经开启。

4.4 查看web界面

在浏览器中输入http://localhost:50070，即可查看相关信息，截图如下

至此，hadoop的环境就已经搭建好了。

五. 运行wordcount demo

1. 在本地新建一个文件，里面内容随便填：例如我在home/hadoop目录下新建了一个haha.txt文件，里面的内容为" hello world! "。

2. 然后在分布式文件系统（hdfs）中新建一个test文件夹，用于上传我们的测试文件haha.txt。在hadoop-2.7.1目录下运行命令：

# 在hdfs的根目录下建立了一个test目录
bin/hdfs dfs -mkdir /test
# 查看HDFS根目录下的目录结构
bin/hdfs dfs -ls /

结果如下：

3.将本地haha.txt文件上传到test目录中；

# 上传
bin/hdfs dfs -put /home/hadoop/haha.txt /test/# 查看
bin/hdfs dfs -ls /test/

结果如下：

4. 运行wordcount demo；

# 将运行结果保存在/test/out目录下
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /test/haha.txt /test/out
# 查看/test/out目录下的文件
bin/hdfs dfs -ls /test/out

结果如下：

运行结果表示：运行成功，结果保存在part-r-00000中。

5. 查看运行结果；

# 查看part-r-00000中的运行结果
bin/hadoop fs -cat /test/out/part-r-00000

结果如下：

至此，wordcount demo 运行结束。

六. 总结

配置过程遇到了很多问题，最后都一一解决，收获很多，特此把这次配置的经验分享出来，方便想要配置hadoop环境的各位朋友～

（Hadoop集群安装配置过程基本和单机版是一样的，主要是在配置文件方面有所区别，以及ssh无密登陆要求master和slave能够互相无密登陆。

安装hadoop的步骤有哪些

hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFSHA、YARN等。最新的hadoop-2.4.1又增加了YARNHA
注意：apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，
所以如果在64位的操作上安装hadoop-2.4.1就需要重新在64操作系统上重新编译
（建议第一次安装用32位的系统，我将编译好的64位的也上传到群共享里了，如果有兴趣的可以自己编译一下）
前期准备就不详细说了，课堂上都介绍了
1.修改Linux主机名
2.修改IP
3.修改主机名和IP的映射关系
	######注意######如果你们公司是租用的服务器或是使用的云主机（如华为用主机、阿里云主机等）
	/etc/hosts里面要配置的是内网IP地址和主机名的映射关系	
4.关闭防火墙
5.ssh免登陆
6.安装JDK，配置环境变量等
集群规划：
	主机名		IP				安装的软件					运行的进程
	HA181	192.168.1.181	jdk、hadoop					NameNode、DFSZKFailoverController(zkfc)
	HA182	192.168.1.182	jdk、hadoop					NameNode、DFSZKFailoverController(zkfc)
	HA183	192.168.1.183	jdk、hadoop					ResourceManager
	HA184	192.168.1.184	jdk、hadoop					ResourceManager
	HA185	192.168.1.185	jdk、hadoop、zookeeper		DataNode、NodeManager、JournalNode、QuorumPeerMain
	HA186	192.168.1.186	jdk、hadoop、zookeeper		DataNode、NodeManager、JournalNode、QuorumPeerMain
	HA187	192.168.1.187	jdk、hadoop、zookeeper		DataNode、NodeManager、JournalNode、QuorumPeerMain
	
说明：
	1.在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。ActiveNameNode对外提供服务，而StandbyNameNode则不对外提供服务，仅同步activenamenode的状态，以便能够在它失败时快速进行切换。
	hadoop2.0官方提供了两种HDFSHA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。在该方案中，主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode
	这里还配置了一个zookeeper集群，用于ZKFC（DFSZKFailoverController）故障转移，当ActiveNameNode挂掉了，会自动切换StandbyNameNode为standby状态
	2.hadoop-2.2.0中依然存在一个问题，就是ResourceManager只有一个，存在单点故障，hadoop-2.4.1解决了这个问题，有两个ResourceManager，一个是Active，一个是Standby，状态由zookeeper进行协调
安装步骤：
	1.安装配置zooekeeper集群（在HA185上）
		1.1解压
			tar-zxvfzookeeper-3.4.5.tar.gz-C/app/
		1.2修改配置
			cd/app/zookeeper-3.4.5/conf/
			cpzoo_sample.cfgzoo.cfg
			vimzoo.cfg
			修改：dataDir=/app/zookeeper-3.4.5/tmp
			在最后添加：
server.1=HA185:2888:3888
server.2=HA186:2888:3888
server.3=HA187:2888:3888
			保存退出
			然后创建一个tmp文件夹
			mkdir/app/zookeeper-3.4.5/tmp
			再创建一个空文件
			touch/app/zookeeper-3.4.5/tmp/myid
			最后向该文件写入ID
			echo1>/app/zookeeper-3.4.5/tmp/myid
		1.3将配置好的zookeeper拷贝到其他节点(首先分别在HA186、HA187根目录下创建一个weekend目录：mkdir/weekend)
			scp-r/app/zookeeper-3.4.5/HA186:/app/
			scp-r/app/zookeeper-3.4.5/HA187:/app/
			
			注意：修改HA186、HA187对应/weekend/zookeeper-3.4.5/tmp/myid内容
			HA186：
				echo2>/app/zookeeper-3.4.5/tmp/myid
			HA187：
				echo3>/app/zookeeper-3.4.5/tmp/myid
	
	2.安装配置hadoop集群（在HA181上操作）
		2.1解压
			tar-zxvfhadoop-2.4.1.tar.gz-C/weekend/
		2.2配置HDFS（hadoop2.0所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下）
			#将hadoop添加到环境变量中
			vim/etc/profile
			exportJAVA_HOME=/app/jdk1.7.0_79
			exportHADOOP_HOME=/app/hadoop-2.4.1
			exportPATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
			
			#hadoop2.0的配置文件全部在$HADOOP_HOME/etc/hadoop下
			cd/home/hadoop/app/hadoop-2.4.1/etc/hadoop
			
			2.2.1修改hadoop-env.sh
				exportJAVA_HOME=/app/jdk1.7.0_79
				
			2.2.2修改core-site.xml

	
	
		fs.defaultFS
		hdfs://ns1/
	
	
	
		hadoop.tmp.dir
		/app/hadoop-2.4.1/tmp
	
	
	
	
		ha.zookeeper.quorum
		HA185:2181,HA186:2181,HA187:2181
	

				
			2.2.3修改hdfs-site.xml

	
	
		dfs.nameservices
		ns1
	
	
	
		dfs.ha.namenodes.ns1
		nn1,nn2
	
	
	
		dfs.namenode.rpc-address.ns1.nn1
		HA181:9000
	
	
	
		dfs.namenode.http-address.ns1.nn1
		HA181:50070
	
	
	
		dfs.namenode.rpc-address.ns1.nn2
		HA182:9000
	
	
	
		dfs.namenode.http-address.ns1.nn2
		HA182:50070
	
	
	
		dfs.namenode.shared.edits.dir
		qjournal://HA185:8485;HA186:8485;HA187:8485/ns1
	
	
	
		dfs.journalnode.edits.dir
		/app/hadoop-2.4.1/journaldata
	
	
	
		dfs.ha.automatic-failover.enabled
		true
	
	
	
		dfs.client.failover.proxy.provider.ns1
		org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
	
	
	
		dfs.ha.fencing.methods
		
			sshfence
			shell(/bin/true)
		
	
	
	
		dfs.ha.fencing.ssh.private-key-files
		/home/hadoop/.ssh/id_rsa
	
	
	
		dfs.ha.fencing.ssh.connect-timeout
		30000
	

			
			2.2.4修改mapred-site.xml

	
	
		mapreduce.framework.name
		yarn
	
	
			
			2.2.5修改yarn-site.xml

		
		
		yarn.resourcemanager.ha.enabled
		true
		
		
		
		yarn.resourcemanager.cluster-id
		yrc
		
		
		
		yarn.resourcemanager.ha.rm-ids
		rm1,rm2
		
		
		
		yarn.resourcemanager.hostname.rm1
		HA183
		
		
		yarn.resourcemanager.hostname.rm2
		HA184
		
		
		
		yarn.resourcemanager.zk-address
		HA185:2181,HA186:2181,HA187:2181
		
		
		yarn.nodemanager.aux-services
		mapreduce_shuffle
		

			
				
			2.2.6修改slaves(slaves是指定子节点的位置，因为要在HA181上启动HDFS、在HA183启动yarn，
			所以HA181上的slaves文件指定的是datanode的位置，HA183上的slaves文件指定的是nodemanager的位置)
HA185
HA186
HA187
			2.2.7配置免密码登陆
				#首先要配置HA181到HA182、HA183、HA184、HA185、HA186、HA187的免密码登陆
				#在HA181上生产一对钥匙
				ssh-keygen-trsa
				#将公钥拷贝到其他节点，包括自己
				ssh-copy-idHA181
				ssh-copy-idHA182
				ssh-copy-idHA183
				ssh-copy-idHA184
				ssh-copy-idHA185
				ssh-copy-idHA186
				ssh-copy-idHA187
				#配置HA183到HA184、HA185、HA186、HA187的免密码登陆
				#在HA183上生产一对钥匙
				ssh-keygen-trsa
				#将公钥拷贝到其他节点
ssh-copy-idHA184
ssh-copy-idHA185
ssh-copy-idHA186
ssh-copy-idHA187
				#注意：两个namenode之间要配置ssh免密码登陆，别忘了配置HA182到HA181的免登陆
				在HA182上生产一对钥匙
				ssh-keygen-trsa
				ssh-copy-id-iHA181				
		
		2.4将配置好的hadoop拷贝到其他节点
scp-r/app/hadoop-2.5.1/HA182:/app/
scp-r/app/hadoop-2.5.1/HA183:/app/
scp-r/app/hadoop-2.5.1/HA184:/app/
scp-r/app/hadoop-2.5.1/HA185:/app/
scp-r/app/hadoop-2.5.1/HA186:/app/
scp-r/app/hadoop-2.5.1/HA187:/app/
		###注意：严格按照下面的步骤
		2.5启动zookeeper集群（分别在HA185、HA186、tcast07上启动zk）
cd/app/zookeeper-3.4.5/bin/
./zkServer.shstart
			#查看状态：一个leader，两个follower
			./zkServer.shstatus
			
		2.6启动journalnode（分别在在HA185、HA186、HA187上执行）
cd/app/hadoop-2.5.1
hadoop-daemon.shstartjournalnode
			#运行jps命令检验，HA185、HA186、HA187上多了JournalNode进程
		2.7格式化ZKFC(在HA181上执行即可)			hdfszkfc-formatZK
		2.8格式化HDFS
			#在HA181上执行命令:
			hdfsnamenode-format
			#格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/app/hadoop-2.4.1/tmp，然后将/weekend/hadoop-2.4.1/tmp拷贝到HA182的/weekend/hadoop-2.4.1/下。
			scp-rtmp/HA182:/app/hadoop-2.5.1/
			##也可以这样，建议hdfsnamenode-bootstrapStandby
		
		
		
		2.9启动HDFS(在HA181上执行)
			sbin/start-dfs.sh
		2.10启动YARN(#####注意#####：是在HA183上执行start-yarn.sh，把namenode和resourcemanager分开是因为性能问题，因为他们都要占用大量资源，所以把他们分开了，他们分开了就要分别在不同的机器上启动)
			sbin/start-yarn.sh
		
	到此，hadoop-2.4.1配置完毕，可以统计浏览器访问:
		http://192.168.1.181:50070
		NameNode'HA181:9000'(active)
		http://192.168.1.182:50070
		NameNode'HA182:9000'(standby)
	
	验证HDFSHA
		首先向hdfs上传一个文件
		hadoopfs-put/etc/profile/profile
		hadoopfs-ls/
		然后再kill掉active的NameNode
		kill-9
		通过浏览器访问：http://192.168.1.182:50070
		NameNode'HA182:9000'(active)
		这个时候HA182上的NameNode变成了active
		在执行命令：
		hadoopfs-ls/
		-rw-r--r--3rootsupergroup19262014-02-0615:36/profile
		刚才上传的文件依然存在！！！
		手动启动那个挂掉的NameNode
		sbin/hadoop-daemon.shstartnamenode
		通过浏览器访问：http://192.168.1.181:50070
		NameNode'HA181:9000'(standby)
	
	验证YARN：
		运行一下hadoop提供的demo中的WordCount程序：
		hadoopjarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jarwordcount/profile/out
	
	OK，大功告成！！！
CID-74d21742-3e4b-4df6-a99c-d52f703b49c0
	
			
		
测试集群工作状态的一些指令：
bin/hdfsdfsadmin-report	查看hdfs的各节点状态信息
bin/hdfshaadmin-getServiceStatenn1		获取一个namenode节点的HA状态
sbin/hadoop-daemon.shstartnamenode单独启动一个namenode进程
./hadoop-daemon.shstartzkfc单独启动一个zkfc进程

ubuntu怎么配置单机hadoop

ubuntu配置单机hadoop的步骤： 1、创建hadoop用户组 2、创建hadoop用户 sudo adduser -ingroup hadoop hadoop 回车后会提示输入新的UNIX密码，这是新建用户hadoop的密码，输入回车即可。 如果不输入密码，回车后会重新提示输入密码，即密码不能为空。 最后确认信息是否正确，如果没问题，输入 Y，回车即可。 3、为hadoop用户添加权限 输入：sudo gedit /etc/sudoers 回车，打开sudoers文件 给hadoop用户赋予和root用户同样的权限 二、用新增加的hadoop用户登录Ubuntu系统 三、安装ssh s

ubuntu安装hadoop搭建好 怎么用

创建hadoop用户组 创建hadoop用户 sudo adduser -ingroup hadoop hadoop 回车后会提示输入新的UNIX密码，这是新建用户hadoop的密码，输入回车即可。 如果不输入密码，回车后会重新提示输入密码，即密码不能为空。 最后确认信息是否正确，如果没问题，输入 Y，回车即可。 ( 增加hadoop用户组，同时在该组里增加hadoop用户，后续在涉及到hadoop操作时，我们使用该用户。) 为hadoop用户添加权限 输入：sudo gedit /etc/sudoers 回车，打开sudoers文件 给hadoop用户赋予和root用户同样的权限 用新增加的

怎么在hadoop中运行第一个mapreduce文件

[hadoop@M ~]$ ~/hadoop/bin/hadoop jar ~/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar pi 1 2

标签：信息技术 Hadoop 编程语言 操作系统 配置

Microsoft Excel 同类型数值分类返回列表

相关文章

  • 现在一梦江湖PC端的电脑配置要求高 现在一梦江湖PC端的电脑配置要求高

    2021年一梦江湖配置2021年一梦江湖配置如下：1、基本配置系统要求：IOS8.0以上，或安卓4.2以上。所需内容：1.89G。语言：中文。2、推荐配置系统要求：IOS8.0以上，或安卓4.2以上。所需内

    详细阅读
  • 现在什么手机比较好，配置好 现在什么手机比较好，配置好

    目前什么手机比较好，性价比高？华为nova 9手机很不错，参数如下：


    1、屏幕：屏幕尺寸6.57英寸，分辨率FHD+ 2340 x 1080 像素，看电影更加舒畅。


    2、相机：后置四摄：5000万像素高清摄像

    详细阅读
  • 这个配置玩逃离塔科夫这款游戏会很 这个配置玩逃离塔科夫这款游戏会很

    我这个配置能玩逃离塔科夫吗 ？多少帧？可以玩，中特效80帧~100帧左右流畅玩，这个游戏的配置要求大致如下： 最低配置： 系统：Windows7/8/10(64位) CPU: 2.4 GHz酷睿双核处理器(Core 2 D

    详细阅读
  • 电脑组装配置 电脑组装配置

    自己组装电脑配置清单？十一代i5-11400F搭配GTX1650独显，属实显卡有点拉跨，但是高于GTX1650独显以上级别的价格实在偏高，GTX1660目前基本在2k左右，RTX2060达到了3K左右，所以暂且考

    详细阅读
  • 在外地想自己配一个价格超低的玩传 在外地想自己配一个价格超低的玩传

    自己组装一台玩传奇私服的组装电脑，需要稳定流畅。麻烦大神列个配置清单给我和预算，非常谢谢只是传奇 这个配置就可以了你自己购买还能便宜点我这个价格是平均价电脑大神进来，

    详细阅读
  • 为什么配置审批流程根据流程表单中 为什么配置审批流程根据流程表单中

    在致员OA中，做流程的时候 协同-知会-审批-表单审批，分别是什么意思?协同，就是公司多部门，多组织，多人员共同处理同一件事情。知会，就是表示只让知道，不需要审批，也没有权限审批。知

    详细阅读
  • 这个配置玩都市天际线崩溃 这个配置玩都市天际线崩溃

    我想问一下，以我这电脑配置后期能流畅运行城市天际线吗？会卡吗？会闪退吗？玩吃鸡的话怎么样？这样的硬件配置达到玩城市天际线游戏的推荐要求，是可以流畅地运行城市天际线游戏的。

    详细阅读
  • 电脑想升级配置应该换哪些配件 电脑想升级配置应该换哪些配件

    电脑主机升级,要换哪些配件？一般来说，电脑升级的话，主要的还是显卡和内存，如果原来是机械硬盘的话，可以换成固态硬盘，别的也没啥可生的我现在的电脑配置是这样的，假如我想升级下配

    详细阅读
  • 要做网络维护 ，想求问下电脑配置 要做网络维护 ，想求问下电脑配置

    我是一名网络维护员，平时也就修修监控装装电脑系统什么的还有一个单位的网络，想买台笔记本，不知买什么推荐华硕 FX80FX80是一款时尚硬派的 Windows 10 笔记本电脑，打破常规，带来

    详细阅读
  • 这个配置用得了犀牛等需要渲染建模 这个配置用得了犀牛等需要渲染建模

    3D和犀牛建模，C4D渲染，请问什么配置的电脑比较好，最重要的是快，想买手提电脑你可以先去【绘学霸】网站找“C4D/AE/影视后期包装”板块的【免费】视频教程-【点击进入】完整入门

    详细阅读
大明白知识网 Copyright © 2020-2022 www.wangpan131.com. Some Rights Reserved. 京ICP备11019930号-18