Linux下Hadoop分布式配置和使用
Linux下Hadoop分布式配置和使用（适用于0.20及
以后版本）
詹坤林 2010年5月
目录
介绍 (2)
0 集群网络环境介绍 (2)
1 /etc/hosts文件配置 (2)
2 SSH无密码验证配置 (3)
2.1 选择一：配置Namenode无密码登录所有Datanode (3)
2.1选择二：配置所有节点之间SSH无密码验证 (4)
3 JDK安装和Java环境变量配置 (5)
3.1 安装 JDK 1.6 (5)
3.2 Java环境变量配置 (5)
4 Hadoop集群配置 (5)
5 Hadoop集群启动 (8)
6 Hadoop使用 (10)
6.1 客户机与HDFS进行交互 (10)
6.1.1 客户机配置 (10)
6.1.2 列出HDFS根目录/下的文件 (11)
6.1.3 列出当前用户主目录下的文件 (11)
6.1.4 HDFS用户管理 (11)
6.1.5 复制本地数据到HDFS中 (12)
6.1.6 数据副本说明 (12)
6.1.7 hadoop-site.xml参数说明 (13)
6.1.8 HDFS中的路径 (13)
6.1.8 Hadoop相关命令 (14)
1
6.2 客户机提交作业到集群 (14)
6.2.1 客户机配置 (14)
6.2.2 一个测试例子WordCount (15)
6.2.3 编写Hadoop应用程序并在集群上运行 (16)
6.2.4 三种模式下编译运行Hadoop应用程序 (16)
6.2.5 提交多个作业到集群 (18)
附程序 (19)
介绍
这是本人在完全分布式环境下在Cent-OS中配置Hadoop-0.19.1时的总结文档，但该文档也适合其他版本的Linux系统和目前各版本的Hadoop(Hadoop-0.20之后的版本配置文件hadoop-site.xml被拆分成了三个core-site.xml，hdfs-site.xml 和mapred-site.xml，这里会说明0.20后的版本中如何配置这三个文件)。
Hadoop配置建议所有配置文件中使用主机名进行配置，并且机器上应在防火墙中开启相应端口，并设置SSHD服务为开机启动，此外java环境变量可以在/etc/profile中配置。
0 集群网络环境介绍
集群包含三个节点：1个namenode，2个datanode，节点之间局域网连接，
启动。
所有节点上均创建了一个hadoop用户，用户主目录是/home/hadoop。
所有节点上均创建了一个目录/usr/local/hadoop，并且拥有者是hadoop用户。因为该目录用于安装hadoop，用户对其必须有rwx权限。（一般做法是root 用户在/usr/local下创建hadoop目录，并修改该目录拥有者为nutch(chown –R nutch:nutch /usr/local/hadoop)。
1 /etc/hosts文件配置
(1)namenode节点上编辑/etc/hosts文件
将所有节点的名字和IP地址写入其中，写入如下内容，注意注释掉
2
下:
root用户登录namenode；
执行命令：scp /etc/hosts root@datanode ip:/etc/hosts
2 SSH无密码验证配置
Hadoop需要使用SSH协议，namenode将使用SSH协议启动namenode和datanode进程，datanode向namenode传递心跳信息可能也是使用SSH协议，这是我认为的，还没有做深入了解，datanode之间可能也需要使用SSH协议。假若是，则需要配置使得所有节点之间可以相互SSH无密码登陆验证。下面给出了两种配置方式，用户可以选择第一种，若实验中出现问题可选择第二种进行尝试。
2.1 选择一：配置Namenode无密码登录所有Datanode
(0)原理
Namenode作为客户端，要实现无密码公钥认证，连接到服务端datanode上时，需要在namenode上生成一个密钥对，包括一个公钥和一个私钥，而后将公钥复制到datanode上。当namenode通过ssh连接datanode时，datanode就会生成一个随机数并用namenode的公钥对随机数进行加密，并发送给namenode。namenode收到加密数之后再用私钥进行解密，并将解密数回传给datanode，datanode确认解密数无误之后就允许namenode进行连接了。这就是一个公钥认证过程，其间不需要用户手工输入密码。重要过程是将客户端namenode公钥复制到datanode上。
所有机器上生成密码对，所有节点上执行以下命令:
ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/home/ hadoop /.ssh/id_rsa): 默认路径Enter passphrase (empty for no passphrase): 回车，空密码
Enter same passphrase again:
Your identification has been saved in /home/ hadoop /.ssh/id_rsa.
Your public key has been saved in /home/ hadoop /.ssh/id_rsa.pub.
这将在/home/hadoop/.ssh/目录下生成一个私钥id_rsa和一个公钥id_rsa.pub。
在namenode节点上做如下配置
cp id_rsa.pub authorized_keys namenode的公钥
使用SSH协议将namenode的公钥信息authorized_keys复制到所有DataNode的.ssh目录下。
3
scp authorized_keys data节点ip地址:/home/hadoop/.ssh
这样配置过后，namenode可以无密码登录所有datanode，可以通过命令“ssh 节点ip地址”来验证。
配置完毕，在namenode上执行“ssh 本机，所有数据节点”命令，因为ssh 执行一次之后将不会再询问。
2.1选择二：配置所有节点之间SSH无密码验证
(0)原理
节点A要实现无密码公钥认证连接到节点B上时，节点A是客户端，节点B 是服务端，需要在客户端A上生成一个密钥对，包括一个公钥和一个私钥，而后将公钥复制到服务端B上。当客户端A通过ssh连接服务端B时，服务端B就会生成一个随机数并用客户端A的公钥对随机数进行加密，并发送给客户端A。客户端A收到加密数之后再用私钥进行解密，并将解密数回传给B，B确认解密数无误之后就允许A进行连接了。这就是一个公钥认证过程，其间不需要用户手工输入密码。重要过程是将客户端A公钥复制到B上。
因此如果要实现所有节点之间无密码公钥认证，则需要将所有节点的公钥都复制到所有节点上。
(1)所有机器上生成密码对
(a)所有节点用hadoop用户登陆，并执行以下命令，生成rsa密钥对:
ssh-keygen -t rsa
这将在/home/hadoop/.ssh/目录下生成一个私钥id_rsa和一个公钥id_rsa.pub。
(b)将所有datanode节点的公钥id_rsa.pub传送到namenode上:
cp id_rsa.pub datanode01.id_rsa.pub
scp datanode01.id_rsa.pub namenode节点ip地址:/home/hadoop/.ssh
......
cp id_rsa.pub datanoden.id_rsa.pub
scp datanoden.id_rsa.pub namenode节点ip地址:/home/hadoop/.ssh
(c)namenode节点上综合所有公钥(包括自身)并传送到所有节点上
cp id_rsa.pub authorized_keys 这是namenode自己的公钥
cat datanode01.id_rsa.pub >> authorized_keys
......
cat datanode0n.id_rsa.pub >> authorized_keys
然后使用SSH协议将所有公钥信息authorized_keys复制到所有DataNode 的.ssh目录下
scp authorized_keys data节点ip地址:/home/hadoop/.ssh
这样配置过后，所有节点之间可以相互SSH无密码登陆，可以通过命令“ssh 节点ip地址”来验证。
配置完毕，在namenode上执行“ssh 本机，所有数据节点”命令，因为ssh 执行一次之后将不会再询问。
4
3 JDK安装和Java环境变量配置
3.1 安装 JDK 1.6
root用户登陆，在Namenode节点上新建文件夹/usr/program，下载JDK安装包jdk-6u13-linux-i586.bin,复制到目录/usr/ program下，在命令行进入该目录，执行命令“./ jdk-6u13-linux-i586.bin”，命令运行完毕，将在目录下生成文件夹jdk1.6.0_13，安装完毕。
安装完成后，修改/usr/program目录拥有着为nutch用户，
Chown -R nutch:nutch /usr/program
/usr/ program目录需要复制到所有数据节点上。
3.2 Java环境变量配置
root用户登陆，命令行中执行命令”vi /etc/profile”,并加入以下内容，配置环境变量(注意/etc/profile这个文件很重要，后面Hadoop的配置还会用到)。
# set java environment
export JAVA_HOME=/usr/program/jdk1.6.0_13/
export JRE_HOME=/usr/program/jdk1.6.0_13/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
保存并退出，执行以下命令使配置生效
chmod +x /etc/profile
source /etc/profile
配置完毕，在命令行中使用命令”java -version”可以判断是否成功。在hadoop用户下测试java –version，一样成功。
将Namenode上的/etc/profile复制到所有数据节点上。操作步骤如下:
root用户登录namenode；
执行命令：scp /etc/profile root@datanode ip:/etc/profile
4 Hadoop集群配置
在namenode上执行:
Hadoop用户登录。
5
下载hadoop-0.19.1，将其解压到/usr/local/hadoop目录下，解压后目录形式是/usr/local/hadoop/hadoop-0.19.1。使用如下命令:
tar zxvf hadoop-0.19.1.tar.gz
(1)配置Hadoop的配置文件
(a)配置hadoop-env.sh
Hadoop配置参数的含义请参考conf/Hadoop-default.xml。
Hadoop-0.20之后的版本请分别配置core-site.xml，hdfs-site.xml和mapred-site.xml三个配置文件，配置方法即将下面hadoop-site.xml文件中的三
6
(2)复制配置好的各文件到所有数据节点上。
root用户下:
scp /etc/hosts 数据节点ip地址:/etc/hosts
scp /etc/profile 数据节点ip地址:/etc/profile
scp /usr/program 数据节点ip地址:/usr/program
nutch用户下:
scp /usr/local/hadoop 数据节点ip地址: /usr/local/
7
5 Hadoop集群启动
Namenode执行：
格式化namenode，格式化后在namenode生成了hdfs/name文件夹
bin/hadoop namenode –format
启动hadoop所有进程，
bin/start-all.sh（或者先后执行start-dfs.sh和start-mapreduce.sh）。
可以通过以下启动日志看出，首先启动namenode,然后启动datanode1,datanode2,然后启动secondarynamenode。再启动jobtracker,然后启动tasktracker1,最后启动tasktracker2。
启动hadoop成功后，在namenode中生成了hadooptmp文件夹，在datanode中生成了hdfs文件夹和mapred文件夹。
namenode上用java自带的小工具jps查看进程
在namenode上查看集群状态
8
9
Hadoop 的web 方式查看：http:// namenode ip 地址:50070
Hadoop 查看工作情况: http:// namenode ip 地址:50030
6 Hadoop使用
Hadoop有两个重要的模块：MapReduce和HDFS，HDFS是一个分布式文件系统，用于存储数据，MapReduce是一个编程框架，Hadoop中运行的程序均是MapReduce作业，一个作业分为若干个Map任务和Reduce任务。
6.1 客户机与HDFS进行交互
6.1.1 客户机配置
可以查看HDFS中的数据，向HDFS中写入数据。
(1)选择一台机器，该机器可以是Hadoop集群中的节点，也可以是集群之外的机器。下面说明在集群之外的客户机上如何操作与HDFS交互，集群之内的节点省去配置过程。
(2)集群之外的机器请保证和Hadoop集群是网络连通的，并且安装了
Hadoop(解压安装包即可)并在conf/hadoop-site.xml中做了相关配置，至少配
10
文件系统。
6.1.2 列出HDFS根目录/下的文件
[root@gc03vm12 nutch-1.0]# bin/hadoop dfs -ls /
Found 3 items
drwxr-xr-x - hadoop supergroup 0 2010-05-21 00:42 /tmp drwxr-xr-x - hadoop supergroup 0 2010-05-21 00:53 /user drwxr-xr-x - hadoop supergroup 0 2010-05-21 00:55 /usr 第一列是目录权限，第二列的hadoop是目录拥有者，第三列是组名，第4列是目录大小(单位是B)，第5列是目录的绝对路径。这里表示/目录下有三个目录。这里的用户hadoop是安装hadoop的用户，是超级用户，相当于Linux 操作系统的root用户，组supergroup相当于root用户组。
6.1.3 列出当前用户主目录下的文件
Hadoop默认当前HDFS中的用户就是当前登录客户机的用户。
[root@gc03vm12 nutch-1.0]# bin/hadoop dfs –ls
ls: Cannot access .: No such file or directory.
提示不能访问时因为hdfs中没有/user/root目录。
注意：这里的当前用户主目录是客户机中当前登录用户的主目录，即HDFS 中的“/user/用户名”目录，由于当前是root用户登录，命令“bin/hadoop dfs –ls”访问的是HDFS中的“/user/root目录”。此时若/user/root目录不存在，则会出现上面的提示。
由于HDFS中不存在root用户，所以客户机当前登录用户无法向HDFS中写入数据，因为对HDFS中的所有目录没有写权限，只有r读权限。要使当前用户能够向HDFS中写入数据，必须在HDFS中创建root用户并且创建相应目录，赋予相关权限。
总之，HDFS的用户权限和Linux一样重要。
6.1.4 HDFS用户管理
创建HDFS用户需要使用hadoop用户登录客户机器，并且执行hadoop相关
11
命令。由于Hadoop默认当前HDFS中的用户就是当前登录客户机的用户，所以当前HDFS用户即为Hadoop超级用户hadoop。
Hadoop似乎没有提供创建用户的命令，但要在HDFS中创建用户和用户组可以这样做。
(i)Hadoop超级用户hadoop在hdfs中创建目录/user/root，
即 bin/hadoop dfs -mkdir /user/root
(ii)更改/user/root目录所属用户和组，
即bin/hadoop dfs -chown -R root:root/user/root,命令执行完毕Hadoop 将默认创建有用户root，用户组root。
注意：若此处没有指定组，则默认将root用户分配到supergroup组，bin/hadoop dfs -chown -R root /user/root
(ii)这样就相当于在hdfs中创建了用户root，组root。并且当前客户机的root用户对hdfs中的/user/root目录进行rwx。
6.1.5 复制本地数据到HDFS中
[root@gc03vm12 nutch-1.0]# bin/hadoop dfs –copyFromLocal /local/x /user/root/
执行以上命令即能将本地数据上传到HDFS中，上传的文件将会被分块，并且数据块将物理存储在集群数据节点的hadoop-site.xml文件中的dfs.data.dir参数指定的目录下，用户可以登录数据节点查看相应数据块。
HDFS中一个文件对应若干数据块，如果文件小于块大小(默认64M)，则将会存储到一个块中，块大小即文件大小。若文件很大，则分为多个块存储。
6.1.6 数据副本说明
Hadoop-site.xml文件中的dfs.replication参数指定了数据块的副本数量。一个文件被分为若干数据块，其所有数据块副本的名字和元数据都是一样的，例如下图显示了上传一个目录(包含两个小文件)到HDFS后数据节点中数据块情
12
况：
图节点一上的副本
图节点二上的副本
6.1.7 hadoop-site.xml参数说明
(1) hadoop.tmp.dir
该参数默认值是“/tmp/hadoop-{当前登录用户名}”。
它是本地路径，当第一次启动Hadoop集群进程时在namenode节点的本地创建该目录，其作用是存储相关临时文件。
(2)mapred.system.dir
该参数默认值是${hadoop.tmp.dir}/mapred/system，它所表示的目录是hdfs中的路径，是相对于https://www.wendangku.net/doc/7a4214290.html,的路径，即它在hdfs中的绝对路径是{$https://www.wendangku.net/doc/7a4214290.html,}/{$mapred.system.dir}。
该参数指定的目录的作用是当作业运行时，存储作业相关文件，供tasktracker节点共享。
一般hdfs系统中/目录下可以看到该参数指定的目录，如
[nutch@gc04vm12 nutch-1.0]$ bin/hadoop dfs -lsr /
drwxr-xr-x - nutch supergroup /tmp
drwxr-xr-x - nutch supergroup /tmp/hadoop
drwxr-xr-x - nutch supergroup /tmp/hadoop/mapred
drwx-wx-wx - nutch supergroup /tmp/hadoop/mapred/system (即此) 其他参数参见hadoop-default.xml中的说明。
6.1.8 HDFS中的路径
首先请查阅资料，把握URI的概念。在HDFS中，例如下面这些形式均是URI （注意不是URL，URI概念比URL更广）。例如file:///，hdfs://x/y/z，/x/y/z，z。
13
HDFS路径应该可以分为三种：绝对URI路径，即
hdfs://namenode:端口/xxxx/xxxx
这种形式；HDFS绝对路径，例如/user或者///user，注意使用/或者///表示根目录，而不能使用//；HDFS相对路径，例如x，此路径往往是相对于当前用户主目录/user/用户名而言，例如x对应的HDFS绝对路径是/user/hadoop/x。
Hadoop-site.xml中参数mapred.system.dir的值所指的路径是HDFS的绝对路径，它和https://www.wendangku.net/doc/7a4214290.html,参数一起构成了绝对URI，例如参数值/tmp/hadoop/mapred/system最终将对应的是绝对URI：
hdfs://gc04vm12:9000/tmp/hadoop/mapred/system
6.1.8 Hadoop相关命令
Hadoop提供一系列的命令，在bin中，例如bin/hadoop fs –x；bin/hadoop namenode –x等等。其中有些命令只能在namenode上执行。
bin下还有一些控制脚本，例如start-all.sh、start-mapred.sh、start-dfs.sh等等。数据节点上运行start-all.sh将会只启动本节点上的进程，如datanode、tasktracker。
6.2 客户机提交作业到集群
6.2.1 客户机配置
可以在客户机上向Hadoop集群提交作业。
(1)选择一台机器，该机器可以是Hadoop集群中的节点，也可以是集群之外的机器。下面说明在集群之外的客户机上如何向hadoop提交作业，集群之内的节点省去配置过程。
14
(2)集群之外的机器请保证和Hadoop集群是网络连通的，并且安装了Hadoop(解压安装包即可)并在conf/hadoop-site.xml中做了相关配置，至少配
提交作业。
6.2.2 一个测试例子WordCount
计算输入文本中词语数量的程序WordCount在Hadoop主目录下的java程序包hadoop-0.19.1-examples.jar中，执行步骤如下：
(1)上传数据到HDFS中
bin/hadoop fs -mkdir mytest
bin/hadoop fs -copyFromLocal /home/hadoop/mytest/input1
bin/hadoop fs -copyFromLocal /home/hadoop/mytest/input2
(2)执行命令，提交作业
bin/hadoop jar hadoop-0.19.1-examples.jar wordcount mytest/* output
命令执行完毕，在页面http://namenodeip:50030/中能够看到作业执行情况。
(3)程序输出
程序将统计mytest目录下的所有文本文件中词语的数量，并将结果输出到hdfs的output目录下的part-00000文件中。这里的output目录是程序生成的
15
目录，程序运行前不可存在。执行以下命令可以查看结果。
bin/hadoop fs -cat output/part-00000
6.2.3 编写Hadoop应用程序并在集群上运行
这里介绍一个向HDFS中写入数据的例子(注意不是MR程序)来说明编写Hadoop应用程序并放到集群上运行的步骤。
(1)客户端编写应用程序并编译运行，进行测试。
编写程序一般需要引入hadoop相关jar包或者直接使用hadoop整个程序包，相关代码见附录。
(2)打包应用程序
在eclipse中打包成jar文件存储到相应目录下，例如/hadoop/ jarseclipse/dfsOperator.jar。
(3)上传数据到HDFS
bin/hadoop fs –copyFromLocal local dst
本实例中不需要上传数据，一般的程序都涉及输入数据。
(4)执行应用程序
bin/hadoop jar x.jar jar包中主类名 [输入参数] [输出参数]
这里使用的命令是:
bin/hadoop jar ~/jarseclipse/dfsOperator.jar DFSOperator
6.2.4 三种模式下编译运行Hadoop应用程序
集群是完全分布式环境，Hadoop的MR程序将以作业的形式提交到集群中运行。我们在客户端编写Hadoop应用程序时一般是在伪分布式模式或单击模式下进行编译，然后将编译无误的程序打成包提交到Hadoop集群中，当然我们仍可直接让程序在Hadoop集群中编译。
(1)让Hadoop应用程序在直接在集群中编译
将hadoop整个包导入eclipse中，配置hadoop-site.xml文件如下：
16
编写应用程序，编译运行，此时程序将直接在Hadoop集群中运行。此种方法在开发中不建议使用，以防止破坏集群环境。
(2)单机模式下编译Hadoop应用程序
将hadoop整个包导入eclipse中， hadoop-site.xml文件不做任何配置，保留默认的空配置。
单机模式下运行Hadoop应用程序时，程序使用的是本地文件系统。
(3)伪分布式模式下编译Hadoop应用程序
在单机上配置Hadoop伪分布式模式，配置文件hadoop-site.xml如下：
17
18
使用bin/start-all.sh 启动伪分布式集群。
将hadoop 整个包导入eclipse 中，并将hadoop-site.xml
文件配置为以上一样的内容。（或者直接将上面的hadoop 目录导入eclipse 中）。
编写应用程序并运行，此时程序将在伪分布式模式下运行，使用的是HDFS 。
6.2.5 提交多个作业到集群
提交一个后，可以继续提交，这样集群中将有多个作业，Hadoop 有一个作业队列，可以在以下网址中查看。
http://10.10.97.142:50030/jobqueue_details.jsp?queueName=default
涉及多个作业时，Hadoop 将对作业进行调度，默认调度方式是基于优先级的FIFO 方式。
更改作业优先级命令
作业优先级有五种：VERY_HIGH HIGH NORMAL LOW VERY_LOW 例如：
bin/hadoop job -set-priority job_201005210042_0074 VERY_HIGH
附程序
Apache所有开源项目下载地址是：https://www.wendangku.net/doc/7a4214290.html,/dist/
19
20
hadoop2.7.2 伪分布式安装
hadoop：建立一个单节点集群伪分布式操作 安装路径为：/opt/hadoop-2.7.2.tar.gz 解压hadoop: tar -zxvf hadoop-2.7.2.tar.gz 配置文件 1. etc/hadoop/hadoop-env.sh export JAVA_HOME=/opt/jdk1.8 2. etc/hadoop/core-site.xml
Hadoop集群MYSQL的安装指南
前言 本篇主要介绍在大数据应用中比较常用的一款软件Mysql，我相信这款软件不紧紧在大数据分析的时候会用到，现在作为开源系统中的比较优秀的一款关系型开源数据库已经被很多互联网公司所使用，而且现在正慢慢的壮大中。 在大数据分析的系统中作为离线分析计算中比较普遍的两种处理思路就是：1、写程序利用 mapper-Reducer的算法平台进行分析；2、利用Hive组件进行书写Hive SQL进行分析。 第二种方法用到的Hive组件存储元数据最常用的关系型数据库最常用的就是开源的MySQL了，这也是本篇最主要讲解的。 技术准备 VMware虚拟机、CentOS 6.8 64 bit、SecureCRT、VSFTP、Notepad++ 软件下载 我们需要从Mysql官网上选择相应版本的安装介质，官网地址如下： MySQL下载地址：https://www.wendangku.net/doc/7a4214290.html,/downloads/
默认进入的页面是企业版，这个是要收费的，这里一般建议选择社区开源版本，土豪公司除外。
然后选择相应的版本，这里我们选择通用的Server版本，点击Download下载按钮，将安装包下载到本地。 下载完成，上传至我们要安装的系统目录。 这里，需要提示下，一般在Linux系统中大型公用的软件安装在/opt目录中，比如上图我已经安装了Sql Server On linux，默认就安装在这个目录中，这里我手动创建了mysql目录。 将我们下载的MySQL安装介质，上传至该目录下。
安装流程 1、首先解压当前压缩包，进入目录 cd /opt/mysql/ tar -xf mysql-5.7.16-1.el7.x86_64.rpm-bundle.tar 这样，我们就完成了这个安装包的解压。 2、创建MySql超级管理用户 这里我们需要单独创建一个mySQL的用户，作为MySQL的超级管理员用户，这里也方便我们以后的管理。 groupaddmysql 添加用户组 useradd -g mysqlmysql 添加用户 id mysql 查看用户信息。
hadoop伪分布式搭建2.0
1. virtualbox安装 1. 1. 安装步骤 1. 2. virtualbox安装出错情况 1. 2.1. 安装时直接报发生严重错误 1. 2.2. 安装好后，打开Vitualbox报创建COM对象失败，错误情况1 1. 2.3. 安装好后，打开Vitualbox报创建COM对象失败，错误情况2 1. 2.4. 安装将要成功，进度条回滚，报“setup wizard ended prematurely”错误 2. 新建虚拟机 2. 1. 创建虚拟机出错情况 2. 1.1. 配制好虚拟光盘后不能点击OK按钮 3. 安装Ubuntu系统 3. 1. 安装Ubuntu出错情况 3. 1.1. 提示VT-x/AMD-V硬件加速在系统中不可用 4. 安装增强功能 4. 1. 安装增强功能出错情况 4. 1.1. 报未能加载虚拟光盘错误 5. 复制文件到虚拟机 5. 1. 复制出错情况 5. 1.1. 不能把文件从本地拖到虚拟机 6. 配置无秘登录ssh 7. Java环境安装 7. 1. 安装Java出错情况 7. 1.1. 提示不能连接 8. hadoop安装 8. 1. 安装hadoop的时候出错情况 8. 1.1. DataNode进程没启动 9. 开机自启动hadoop 10. 关闭服务器（需要时才关） 1. virtualbox安装 1. 1. 安装步骤 1.选择hadoop安装软件中的VirtualBox-6.0.8-130520-Win
2.双击后进入安装界面，然后直接点击下一步 3.如果不想把VirtualBox安装在C盘，那么点击浏览
(完整版)hadoop常见笔试题答案
Hadoop测试题 一．填空题，1分（41空），2分（42空）共125分 1.(每空1分) datanode 负责HDFS数据存储。 2.(每空1分)HDFS中的block默认保存 3 份。 3.(每空1分)ResourceManager 程序通常与NameNode 在一个节点启动。 4.(每空1分)hadoop运行的模式有：单机模式、伪分布模式、完全分布式。 5.(每空1分)Hadoop集群搭建中常用的4个配置文件为：core-site.xml 、hdfs-site.xml 、mapred-site.xml 、yarn-site.xml 。 6.(每空2分)HDFS将要存储的大文件进行分割，分割后存放在既定的存储块 中，并通过预先设定的优化处理，模式对存储的数据进行预处理，从而解决了大文件储存与计算的需求。 7.(每空2分)一个HDFS集群包括两大部分，即namenode 与datanode 。一般来说，一 个集群中会有一个namenode 和多个datanode 共同工作。 8.(每空2分) namenode 是集群的主服务器，主要是用于对HDFS中所有的文件及内容 数据进行维护，并不断读取记录集群中datanode 主机情况与工作状态，并通过读取与写入镜像日志文件的方式进行存储。 9.(每空2分) datanode 在HDFS集群中担任任务具体执行角色，是集群的工作节点。文 件被分成若干个相同大小的数据块，分别存储在若干个datanode 上，datanode 会定期向集群内namenode 发送自己的运行状态与存储内容，并根据namnode 发送的指令进行工作。 10.(每空2分) namenode 负责接受客户端发送过来的信息，然后将文件存储位置信息发 送给client ，由client 直接与datanode 进行联系，从而进行部分文件的运算与操作。 11.(每空1分) block 是HDFS的基本存储单元，默认大小是128M 。 12.(每空1分)HDFS还可以对已经存储的Block进行多副本备份，将每个Block至少复制到 3 个相互独立的硬件上，这样可以快速恢复损坏的数据。 13.(每空2分)当客户端的读取操作发生错误的时候，客户端会向namenode 报告错误，并 请求namenode 排除错误的datanode 后，重新根据距离排序，从而获得一个新的的读取路径。如果所有的datanode 都报告读取失败，那么整个任务就读取失败。14.(每空2分)对于写出操作过程中出现的问题，FSDataOutputStream 并不会立即关闭。 客户端向Namenode报告错误信息，并直接向提供备份的datanode 中写入数据。备份datanode 被升级为首选datanode ，并在其余2个datanode 中备份复制数据。 NameNode对错误的DataNode进行标记以便后续对其进行处理。 15.(每空1分)格式化HDFS系统的命令为：hdfs namenode –format 。 16.(每空1分)启动hdfs的shell脚本为：start-dfs.sh 。 17.(每空1分)启动yarn的shell脚本为：start-yarn.sh 。 18.(每空1分)停止hdfs的shell脚本为：stop-dfs.sh 。 19.(每空1分)hadoop创建多级目录（如：/a/b/c）的命令为：hadoop fs –mkdir –p /a/b/c 。 20.(每空1分)hadoop显示根目录命令为：hadoop fs –lsr 。 21.(每空1分)hadoop包含的四大模块分别是：Hadoop common 、HDFS 、
Hadoop全分布式安装配置
Hadoop全分布式安装配置 一实验目的： 1、了解Hadoop的体系结构、组成； 2、熟练掌握Hadoop的配置、安装方法； 3、通过安装Hadoop了解Hadoop的原理； 二实验内容： 集群包含三个安装了Linux操作系统的节点。将其中的一个节点作为NameNode，另外两个节点作为DataNode，安装之前先利用ping命令，确认三个节点之间的网络互通，即可以互相ping通。假设三个节点IP地址如下，实际的集群节点IP地址可以不同。 NameNode：192.168.198.2 主机名：master DataNode1：192.168.198.3 主机名：slaver1 DataNode2：192.168.198.4 主机名：slaver2 三实验环境： 在申请的虚拟服务器上安装了VMWare Workstation虚拟3个Ubuntu14.04系统。 四安装配置过程： 1、安装Vmware WorkStation软件 下载安装Vmware WorkStation12.0软件。 2、在虚拟机上安装linux操作系统 在Vmware WorkStation12.0中创建一个Ubuntu14.04系统。拷贝镜像文件复制出三个系统。分别为master、slaver1、slaver2。 3、配置hosts、hostname文件
在三台机器上配置相同的hosts文件 （1）修改hosts sudo gedit /etc/hosts 192.168.198.200 master 192.168.198.199 slave1 192.168.198.198 slave2 （2）修改hostname sudo gedit /etc/hostname 4、配置ip地址 配置ip：sudo gedit /etc/network/interfaces slave2 auto eth0 iface eth0 inet static address 192.168.198.198 gateway 192.168.198.107 netmask 255.255.255.0 slave1 auto eth0 iface eth0 inet static address 192.168.198.199 gateway 192.168.198.107 netmask 255.255.255.0 master auto eth0 iface eth0 inet static address 192.168.198.200 gateway 192.168.198.107 netmask 255.255.255.0
Hadoop试题题库
1.以下哪一项不属于 A. 单机（本地）模式 B. 伪分布式模式 C. 互联模式 D. 分布式模式 Hadoop 可以运行的模式 2. Hado op 的作者是下面哪一位 A. Marti n Fowler B. Doug cutt ing C. Kent Beck D. Grace Hopper A. TaskTracker B. DataNode C. Secon daryNameNode D. Jobtracker 4. HDFS 默认Block Size 的大小是 A. 32MB B. 64MB C. 128MB D. 256M 5.下列哪项通常是集群的最主要瓶颈 A. CPU 8. HDFS 是基于流数据模式访问和处理超大文件的需求而开发的，具有高容错、高可靠性、 高可扩展性、高吞吐率等特征，适合的读写任务是 _D ______ o 3.下列哪个程序通常与 NameNode 在同一个节点启动 B. C. D. 网络 磁盘IO 内存 6. F 列关于 A. Map Reduce B. Map Reduce C. Map Reduce D. Map Reduce Map Reduce 说法不正确的是 _ 是一种计算框架 来源于google 的学术论文 程序只能用 java 语言编写 隐藏了并行计算的细节，方便使用
A.—次写入， B.多次写入， C.多次写入， D.—次写入，少次读少次读
7. HBase依靠 A ________ 存储底层数据。 A. HDFS B.Hadoop C.Memory D. Map Reduce 8. HBase依赖 D 提供强大的计算能力。 A. Zookeeper B.Chubby C.RPC D. Map Reduce 9. HBase依赖 A 提供消息通信机制 A.Zookeeper B.Chubby C. RPC D. Socket 10.下面与 HDFS类似的框架是 A. NTFS B. FAT32 C. GFS D. EXT3 11.关于 SecondaryNameNode 下面哪项是正确的 A.它是NameNode的热备 B.它对内存没有要求 C.它的目的是帮助 NameNode合并编辑日志，减少NameNode启动时间 D.SecondaryNameNode 应与 NameNode 部署到一个节点 12.大数据的特点不包括下面哪一项巨大 的数据量多结构化数据 A. B. C. D. 增长速度快价值密度高
Hadoop最全面试题整理(附目录)
Hadoop面试题目及答案(附目录) 选择题 1.下面哪个程序负责HDFS 数据存储。 a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker 答案C datanode 2. HDfS 中的block 默认保存几份？ a)3 份b)2 份c)1 份d)不确定 答案A 默认3 份 3.下列哪个程序通常与NameNode 在一个节点启动？ a)SecondaryNameNode b)DataNode c)TaskTracker d)Jobtracker 答案D 分析：hadoop 的集群是基于master/slave 模式，namenode 和jobtracker 属于master，datanode 和tasktracker 属于slave，master 只有一个，而slave 有多个SecondaryNameNode 内存需求和NameNode 在一个数量级上，所以通常secondaryNameNode（运行在单独的物理机器上）和NameNode 运行在不同的机器上。 JobTracker 和TaskTracker JobTracker 对应于NameNode，TaskTracker 对应于DataNode，DataNode 和NameNode 是针对数据存放来而言的，JobTracker 和TaskTracker 是对于MapReduce 执行而言的。mapreduce 中几个主要概念，mapreduce 整体上可以分为这么几条执行线索：jobclient，JobTracker 与TaskTracker。 1、JobClient 会在用户端通过JobClient 类将应用已经配置参数打包成jar 文件存储到hdfs，并把路径提交到Jobtracker,然后由JobTracker 创建每一个Task（即MapTask 和ReduceTask）并将它们分发到各个TaskTracker 服务中去执行。 2、JobTracker 是一个master 服务，软件启动之后JobTracker 接收Job，负责调度Job 的每一个子任务task 运行于TaskTracker 上，并监控它们，如果发现有失败的task 就重新运行它。一般情况应该把JobTracker 部署在单独的机器上。 3、TaskTracker 是运行在多个节点上的slaver 服务。TaskTracker 主动与JobTracker 通信，接收作业，并负责直接执行每一个任务。TaskTracker 都需要运行在HDFS 的DataNode 上。 4. Hadoop 作者 a)Martin Fowler b)Kent Beck c)Doug cutting 答案C Doug cutting 5. HDFS 默认Block Size a)32MB b)64MB c)128MB 答案：B 6. 下列哪项通常是集群的最主要瓶颈 a)CPU b)网络c)磁盘IO d)内存 答案：C 磁盘 首先集群的目的是为了节省成本，用廉价的pc 机，取代小型机及大型机。小型机和大型机
在windows下安装hadoop
在windows下通过安装cygwin模拟linux环境，然后再安装hadoop，是一种简单方便的方式。 首先是搭建cygwin环境： 一、安装cygwin 二、安装sshd服务 三、启动sshd服务 四、配置ssh无密码登录 一、此处无话可说，按照网上的文档，选择必要的组件即可。 二、 1 以管理员身份运行cygwin 2 输入：ssh-host-config 有关键的两步：*** Query: Do you want to use a different name? (yes/no)选择yes *** Query: Create new privileged user account 'cyg_server'? (yes/no) 选择yes 创建的用户名最好为新的用户名，密码最好与windows用户的密码一致 三、在开始菜单运ervices.msc或其他手段进入服务列表，找到cygwin sshd服务，查看属性是否为上一步的用户名登陆的，否则更改之。此时可能不能启动，需要在计算机右击“管理”，用户和组的管理中将上面的用户加入管理员的组，即授予管理员权限。 四、此时使用ssh服务，即输入：ssh localhost会要求输入密码，若显示为“last login:......”则说明已经正确安装ssh服务并且可以启动。 接下来是配置ssh的无密码登陆： 1输入：ssh-keygen （一直回车，一般是三次回车） 2 输入：cd ~/.ssh 3 输入：cp id_rsa.pub authorized_keys 此时输入exit退出cygwin，再次以管理员身份进入cygwin，输入ssh localhost，若没有要求输入密码便显示“last login.....”则说明成功了。 接下来是安装Hadoop： 一、安装JDK 二、下载hadoop及配置hadoop环境 三、格式化namenode 四、启动hadoop
hadoop集群完整配置过程详细笔记
本文为笔者安装配置过程中详细记录的笔记 1．下载hadoop hadoop-2.7.1.tar.gz hadoop-2.7.1-src.tar.gz 64位linux需要重新编译本地库 2．准备环境 Centos6.4 64位，3台 hadoop0 192.168.1.151namenode hadoop1 192.168.1.152 datanode1 Hadoop2 192.168.1.153 datanode2 1）安装虚拟机： vmware WorkStation 10，创建三台虚拟机，创建时，直接建立用户ha,密码111111.同时为root密码。网卡使用桥接方式。 安装盘 、 2). 配置IP.创建完成后，设置IP,可以直接进入桌面，在如下菜单下配置IP,配置好后，PING 确认好用。 3)更改三台机器主机名 切换到root用户，更改主机名。 [ha@hadoop0 ~]$ su - root Password: [root@hadoop0 ~]# hostname hadoop0 [root@hadoop0 ~]# vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop0 以上两步后重启服务器。三台机器都需要修改。 4）创建hadoop用户 由于在创建虚拟机时，已自动创建，可以省略。否则用命令创建。
5）修改hosts文件 [root@hadoop0 ~]# vi /etc/hosts 127.0.0.1 localhostlocalhost.localdomain localhost4 localhost4.localdomain4 ::1localhostlocalhost.localdomain localhost6 localhost6.localdomain6 192.168.1.151 hadoop0 192.168.1.152 hadoop1 192.168.1.153 hadoop2 此步骤需要三台机器都修改。 3．建立三台机器间，无密码SSH登录。 1）三台机器生成密钥，使用hadoop用户操作 [root@hadoop0 ~]# su– ha [ha@hadoop0 ~]$ ssh -keygen -t rsa 所有选项直接回车，完成。 以上步骤三台机器上都做。 2）在namenode机器上，导入公钥到本机认证文件 [ha@hadoop0 ~]$ cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys 3）将hadoop1和hadoop2打开/home/ha/.ssh/ id_rsa.pub文件中的内容都拷贝到hadoop0的/home/ha /.ssh/authorized_keys文件中。如下： 4）将namenode上的/home/ha /.ssh/authorized_keys文件拷贝到hadoop1和hadoop2的/home/ha/.ssh文件夹下。同时在三台机器上将authorized_keys授予600权限。 [ha@hadoop1 .ssh]$ chmod 600 authorized_keys 5）验证任意两台机器是否可以无密码登录，如下状态说明成功，第一次访问时需要输入密码。此后即不再需要。 [ha@hadoop0 ~]$ ssh hadoop1 Last login: Tue Aug 11 00:58:10 2015 from hadoop2 4．安装JDK1.7 1）下载JDK（32或64位），解压 [ha@hadoop0 tools]$ tar -zxvf jdk-7u67-linux-x64.tar.gz 2）设置环境变量（修改/etx/profile文件）， export JAVA_HOME=/usr/jdk1.7.0_67 export CLASSPATH=:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin 3）使环境变量生效，然后验证JDK是否安装成功。
Hadoop试题试题库
1. 以下哪一项不属于Hadoop可以运行的模式___C___。 A. 单机（本地）模式 B. 伪分布式模式 C. 互联模式 D. 分布式模式 2. Hadoop 的作者是下面哪一位__B____。 A. Martin Fowler B. Doug cutting C. Kent Beck D. Grace Hopper 3. 下列哪个程序通常与NameNode 在同一个节点启动__D___。 A. TaskTracker B. DataNode C. SecondaryNameNode D. Jobtracker 4. HDFS 默认Block Size 的大小是___B___。 A.32MB B.64MB C.128MB D.256M 5. 下列哪项通常是集群的最主要瓶颈____C__。 A. CPU B. 网络 C. 磁盘IO D. 内存 6. 下列关于MapReduce说法不正确的是_____C_。 A. MapReduce 是一种计算框架 B. MapReduce 来源于google 的学术论文 C. MapReduce 程序只能用java 语言编写 D. MapReduce 隐藏了并行计算的细节，方便使用 8. HDFS 是基于流数据模式访问和处理超大文件的需求而开发的，具有高容错、高可靠性、高可扩展性、高吞吐率等特征，适合的读写任务是__D____。 A．一次写入，少次读 B．多次写入，少次读 C．多次写入，多次读 D．一次写入，多次读
7. HBase 依靠__A____存储底层数据。 A. HDFS B. Hadoop C. Memory D. MapReduce 8. HBase 依赖___D___提供强大的计算能力。 A. Zookeeper B. Chubby C. RPC D. MapReduce 9. HBase 依赖___A___提供消息通信机制 A. Zookeeper B. Chubby C. RPC D. Socket 10. 下面与HDFS类似的框架是___C____？ A. NTFS B. FAT32 C. GFS D. EXT3 11. 关于SecondaryNameNode 下面哪项是正确的___C___。 A. 它是NameNode 的热备 B. 它对内存没有要求 C. 它的目的是帮助NameNode 合并编辑日志，减少NameNode 启动时间 D. SecondaryNameNode 应与NameNode 部署到一个节点 12. 大数据的特点不包括下面哪一项___D___。 A. 巨大的数据量 B. 多结构化数据 C. 增长速度快 D. 价值密度高 HBase测试题 9. HBase 来源于哪一项？ C
Hadoop云计算平台搭建最详细过程(共22页)
Hadoop云计算平台及相关组件搭建安装过程详细教程 ——Hbase+Pig+Hive+Zookeeper+Ganglia+Chukwa+Eclipse等 一．安装环境简介 根据官网，Hadoop已在linux主机组成的集群系统上得到验证，而windows平台是作为开发平台支持的，由于分布式操作尚未在windows平台上充分测试，所以还不作为一个生产平台。Windows下还需要安装Cygwin，Cygwin是在windows平台上运行的UNIX模拟环境，提供上述软件之外的shell支持。 实际条件下在windows系统下进行Hadoop伪分布式安装时，出现了许多未知问题。在linux系统下安装，以伪分布式进行测试，然后再进行完全分布式的实验环境部署。Hadoop完全分布模式的网络拓补图如图六所示： （1）网络拓补图如六所示： 图六完全分布式网络拓补图 （2）硬件要求：搭建完全分布式环境需要若干计算机集群，Master和Slaves 处理器、内存、硬盘等参数要求根据情况而定。 （3）软件要求 操作系统64位版本:
并且所有机器均需配置SSH免密码登录。 二． Hadoop集群安装部署 目前，这里只搭建了一个由三台机器组成的小集群，在一个hadoop集群中有以下角色：Master和Slave、JobTracker和TaskTracker、NameNode和DataNode。下面为这三台机器分配IP地址以及相应的角色： ——master，namenode，jobtracker——master（主机名） ——slave，datanode，tasktracker——slave1（主机名） ——slave，datanode，tasktracker——slave2（主机名） 实验环境搭建平台如图七所示：
hadoop3安装和配置
hadoop3.0.0安装和配置1.安装环境 硬件：虚拟机 操作系统：Centos 7 64位 IP：192.168.0.101 主机名：dbp JDK：jdk-8u144-linux-x64.tar.gz Hadoop：hadoop-3.0.0-beta1.tar.gz 2.关闭防火墙并配置主机名 [root@dbp]#systemctl stop firewalld #临时关闭防火墙 [root@dbp]#systemctl disable firewalld #关闭防火墙开机自启动 [root@dbp]#hostnamectl set-hostname dbp 同时修改/etc/hosts和/etc/sysconfig/network配置信息 3.配置SSH无密码登陆 [root@dbp]# ssh-keygen -t rsa #直接回车 [root@dbp]# ll ~/.ssh [root@dbp .ssh]# cp id_rsa.pub authorized_keys [root@dbp .ssh]# ssh localhost #验证不需要输入密码即可登录
4.安装JDK 1、准备jdk到指定目录 2、解压 [root@dbp software]# tar–xzvf jdk-8u144-linux-x64.tar.gz [root@dbp software]# mv jdk1.8.0_144/usr/local/jdk #重命名4、设置环境变量 [root@dbp software]# vim ~/.bash_profile 5、使环境变量生效并验证 5.安装Hadoop3.0.0 1、准备hadoop到指定目录 2、解压
07 hadoop完全分布式安装第七步：zookeeper分布式配置
实验七 zookeeper分布式的配置 tar -zxvf zookeeper-3.4.5.tar.gz mv zookeeper-3.4.5 zookeeper cd zookeeper mkdir data mkdir logs 三、集群模式 集群模式就是在不同主机上安装zookeeper然后组成集群的模式；下边以在192.168.1.1，192.168.1.2，192.168.1.3三台主机为例。 zookeeper 配置 1.Zookeeper服务集群规模不小于三个节点，要求各服务之间系统时间要保持一致。 2.在master的/home/chenlijun目录下，解压缩zookeeper（执行命令tar –zvxf zooke eper.tar.gz） 3.设置环境变量 打开/etc/profile文件！内容如下：
[html]view plain copy 1.#set java & hadoop 2. 3.export JAVA_HOME=/home/chenlijun/java/ 4. 5.export HADOOP_HOME=/home/chenlijun/hadoop 6. 7.export ZOOKEEPER_HOME=/home/chenlijun/zookeeper 8. 9.export PATH=.:$HADOOP_HOME/bin:$ZOOKEEPER_HOME/bin:$JAVA_HOME/bin:$PATH 注：修改完后profile记得执行source /etc/profile 4.在解压后的zookeeper的目录下进入conf目录修改配置文件 更名操作：mv zoo_sample.cfg zoo.cfg 5.编辑zoo.cfg (vi zoo.cfg) 修改dataDir=/home/chenlijun/zookeeper/data/ 新增server.0=master:2888:3888 server.1=slave1:2888:3888 server.2=slave2:2888:3888 文件如下：
Hadoop入门—Linux下伪分布式计算的安装与wordcount的实例展示
开始研究一下开源项目hadoop，因为根据本人和业界的一些分析，海量数据的分布式并行处理是趋势，咱不能太落后，虽然开始有点晚，呵呵。首先就是安装和一个入门的小实例的讲解，这个恐怕是我们搞软件开发的，最常见也最有效率地入门一个新鲜玩意的方式了，废话不多说开始吧。 本人是在ubuntu下进行实验的，java和ssh安装就不在这里讲了，这两个是必须要安装的，好了我们进入主题安装hadoop： 1.下载hadoop-0.20.1.tar.gz： https://www.wendangku.net/doc/7a4214290.html,/dyn/closer.cgi/hadoop/common/ 解压：$ tar –zvxf hadoop-0.20.1.tar.gz 把Hadoop 的安装路径添加到环/etc/profile 中: export HADOOP_HOME=/home/hexianghui/hadoop-0.20.1 export PATH=$HADOOP_HOME/bin:$PATH 2.配置hadoop hadoop 的主要配置都在hadoop-0.20.1/conf 下。 (1)在conf/hadoop-env.sh 中配置Java 环境(namenode 与datanode 的配置相同)： $ gedit hadoop-env.sh $ export JAVA_HOME=/home/hexianghui/jdk1.6.0_14 3.3)配置conf/core-site.xml, conf/hdfs-site.xml 及conf/mapred-site.xml(简单配置，datanode 的配置相同) core-site.xml:
hadoop安装简要过程和相关配置文件
Hadoop安装简要过程及配置文件 1、机器准备 ①、Linux版操作系统centos 6.x ②、修改主机名，方便配置过程中记忆。修改文件为： /etc/sysconfig/network 修改其中的HOSTNAME即可 ③、配置局域网内，主机名与对应ip，并且其中集群中所有的机器的文件相同，修改文件为 /etc/hosts 格式为： 10.1.20.241 namenode 10.1.20.242 datanode1 10.1.20.243 datanode2 2、环境准备 ①、配置ssh免密码登陆，将集群中master节点生成ssh密码文件。具体方法： 1）、ssh-keygen -t rsa 一直回车即可,将会生成一份 ~/.ssh/ 文件夹，其中id_rsa为私钥文件 id_rsa.pub公钥文件。 2）、将公钥文件追加到authorized_keys中然后再上传到其他slave节点上 追加文件： cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 上传文件： scp ~/.ssh/authorized_keys root@dananode:~/.ssh/ 3）、测试是否可以免密码登陆：ssh 主机名或局域网ip ②、配置JDK ③、创建hadoop用户 groupadd hadoop useradd hadoop -g hadoop 4)、同步时间 ntpdate https://www.wendangku.net/doc/7a4214290.html, 5）、关闭防火墙 service iptables stop 3、安装cdh5 进入目录/data/tools/ (个人习惯的软件存储目录，你可以自己随便选择)； wget "https://www.wendangku.net/doc/7a4214290.html,/cdh5/one-click-install/redhat/ 6/x86_64/cloudera-cdh-5-0.x86_64.rpm" yum --nogpgcheck localinstall cloudera-cdh-5-0.x86_64.rpm 添加cloudera仓库验证： rpm --importhttps://www.wendangku.net/doc/7a4214290.html,/cdh5/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera
实验3 Hadoop安装与配置2-伪分布式
实验报告封面 课程名称： Hadoop大数据处理课程代码： JY1124 任课老师：宁穗实验指导老师: 宁穗 实验报告名称：实验3 Hadoop安装与配置2 学生： 学号： 教学班： 递交日期： 签收人： 我申明，本报告的实验已按要求完成，报告完全是由我个人完成，并没有抄袭行为。我已经保留了这份实验报告的副本。 申明人(签名): 实验报告评语与评分： 评阅老师签名：
一、实验名称：Hadoop安装与配置 二、实验日期：2015年9 月25 日 三、实验目的： Hadoop安装与配置。 四、实验用的仪器和材料： 安装环境:以下两个组合之一 1.硬件环境：存ddr3 4G及以上的x86架构主机一部 系统环境：windows 、linux或者mac os x 软件环境：运行vmware或者virtualbox (2) 存ddr 1g及以上的主机两部及以上 五、实验的步骤和方法： 本次实验重点在ubuntu中安装jdk以及hadoop。 一、关闭防火墙 sudo ufw disable iptables -F 二、jdk的安装 1、普通用户下添加grid用户
2、准备jdk压缩包，把jdk压缩包放到以上目录（此目录可自行设置） 3、将jdk压缩包解压改名 改名为jdk：mv jdk1.7.0_45 jdk 移动到/usr目录下：mv jdk /usr（此目录也可自行设置，但需与配置文件一致）4、设置jdk环境变量 此采用全局设置方法，更改/etc/profile文件 sudo gedit /etc/profile 添加（根据情况自行设置） export JA VA_HOME=/usr/jdk export JRE_HOME=/usr/ jdk/jre export CLASSPATH=.:$JA V A_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PA TH=$JA V A_HOME/bin: $JRE_HOME/ bin: $PATH 然后保存。 5、检验是否安装成功 java -version 二、ssh免密码 1、退出root用户，su grid 生成密钥 ssh-keygen –t rsa
Hadoop的安装与配置及示例wordcount的运行
Hadoop的安装与配置及示例程序 wordcount的运行 目录 前言 (1) 1 机器配置说明 (2) 2 查看机器间是否能相互通信（使用ping命令） (2) 3 ssh设置及关闭防火墙 (2) 1）fedora装好后默认启动sshd服务，如果不确定的话可以查一下[garon@hzau01 ~]$ service sshd status (3) 2）关闭防火墙（NameNode和DataNode都必须关闭） (3) 4 安装jdk1.6(集群中机子都一样) (3) 5 安装hadoop(集群中机子都一样) (4) 6 配置hadoop (4) 1）配置JA V A环境 (4) 2）配置conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml文件 (5) 3）将NameNode上完整的hadoop拷贝到DataNode上，可先将其进行压缩后直接scp 过去或是用盘拷贝过去 (7) 4）配置NameNode上的conf/masters和conf/slaves (7) 7 运行hadoop (7) 1）格式化文件系统 (7) 2）启动hadoop (7) 3）用jps命令查看进程，NameNode上的结果如下： (8) 4）查看集群状态 (8) 8 运行Wordcount.java程序 (8) 1）先在本地磁盘上建立两个文件f1和f2 (8) 2）在hdfs上建立一个input目录 (9) 3）将f1和f2拷贝到hdfs的input目录下 (9) 4）查看hdfs上有没有f1,f2 (9) 5)执行wordcount（确保hdfs上没有output目录） (9) 6）运行完成，查看结果 (9) 前言 最近在学习Hadoop，文章只是记录我的学习过程，难免有不足甚至是错误之处，请大家谅解并指正！Hadoop版本是最新发布的Hadoop-0.21.0版本，其中一些Hadoop命令已发生变化，为方便以后学习，这里均采用最新命令。具体安装及配置过程如下：
Hadoop安装手册_Hadoop2.0-v1.6
Hadoop2.0安装手册目录 第1章安装VMWare Workstation 10 (4) 第2章VMware 10安装CentOS 6 (10) 2.1 CentOS系统安装 (10) 2.2 安装中的关键问题 (13) 2.3 克隆HadoopSlave (17) 2.4 windows中安装SSH Secure Shell Client传输软件 (19) 第3章CentOS 6安装Hadoop (23) 3.1 启动两台虚拟客户机 (23) 3.2 Linux系统配置 (24) 3.2.1软件包和数据包说明 (25) 3.2.2配置时钟同步 (25) 3.2.3配置主机名 (26) 3.2.5使用setup 命令配置网络环境 (27) 3.2.6关闭防火墙 (29) 3.2.7配置hosts列表 (30) 3.2.8安装JDK (31) 3.2.9免密钥登录配置 (32) 3.3 Hadoop配置部署 (34) 3.3.1 Hadoop安装包解压 (34) 3.3.2配置环境变量hadoop-env.sh (34) 3.3.3配置环境变量yarn-env.sh (35) 3.3.4配置核心组件core-site.xml (35) 3.3.5配置文件系统hdfs-site.xml (35) 3.3.6配置文件系统yarn-site.xml (36) 3.3.7配置计算框架mapred-site.xml (37) 3.3.8 在master节点配置slaves文件 (37) 3.3.9 复制到从节点 (37) 3.4 启动Hadoop集群 (37) 3.4.1 配置Hadoop启动的系统环境变量 (38) 3.4.2 创建数据目录 (38) 3.4.3启动Hadoop集群 (38) 第4章安装部署Hive (44) 4.1 解压并安装Hive (44) 4.2 安装配置MySQL (45) 4.3 配置Hive (45) 4.4 启动并验证Hive安装 (46) 第5章安装部署HBase (49) 5.1 解压并安装HBase (49) 5.2 配置HBase (50) 5.2.1 修改环境变量hbase-env.sh (50) 5.2.2 修改配置文件hbase-site.xml (50) 5.2.3 设置regionservers (51)