1:找到並安裝默認安裝jdk
rpm -qa | grep java
2:刪除jdk
rpm-e-nodeps Java-1 . 6 . 0-open JDK-1 . 6 . 0 . 0-1 . 21 . b 17 . el6 . x86 _ 64
第二，安裝oracle jdk。
1:使用root帳戶安裝。
2.創建目錄:/usr/java
3.下載jdk並存儲在/usr/java目錄中:JDK-6U33-Linux-x64.bin
4:向安裝文件添加執行權限:
chmod +x jdk-6u43-linux-x64.bin
5:執行jdk安裝包
。/jdk-6u43-linux-x64.bin
6:在/etc/profile文件中添加環境變量。
Java代碼集合代碼
導出JAVA _ HOME =/usr/JAVA/JDK 1 . 6 . 0 _ 43
導出JRE_HOME=$JAVA_HOME/jre
導出類路徑=。:$ JAVA _ HOME/lib/dt . jar:$ JAVA _ HOME/lib/tools . jar:$ JRE _ HOME/lib/rt . jar
導出路徑=$PATH:$JAVA_HOME/bin
7:配置生效，執行以下命令。
來源/etc/配置文件
3:主機分配:在每臺機器的/etc/hosts文件中添加以下四行。
Java代碼集合代碼
192.168.205 . 23 in 1
192.168.205.24平方英寸
192.168.205.25立方米
192.168.205.26英寸4
192.168.205.27英寸5
192.168.205.28英寸6
192.168.205.29英寸7
192.168.205.30英寸8
192.168.205.31 in9
192.168.205 . 32 in 10
第四:關閉所有機器防火墻。
chkconfig iptables關閉
服務iptables停止
五:在每臺機器上創建壹個hadoop用戶組合hadoop用戶。
1:創建用戶組:groupadd hadoop
2.創建用戶:useradd -g hadoop
3.更改密碼:passwd hadoop
六:在master.hadoop機器上配置SSH。
Java代碼集合代碼
[Hadoop @ master ~]$ ssh-keygen-t RSA-P " "
輸入保存密鑰的文件(/home/hadoop/)。ssh/id_rsa): /home/hadoop/。ssh/id_rsa
【hadoop@master ~】貓$HOME/。ssh/id _ RSA . pub & gt；& gt$HOME/。ssh/授權密鑰
【Hadoop @ master ~】chmod 700 ~/。ssh/
【Hadoop @ master ~】chmod 600 ~/。ssh/authorized_key
確認
[hadoop@master ~]ssh localhost
[Hadoop @ master ~]ssh in 1
將ssh配置復制到其他機器
【Hadoop @ master ~】ssh-copy-id-I $ HOME/。ssh/id_rsa.pub hadoop@inm2
【Hadoop @ master ~】ssh-copy-id-I $ HOME/。ssh/id_rsa.pub hadoop@inm3
七:zookeeper三節點集群安裝
1:使用三臺服務器安裝zookeeper，安裝在hadoop用戶上。
192.168.205.24、192.168.205.25、192.168.205.26
2.使用cloudera版本動物園管理員:zookeeper-3.4.5-cdh4.2.0.tar.gz
3:解壓縮並修改目錄名
塔爾-zxf zookeeper-3.4.5-cdh4.2.0.tar.gz
mv動物園管理員-3.4.5-cdh4.2.0/動物園管理員
4.配置zookeeper，在conf目錄中創建zoo.cfg文件，並添加文件內容。
Java代碼集合代碼
售票時間=2000
initLimit=5
syncLimit=2
dataDir =/homt/Hadoop/storage/zookeeper/data
dataLogDir =/homt/Hadoop/storage/zookeeper/logs
客戶端端口=2181
server.1=inm2:2888:3888
server.2=inm3:2888:3888
server.3=inm4:2888:3888
5.創建zookeeper的數據文件和日誌存儲目錄。
/home/Hadoop/storage/zookeeper/data
/home/Hadoop/storage/zookeeper/logs
在/home/Hadoop/storage/zookeeper/data目錄下創建文件myid，添加內容為:1。
6:將安裝的zookeeper和存儲目錄復制到inm3和inm4機器上。
m4:/home/hadoop中的scp -r zookeeper
m4:/home/hadoop中的scp -r存儲
將inm3機器上的myid文件修改為值2。
將inm3機器上的myid文件修改為值3。
7:啟動服務器
。/bin/zkServer.sh start
8:驗證安裝
。/bin/ZK CLI . sh-server in m3:2181
八:安裝hadoop-2.0.0-cdh4.2.0。
用戶hadoop賬號進入系統。
1:解壓tar-xvzf hadoop-2.0.0-cdh4.2.0.tar.gz，修改目錄名:mv hadoop-2.0.0-cdh4.2.0 hadoop。
2.配置Hadoop環境變量:修改vi ~/。bashrc，並在文件末尾添加以下配置:
Java代碼集合代碼
導出HADOOP _ HOME =/HOME/HADOOP/HADOOP
導出HIVE_HOME=/home/hadoop/hive
導出HBASE_HOME=/home/hadoop/hbase
導出HADOOP _ map red _ HOME = $ { HADOOP _ HOME }
導出HADOOP _ COMMON _ HOME = $ { HADOOP _ HOME }
導出HADOOP _ HDFS _ HOME = $ { HADOOP _ HOME }
export YARN_HOME=${HADOOP_HOME}
導出HADOOP _ YARN _ HOME = $ { HADOOP _ HOME }
導出HADOOP _ CONF _目錄=${HADOOP_HOME}/etc/hadoop
導出HDFS _ CONF _目錄=${HADOOP_HOME}/etc/hadoop
export YARN _ CONF _目錄=${HADOOP_HOME}/etc/hadoop
導出路徑= $ PATH:$ HADOOP _ HOME/bin:$ HADOOP _ HOME/sbin:$ HBASE _ HOME/bin:$ HIVE _ HOME/bin
3:使配置有效
來源。bashrc
4.修改HADOOP_HOME/etc/hadoop目錄下的mastes和slaves文件。
主文件內容:
inm1
從屬文件內容:
inm2
inm3
inm4
5.修改Hadoop _ home/etc/Hadoop/core-site . XML的文件配置。
Java代碼集合代碼
& lt配置& gt
& lt屬性& gt
& lt名稱& gtfs.defaultFS & lt/name & gt；
& lt值& gtHDFS://INM 1:9000 & lt；/value & gt；
& lt/property & gt；
& lt屬性& gt
& lt名稱& gtio . file . buffer . size & lt；/name & gt；
& lt值& gt131072 & lt；/value & gt；
& lt描述& gt序列文件中使用的讀/寫緩沖區的大小。& lt/description & gt；
& lt/property & gt；
& lt屬性& gt
& lt名稱& gtio . native . lib . available & lt；/name & gt；
& lt值& gttrue & lt/value & gt；
& lt/property & gt；
& lt/configuration & gt；
6.修改Hadoop _ home/etc/Hadoop/HDFS-site . XML文件配置
Java代碼集合代碼
& lt配置& gt
& lt屬性& gt
& lt名稱& gtdfs.replication & lt/name & gt；
& lt值& gt3 & lt/value & gt；
& lt/property & gt；
& lt屬性& gt
& lt名稱& gtHadoop . tmp . dir & lt；/name & gt；
& lt值& gt/home/Hadoop/storage/Hadoop/tmp & lt；/value & gt；
& lt/property & gt；
& lt屬性& gt
& lt名稱& gtDFS . name . dir & lt；/name & gt；
& lt值& gt/home/Hadoop/storage/Hadoop/name & lt；/value & gt；
& lt/property & gt；
& lt屬性& gt
& lt名稱& gtDFS . data . dir & lt；/name & gt；
& lt值& gt/home/Hadoop/storage/Hadoop/data & lt；/value & gt；
& lt/property & gt；
& lt屬性& gt
& lt名稱& gtDFS . block . size & lt；/name & gt；
& lt值& gt67108864 & lt；/value & gt；
& lt描述& gt大型文件系統的HDFS塊大小為64MB。& lt/description & gt；
& lt/property & gt；
& lt屬性& gt
& lt名稱& gtdfs.namenode.mon/*,
$ HADOOP _ COMMON _ HOME/share/HADOOP/COMMON/lib/*，
$ HADOOP _ HDFS _ HOME/share/HADOOP/HDFS/*，$ HADOOP _ HDFS _ HOME/share/HADOOP/HDFS/lib/*，
$YARN_HOME/share/hadoop/yarn/*，$ YARN _ HOME/share/Hadoop/YARN/lib/*，
$ YARN _ HOME/share/Hadoop/MapReduce/*，$ YARN _ HOME/share/Hadoop/MapReduce/lib/* & lt；/value & gt；
& lt/property & gt；
& lt屬性& gt
& lt名稱& gtyarn . node manager . aux-services & lt；/name & gt；
& lt值& gtmapreduce.shuffle & lt/value & gt；
& lt/property & gt；
& lt屬性& gt
& lt名稱& gtyarn . node manager . aux-services . MapReduce . shuffle . class & lt；/name & gt；
& lt值& gtorg . Apache . Hadoop . map red . shuffle handler & lt；/value & gt；
& lt/property & gt；
& lt屬性& gt
& lt名稱& gtyarn . node manager . local-dirs & lt；/name & gt；
& lt值& gt/home/Hadoop/storage/yarn/local & lt；/value & gt；
& lt/property & gt；
& lt屬性& gt
& lt名稱& gtyarn . node manager . log-dirs & lt；/name & gt；
& lt值& gt/home/Hadoop/storage/yarn/logs & lt；/value & gt；
& lt/property & gt；
& lt屬性& gt
& lt描述& gt在哪裏聚合日誌& lt/description & gt；
& lt名稱& gtyarn . node manager . remote-app-log-dir & lt；/name & gt；
& lt值& gt/home/Hadoop/storage/yarn/logs & lt；/value & gt；
& lt/property & gt；
& lt屬性& gt
& lt名稱& gtyarn . app . MapReduce . am . staging-dir & lt；/name & gt；
& lt值& gt/user & lt；/value & gt；
& lt/property & gt；
& lt/configuration & gt；
9.將hadoop項目同步到INM2、INM3和INM4機器上。
Java代碼集合代碼
scp -r hadoop inm2:/home/hadoop
scp -r hadoop inm2:/home/hadoop
scp -r hadoop inm2:/home/hadoop
10:格式化文件系統
Java代碼集合代碼
hadoop namenode格式
11:啟動hdfs和yarn，啟動腳本在HADOOP_HOME/sbin目錄下。
。/start-hdfs.sh
。/start-yarn.sh
八:安裝hbase-0.94.2-cdh4.2.0。
1:解壓TAR-XVZF hbase-0.94.2-cdh4.2.0.tar.gz，修改目錄名:MV hbase-0.94.2-cdh4.2.0.tar.gz h base。
2.修改HBASE_HOME/conf/regionservers文件，並添加運行HRegionServer進程的機器的名稱。
Java代碼集合代碼
inm2
inm3
inm4
3.修改HBASE主頁/conf/hbase-site.xml文件。
Java代碼集合代碼
& lt配置& gt
& lt屬性& gt
& lt名稱& gthbase.rootdir & lt/name & gt；
& lt值& gtHDFS://INM 1/h base & lt；/value & gt；
& lt/property & gt；
& lt屬性& gt
& lt名稱& gth base . cluster . distributed & lt；/name & gt；
& lt值& gttrue & lt/value & gt；
& lt/property & gt；
& lt屬性& gt
& lt名稱& gth base . tmp . dir & lt；/name & gt；
& lt值& gt/home/Hadoop/storage/h base & lt；/value & gt；
& lt/property & gt；
& lt屬性& gt
& lt名稱& gth base . zookeeper . quorum & lt；/name & gt；
& lt值& gtinm2，inm3，inm4 & lt/value & gt；
& lt/property & gt；
& lt/configuration & gt；
4.將hbase項目同步到Inm2、Inm3和InM4機器。
Java代碼集合代碼
m2中的scp-r h base:/home/Hadoop
m2中的scp-r h base:/home/Hadoop
m2中的scp-r h base:/home/Hadoop
5:在inm1上啟動hbase集群。
Java代碼集合代碼
HBASE_HOME/bin/start-hbase.sh
6:執行hbase shell進入hbase控制臺。執行list命令來驗證安裝。
九:安裝Hive-0.10.0-CDH4.2.0。
1:提取tar-xvzhive-0.10.0-CD H4 . 2 . 0 . tar . gz，修改目錄名:mv hive-0.10.0-CD H4 . 2 . 0 hive。
2.修改HIVE_HOME/conf/hive-site.xml文件。
Java代碼集合代碼
& lt？xml version="1.0 "？& gt
& lt？XML-style sheet type = " text/xsl " href = " configuration . xsl "？& gt
& lt配置& gt
& lt屬性& gt
& lt名稱& gtjavax . jdo . option . connection URL & lt；/name & gt；
& lt值& gtJDBC:MySQL://192.168.205 . 31:3306/hive？useUnicode = true & amp字符編碼= UTF-8 & lt；/value & gt；
& lt描述& gtJDBC metastore的JDBC連接字符串& lt/description & gt；
& lt/property & gt；
& lt屬性& gt
& lt名稱& gtjavax . jdo . option . connection driver name & lt；/name & gt；
& lt值& gtcom . MySQL . JDBC . driver & lt；/value & gt；
& lt描述& gtJDBC metastore的驅動程序類名& lt/description & gt；
& lt/property & gt；
& lt屬性& gt
& lt名稱& gtjavax . jdo . option . connection用戶名& lt/name & gt；
& lt值& gthive & lt/value & gt；
& lt描述& gt用於metastore數據庫的用戶名& lt/description & gt；
& lt/property & gt；
& lt屬性& gt
& lt名稱& gtjavax . jdo . option . connection password & lt；/name & gt；
& lt值& gthive 2013 & lt；/value & gt；
& lt描述& gt用於metastore數據庫的密碼& lt/description & gt；
& lt/property & gt；
& lt屬性& gt
& lt名稱& gtmapred . job . tracker & lt；/name & gt；
& lt值& gtINM 1:8031 & lt；/value & gt；
& lt/property & gt；