第一篇：cent_OS_下hadoop完全分布式安裝-hadoop2.6.1版-親測自己總結
一、安裝Cent OS 6
1、首先，要有一張CentOS 6.4的安裝介質，使用介質啟動電腦出現如下界面 界面說明：
Install or upgrade an existing system 安裝或升級現有的系統(tǒng) install system with basic video driver 安裝過程中采用基本的顯卡驅動 Rescue installed system 進入系統(tǒng)修復模式 Boot from local drive 退出安裝從硬盤啟動 Memory test 內存檢測
注：用聯想E49安裝時選擇第一項安裝時會出現屏幕顯示異常的問題，后改用第二項安裝時就沒有出現問題
2、介質直接“skip”就可以了
3、出現引導界面，點擊“next”
4、選中“English（English）”否則會有部分亂碼問題
5、鍵盤布局選擇“U.S.English”
6、選擇“Basic Storage Devies“點擊”Next“
7、詢問是否忽略所有數據，新電腦安裝系統(tǒng)選擇”Yes,discard any data“
8、Hostname填寫格式“英文名.姓”
9、網絡設置安裝圖示順序點擊就可以了
這里可以不設置在安裝完畢后可以通過Linux命令進行設置
10、時區(qū)可以在地圖上點擊，選擇“shanghai”并取消System clock uses UTC前面的對勾
11、設置root的密碼（重要必須牢記密碼）
12、硬盤分區(qū)，一定要按照圖示點選
如果想安裝雙系統(tǒng)這里不能這么選，請查找資料進行選擇
13、調整分區(qū)，必須要有/home這個分區(qū)，如果沒有這個分區(qū)，安裝部分軟件會出現不能安裝的問題
14、詢問是否格式化分區(qū)
15、將更改寫入到硬盤
16、引導程序安裝位置
17、最重要的一步，也是本教程最關機的一步，也是其他教程沒有提及的一步，按圖示順序點擊
18、取消以下內容的所有選項
根據自己的需要進行選擇這些都是系統(tǒng)提供的一些工具可以選擇安裝這些工具 Applications Base System Servers 并對Desktops進行如下設置 即取消如下選項：
Desktop Debugging and Performance Tools Desktop Platform Remote Desktop Clients Input Methods中僅保留ibus-pinyin-1.3.8-1.el6.x86_64,其他的全部取消
19、選中Languages，并選中右側的Chinese Support然后點擊紅色區(qū)域
20、調整完成后如下圖所示
21、至此，一個最精簡的桌面環(huán)境就設置完成了，22、安裝完成，重啟
23、重啟之后，的License Information
24、Create User Username：填寫您的英文名（不帶.姓）Full Name：填寫您的英文名.姓（首字母大寫）
25、”Date and Time" 選中 “Synchronize data and time over the network” Finsh之后系統(tǒng)將重啟
26、第一次登錄，登錄前不要做任何更改，這個很重要！！登錄之后緊接著退出 第二次登錄，選擇語言，在紅色區(qū)域選擇下拉小三角，選other，選中“漢語（中國）”
27、登錄之后，請一定按照如下順序點擊！
至此，CentOS安裝完成，如有其他問題，請隨時與我聯系！
二、安裝hadoop 1.新建運行hadoop專屬用戶名cast503，修改主節(jié)點為master，從節(jié)點名稱為slave*
這里使用三臺主機進行搭建，分別為 Master 10.0.4.70 Slave1 10.0.4.71 Slave2 10.0.4.72 以下設置均在root權限下進行設置
2.將所有的主機進行組網 修改所有的主機文件
/etc/hosts
添加主機名稱和對應的IP，形式如下所示 127.0.0.1
localhostlocalhost.localdomain localhost4 localhost4.localdomain4 ::1localhostlocalhost.localdomain localhost6 localhost6.localdomain6 10.0.4.70 Master 10.0.4.71 Slave1 10.0.4.72 Slave2 2修改/etc/sysconfig/network-script/ifcgf-eth0 文件，定義網卡的IP DNS 工作組
IP地址類型（動態(tài)或者靜態(tài)）廣播地址等信息
注意當一臺主機有多張網卡時 /etc/sysconfig/netrok-script/ 文件中包含多個ifcgf-文件，修改接入網絡的那張網卡的對應文件，文件內容的正確與否直接關系到時否能正確組網
文件內容包括
DEVICE=eth0
#網卡名稱
BOOTPROTO=static #靜態(tài)/動態(tài)IP IPADDR=10.0.4.70 #網卡的IP地址 NETMASK=255.255.255.0 #子網掩碼 GATEWAY=192.168.0.1 #默認網關 TYPE=Ethernet 3 關閉防火墻（如果對防火墻有很好的認識可以對防火墻規(guī)則進行配置，在滿足Hadoop需要的同時增強系統(tǒng)的安全性，這里只介紹完全關閉防火墻）
關閉所有機器上的防火墻，不然會導致datanode起不來 臨時關閉：service iptables stop 永久關閉：chkconfig iptables off
經過上面步驟后，計算機組網已經完成，我們可以通過
ping IP地址/主機名如 ping 10.0.4.71 或者ping slave1的方式來驗證網絡是否聯通
3.安裝JDK
注意：各主機JDK安裝版本和安裝位置必須相同
JDK可以去Oracl官網進行下載，可以根據自己電腦安裝的是 Linux系統(tǒng)來選擇是 64位還是 32 位 JDK for Linux 這里以jdk-7u45-linux-x64.gz為例下載JDK 存放在 /home/cast503/ 目錄下 JDK安裝在/usr/java錄下（需要新建文件mkdir /usr/java 1進入/usr/java文件 cd /usr/java 2解壓軟件包jdk-7u45-linux-x64.gzgunzip /home/cast503/jdk-7u45-linux-x64.gz 3解壓后會在 /usr/java/ 目錄下生成 jdk1.8.0_60 文件夾
4配置Java系統(tǒng)環(huán)境變量，在root權限下打開 /etc/profile 文件
vim /etc/profile 5在文件的末尾添加上如下內容(包含hadoop環(huán)境變量)export JAVA_HOME=/usr/java/jdk1.8.0_60 export HADOOP_HOME=/home/cast503/hadoop-2.6.1 export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH:$HADOOP_HOME/sbin export JRE_HOME=$JAVA_HOME/jre 6由于Linux系統(tǒng)默認安裝openJDK所以這里要修改默認JDK為我們安裝的JDK 在cast503賬戶下輸入下列命令
sudo update-alternatives-install /usr/bin/javacjavac/user/java/jdk1.7.0_45/bin/javac 300(注意紅色部分是設置的JAVA_HOME的文件路徑，也就是Java的安裝路徑)Sudo update-alternatives--config java 會出現Linux中所有可用的JDK 我們選擇自己安裝的JDK 安回車鍵即可 7 查看Linux是否是我們安裝的JDK 輸入命令 Java-version
如果出現如下圖所示即為安裝成功
4配置SSH免密碼登錄
如果出現agent admitted failure to sign using the key 解決方式為使用ssh-add指令將私鑰加進來
ssh-add /home/cast503/.ssh/id_rsa.ssh目錄的權限為700
chmod 700 /home/cast503/.ssh authorized_keys文件的權限為600 chmod 600 /home/cast503/.ssh/authorized_keys
5.配置 hadoop 4.1.1 配置 hadoop-env.sh # cd /usr/lib/hadoop # vim etc/hadoop/hadoop-env.sh(注意，此處不是系統(tǒng)的 etc 目錄)將 JAVA_HOME 修改為剛才配置的位置
4.1.2 配置 core-site.xml # vim etc/hadoop/core-site.xml 添加以下內容：
6.啟動Hadoop 1.將master結點上配置好的hadoop文件夾拷貝到所有的slave結點上 以slave1為例：命令如下：
scp-r ~/hadoop-2.6.1 hadoop@slave1:~/ 安裝完成后，我們要格式化HDFS然后啟動集群所有節(jié)點。2.格式化HDFS文件系統(tǒng)的namenode（這里要進入hadoop-2.6.1目錄來格式化好些）： cd hadoop-2.6.1 //進入hadoop-2.6.1目錄 bin/hdfs namenode-format //格式化
3.啟動Hadoop集群 啟動hdrs命令如下：
sbin/start-dfs.sh //開啟進程
成功的話輸入jps會出現如下界面：
注：如果不能啟動，需要把 hadoop 目錄下 tmp、dfs 目錄刪除，重新格式化 NN再啟動
點擊咨詢 