hadoop要怎樣簡易說明？
- 教育綜合
- 2024-05-29 12:59:59
請簡要描述一下hadoop，spark，mpi三種計(jì)算框架的特點(diǎn)以及分別適用于什么樣的場景
Spark已經(jīng)取代Hadoop成為最活躍的開源大數(shù)據(jù)項(xiàng)目，但是，在選擇大數(shù)據(jù)框架時(shí)，企業(yè)不能因此就厚此薄彼 近日，著名大數(shù)據(jù)專家Bernard Marr在一篇文章中分析了Spark和 Hadoop 的異同 Hadoop和Spark均是大數(shù)據(jù)框架，都提供了一些執(zhí)行常見大數(shù)據(jù)任務(wù)的工具，但確切地說，它們所執(zhí)行的任務(wù)并不相同，彼此也并不排斥 雖然在特定的情況下，Spark據(jù)稱要比Hadoop快100倍，但它本身沒有一個(gè)分布式存儲(chǔ)系統(tǒng) 而分布式存儲(chǔ)是如今許多大數(shù)據(jù)項(xiàng)目的基礎(chǔ)，它可以將 PB 級(jí)的數(shù)據(jù)集存儲(chǔ)在幾乎無限數(shù)量的普通計(jì)算機(jī)的硬盤上，并提供了良好的可擴(kuò)展性，只需要隨著數(shù)據(jù)集的增大增加硬盤 因此，安裝hadoop的步驟有哪些
hadoop2.0已經(jīng)發(fā)布了穩(wěn)定版本了，增加了很多特性，比如HDFSHA、YARN等。最新的hadoop-2.4.1又增加了YARNHA
注意：apache提供的hadoop-2.4.1的安裝包是在32位操作系統(tǒng)編譯的，因?yàn)閔adoop依賴一些C++的本地庫，
所以如果在64位的操作上安裝hadoop-2.4.1就需要重新在64操作系統(tǒng)上重新編譯
（建議第一次安裝用32位的系統(tǒng)，我將編譯好的64位的也上傳到群共享里了，如果有興趣的可以自己編譯一下）
前期準(zhǔn)備就不詳細(xì)說了，課堂上都介紹了
1.修改Linux主機(jī)名
2.修改IP
3.修改主機(jī)名和IP的映射關(guān)系
######注意######如果你們公司是租用的服務(wù)器或是使用的云主機(jī)（如華為用主機(jī)、阿里云主機(jī)等）
/etc/hosts里面要配置的是內(nèi)網(wǎng)IP地址和主機(jī)名的映射關(guān)系
4.關(guān)閉防火墻
5.ssh免登陸
6.安裝JDK，配置環(huán)境變量等
集群規(guī)劃：
主機(jī)名 IP 安裝的軟件 運(yùn)行的進(jìn)程
HA181 192.168.1.181 jdk、hadoop NameNode、DFSZKFailoverController(zkfc)
HA182 192.168.1.182 jdk、hadoop NameNode、DFSZKFailoverController(zkfc)
HA183 192.168.1.183 jdk、hadoop ResourceManager
HA184 192.168.1.184 jdk、hadoop ResourceManager
HA185 192.168.1.185 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain
HA186 192.168.1.186 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain
HA187 192.168.1.187 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain
說明：
1.在hadoop2.0中通常由兩個(gè)NameNode組成，一個(gè)處于active狀態(tài)，另一個(gè)處于standby狀態(tài)。ActiveNameNode對外提供服務(wù)，而StandbyNameNode則不對外提供服務(wù)，僅同步activenamenode的狀態(tài)，以便能夠在它失敗時(shí)快速進(jìn)行切換。
hadoop2.0官方提供了兩種HDFSHA的解決方案，一種是NFS，另一種是QJM。這里我們使用簡單的QJM。在該方案中，主備NameNode之間通過一組JournalNode同步元數(shù)據(jù)信息，一條數(shù)據(jù)只要成功寫入多數(shù)JournalNode即認(rèn)為寫入成功。通常配置奇數(shù)個(gè)JournalNode
這里還配置了一個(gè)zookeeper集群，用于ZKFC（DFSZKFailoverController）故障轉(zhuǎn)移，當(dāng)ActiveNameNode掛掉了，會(huì)自動(dòng)切換StandbyNameNode為standby狀態(tài)
2.hadoop-2.2.0中依然存在一個(gè)問題，就是ResourceManager只有一個(gè)，存在單點(diǎn)故障，hadoop-2.4.1解決了這個(gè)問題，有兩個(gè)ResourceManager，一個(gè)是Active，一個(gè)是Standby，狀態(tài)由zookeeper進(jìn)行協(xié)調(diào)
安裝步驟：
1.安裝配置zooekeeper集群（在HA185上）
1.1解壓
tar-zxvfzookeeper-3.4.5.tar.gz-C/app/
1.2修改配置
cd/app/zookeeper-3.4.5/conf/
cpzoo_sample.cfgzoo.cfg
vimzoo.cfg
修改：dataDir=/app/zookeeper-3.4.5/tmp
在最后添加：
server.1=HA185:2888:3888
server.2=HA186:2888:3888
server.3=HA187:2888:3888
保存退出
然后創(chuàng)建一個(gè)tmp文件夾
mkdir/app/zookeeper-3.4.5/tmp
再創(chuàng)建一個(gè)空文件
touch/app/zookeeper-3.4.5/tmp/myid
最后向該文件寫入ID
echo1>/app/zookeeper-3.4.5/tmp/myid
1.3將配置好的zookeeper拷貝到其他節(jié)點(diǎn)(首先分別在HA186、HA187根目錄下創(chuàng)建一個(gè)weekend目錄：mkdir/weekend)
scp-r/app/zookeeper-3.4.5/HA186:/app/
scp-r/app/zookeeper-3.4.5/HA187:/app/
注意：修改HA186、HA187對應(yīng)/weekend/zookeeper-3.4.5/tmp/myid內(nèi)容
HA186：
echo2>/app/zookeeper-3.4.5/tmp/myid
HA187：
echo3>/app/zookeeper-3.4.5/tmp/myid
2.安裝配置hadoop集群（在HA181上操作）
2.1解壓
tar-zxvfhadoop-2.4.1.tar.gz-C/weekend/
2.2配置HDFS（hadoop2.0所有的配置文件都在$HADOOP_HOME/etc/hadoop目錄下）
#將hadoop添加到環(huán)境變量中
vim/etc/profile
exportJAVA_HOME=/app/jdk1.7.0_79
exportHADOOP_HOME=/app/hadoop-2.4.1
exportPATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
#hadoop2.0的配置文件全部在$HADOOP_HOME/etc/hadoop下
cd/home/hadoop/app/hadoop-2.4.1/etc/hadoop
2.2.1修改hadoop-env.sh
exportJAVA_HOME=/app/jdk1.7.0_79
2.2.2修改core-site.xml
fs.defaultFS
hdfs://ns1/
hadoop.tmp.dir
/app/hadoop-2.4.1/tmp
ha.zookeeper.quorum
HA185:2181,HA186:2181,HA187:2181
2.2.3修改hdfs-site.xml
dfs.nameservices
ns1
dfs.ha.namenodes.ns1
nn1,nn2
dfs.namenode.rpc-address.ns1.nn1
HA181:9000
dfs.namenode.http-address.ns1.nn1
HA181:50070
dfs.namenode.rpc-address.ns1.nn2
HA182:9000
dfs.namenode.http-address.ns1.nn2
HA182:50070
dfs.namenode.shared.edits.dir
qjournal://HA185:8485;HA186:8485;HA187:8485/ns1
dfs.journalnode.edits.dir
/app/hadoop-2.4.1/journaldata
dfs.ha.automatic-failover.enabled
true
dfs.client.failover.proxy.provider.ns1
org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
dfs.ha.fencing.methods
sshfence
shell(/bin/true)
dfs.ha.fencing.ssh.private-key-files
/home/hadoop/.ssh/id_rsa
dfs.ha.fencing.ssh.connect-timeout
30000
2.2.4修改mapred-site.xml
mapreduce.framework.name
yarn
2.2.5修改yarn-site.xml
yarn.resourcemanager.ha.enabled
true
yarn.resourcemanager.cluster-id
yrc
yarn.resourcemanager.ha.rm-ids
rm1,rm2
yarn.resourcemanager.hostname.rm1
HA183
yarn.resourcemanager.hostname.rm2
HA184
yarn.resourcemanager.zk-address
HA185:2181,HA186:2181,HA187:2181
yarn.nodemanager.aux-services
mapreduce_shuffle
2.2.6修改slaves(slaves是指定子節(jié)點(diǎn)的位置，因?yàn)橐贖A181上啟動(dòng)HDFS、在HA183啟動(dòng)yarn，
所以HA181上的slaves文件指定的是datanode的位置，HA183上的slaves文件指定的是nodemanager的位置)
HA185
HA186
HA187
2.2.7配置免密碼登陸
#首先要配置HA181到HA182、HA183、HA184、HA185、HA186、HA187的免密碼登陸
#在HA181上生產(chǎn)一對鑰匙
ssh-keygen-trsa
#將公鑰拷貝到其他節(jié)點(diǎn)，包括自己
ssh-copy-idHA181
ssh-copy-idHA182
ssh-copy-idHA183
ssh-copy-idHA184
ssh-copy-idHA185
ssh-copy-idHA186
ssh-copy-idHA187
#配置HA183到HA184、HA185、HA186、HA187的免密碼登陸
#在HA183上生產(chǎn)一對鑰匙
ssh-keygen-trsa
#將公鑰拷貝到其他節(jié)點(diǎn)
ssh-copy-idHA184
ssh-copy-idHA185
ssh-copy-idHA186
ssh-copy-idHA187
#注意：兩個(gè)namenode之間要配置ssh免密碼登陸，別忘了配置HA182到HA181的免登陸
在HA182上生產(chǎn)一對鑰匙
ssh-keygen-trsa
ssh-copy-id-iHA181
2.4將配置好的hadoop拷貝到其他節(jié)點(diǎn)
scp-r/app/hadoop-2.5.1/HA182:/app/
scp-r/app/hadoop-2.5.1/HA183:/app/
scp-r/app/hadoop-2.5.1/HA184:/app/
scp-r/app/hadoop-2.5.1/HA185:/app/
scp-r/app/hadoop-2.5.1/HA186:/app/
scp-r/app/hadoop-2.5.1/HA187:/app/
###注意：嚴(yán)格按照下面的步驟
2.5啟動(dòng)zookeeper集群（分別在HA185、HA186、tcast07上啟動(dòng)zk）
cd/app/zookeeper-3.4.5/bin/
./zkServer.shstart
#查看狀態(tài)：一個(gè)leader，兩個(gè)follower
./zkServer.shstatus
2.6啟動(dòng)journalnode（分別在在HA185、HA186、HA187上執(zhí)行）
cd/app/hadoop-2.5.1
hadoop-daemon.shstartjournalnode
#運(yùn)行jps命令檢驗(yàn)，HA185、HA186、HA187上多了JournalNode進(jìn)程
2.7格式化ZKFC(在HA181上執(zhí)行即可) hdfszkfc-formatZK
2.8格式化HDFS
#在HA181上執(zhí)行命令:
hdfsnamenode-format
#格式化后會(huì)在根據(jù)core-site.xml中的hadoop.tmp.dir配置生成個(gè)文件，這里我配置的是/app/hadoop-2.4.1/tmp，然后將/weekend/hadoop-2.4.1/tmp拷貝到HA182的/weekend/hadoop-2.4.1/下。
scp-rtmp/HA182:/app/hadoop-2.5.1/
##也可以這樣，建議hdfsnamenode-bootstrapStandby
2.9啟動(dòng)HDFS(在HA181上執(zhí)行)
sbin/start-dfs.sh
2.10啟動(dòng)YARN(#####注意#####：是在HA183上執(zhí)行start-yarn.sh，把namenode和resourcemanager分開是因?yàn)樾阅軉栴}，因?yàn)樗麄兌家加么罅抠Y源，所以把他們分開了，他們分開了就要分別在不同的機(jī)器上啟動(dòng))
sbin/start-yarn.sh
到此，hadoop-2.4.1配置完畢，可以統(tǒng)計(jì)瀏覽器訪問:
http://192.168.1.181:50070
NameNode'HA181:9000'(active)
http://192.168.1.182:50070
NameNode'HA182:9000'(standby)
驗(yàn)證HDFSHA
首先向hdfs上傳一個(gè)文件
hadoopfs-put/etc/profile/profile
hadoopfs-ls/
然后再kill掉active的NameNode
kill-9
通過瀏覽器訪問：http://192.168.1.182:50070
NameNode'HA182:9000'(active)
這個(gè)時(shí)候HA182上的NameNode變成了active
在執(zhí)行命令：
hadoopfs-ls/
-rw-r--r--3rootsupergroup19262014-02-0615:36/profile
剛才上傳的文件依然存在?。。?br /> 手動(dòng)啟動(dòng)那個(gè)掛掉的NameNode
sbin/hadoop-daemon.shstartnamenode
通過瀏覽器訪問：http://192.168.1.181:50070
NameNode'HA181:9000'(standby)
驗(yàn)證YARN：
運(yùn)行一下hadoop提供的demo中的WordCount程序：
hadoopjarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jarwordcount/profile/out
OK，大功告成?。?！
CID-74d21742-3e4b-4df6-a99c-d52f703b49c0
測試集群工作狀態(tài)的一些指令：
bin/hdfsdfsadmin-report 查看hdfs的各節(jié)點(diǎn)狀態(tài)信息
bin/hdfshaadmin-getServiceStatenn1 獲取一個(gè)namenode節(jié)點(diǎn)的HA狀態(tài)
sbin/hadoop-daemon.shstartnamenode單獨(dú)啟動(dòng)一個(gè)namenode進(jìn)程
./hadoop-daemon.shstartzkfc單獨(dú)啟動(dòng)一個(gè)zkfc進(jìn)程
如何在Linux上安裝與配置Hadoop
Hadoop最早是為了在Linux平臺(tái)上使用而開發(fā)的，但是Hadoop在UNIX、Windows和Mac OS X系統(tǒng)上也運(yùn)行良好。不過，在Windows上運(yùn)行Hadoop稍顯復(fù)雜，首先必須安裝Cygwin以模擬Linux環(huán)境，然后才能安裝Hadoop。Hadoop的安裝非常簡單，大家可以在官網(wǎng)上下載到最近的幾個(gè)版本，在Unix上安裝Hadoop的過程與在Linux上安裝基本相同，因此下面不會(huì)對其進(jìn)行詳細(xì)介紹。
在Linux上安裝與配置Hadoop
在Linux上安裝Hadoop之前，需要先安裝兩個(gè)程序：
1. JDK 1.6或更高版本;
2. SSH(安全外殼協(xié)議)，推薦安裝OpenSSH。
下面簡述一下安裝這兩個(gè)程序的原因：
1. Hadoop是用Java開發(fā)的，Hadoop的編譯及MapReduce的運(yùn)行都需要使用JDK。
2. Hadoop需要通過SSH來啟動(dòng)salve列表中各臺(tái)主機(jī)的守護(hù)進(jìn)程，因此SSH也是必須安裝的，即使是安裝偽分布式版本(因?yàn)镠adoop并沒有區(qū)分集群式和偽分布式)。對于偽分布式，Hadoop會(huì)采用與集群相同的處理方式，即依次序啟動(dòng)文件conf/slaves中記載的主機(jī)上的進(jìn)程，只不過偽分布式中salve為localhost(即為自身)，所以對于偽分布式Hadoop，SSH一樣是必須的。
一、安裝JDK 1.6
安裝JDK的過程很簡單，下面以Ubuntu為例。
(1)下載和安裝JDK
確保可以連接到互聯(lián)網(wǎng)，輸入命令：
sudoapt-getinstallsun-java6-jdk輸入密碼，確認(rèn)，然后就可以安裝JDK了。
這里先解釋一下sudo與apt這兩個(gè)命令，sudo這個(gè)命令允許普通用戶執(zhí)行某些或全部需要root權(quán)限命令，它提供了詳盡的日志，可以記錄下每個(gè)用戶使用這個(gè)命令做了些什么操作;同時(shí)sudo也提供了靈活的管理方式，可以限制用戶使用命令。sudo的配置文件為/etc/sudoers。
apt的全稱為the Advanced Packaging Tool，是Debian計(jì)劃的一部分，是Ubuntu的軟件包管理軟件，通過apt安裝軟件無須考慮軟件的依賴關(guān)系，可以直接安裝所需要的軟件，apt會(huì)自動(dòng)下載有依賴關(guān)系的包，并按順序安裝，在Ubuntu中安裝有apt的一個(gè)圖形化界面程序synaptic(中文譯名為“新立得”)，大家如果有興趣也可以使用這個(gè)程序來安裝所需要的軟件。(如果大家想了解更多，可以查看一下關(guān)于Debian計(jì)劃的資料。)
(2)配置環(huán)境變量
輸入命令：
sudogedit/etc/profile輸入密碼，打開profile文件。
在文件的最下面輸入如下內(nèi)容：
#setJavaEnvironmentexportJAVA_HOME=（你的JDK安裝位置，一般為/usr/lib/jvm/java-6-sun）
exportCLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH"
exportPATH="$JAVA_HOME/:$PATH"
這一步的意義是配置環(huán)境變量，使你的系統(tǒng)可以找到JDK。
(3)驗(yàn)證JDK是否安裝成功
輸入命令：
java-version查看信息：
javaversion"1.6.0_14"Java(TM)SERuntimeEnvironment(build1.6.0_14-b08)
JavaHotSpot(TM)ServerVM(build14.0-b16,mixedmode)
二、配置SSH免密碼登錄
同樣以Ubuntu為例，假設(shè)用戶名為u。
1)確認(rèn)已經(jīng)連接上互聯(lián)網(wǎng)，輸入命令
sudoapt-getinstallssh2)配置為可以無密碼登錄本機(jī)。
首先查看在u用戶下是否存在.ssh文件夾(注意ssh前面有“.”，這是一個(gè)隱藏文件夾)，輸入命令：
ls-a/home/u一般來說，安裝SSH時(shí)會(huì)自動(dòng)在當(dāng)前用戶下創(chuàng)建這個(gè)隱藏文件夾，如果沒有，可以手動(dòng)創(chuàng)建一個(gè)。
接下來，輸入命令：
ssh-keygen-tdsa-P''-f~/.ssh/id_dsa解釋一下，ssh-keygen代表生成密鑰;-t(注意區(qū)分大小寫)表示指定生成的密鑰類型;dsa是dsa密鑰認(rèn)證的意思，即密鑰類型;-P用于提供密語;-f指定生成的密鑰文件。(關(guān)于密鑰密語的相關(guān)知識(shí)這里就不詳細(xì)介紹了，里面會(huì)涉及SSH的一些知識(shí)，如果讀者有興趣，可以自行查閱資料。)
在Ubuntu中，~代表當(dāng)前用戶文件夾，這里即/home/u。
這個(gè)命令會(huì)在.ssh文件夾下創(chuàng)建兩個(gè)文件id_dsa及id_dsa.pub，這是SSH的一對私鑰和公鑰，類似于鑰匙及鎖，把id_dsa.pub(公鑰)追加到授權(quán)的key里面去。
輸入命令：
cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys這段話的意思是把公鑰加到用于認(rèn)證的公鑰文件中，這里的authorized_keys是用于認(rèn)證的公鑰文件。
至此無密碼登錄本機(jī)已設(shè)置完畢。
3)驗(yàn)證SSH是否已安裝成功，以及是否可以無密碼登錄本機(jī)。
輸入命令：
ssh-version顯示結(jié)果：
OpenSSH_5.1p1Debian-6ubuntu2,OpenSSL0.9.8g19Oct2007Badescapecharacter'rsion'.
顯示SSH已經(jīng)安裝成功了。
輸入命令：
sshlocalhost會(huì)有如下顯示：
Theauthenticityofhost'localhost(::1)'can'tbeestablished.RSAkeyfingerprintis8b:c3:51:a5:2a:31:b7:74:06:9d:62:04:4f:84:f8:77.
Areyousureyouwanttocontinueconnecting(yes/no)?yes
Warning:Permanentlyadded'localhost'(RSA)tothelistofknownhosts.
Linuxmaster2.6.31-14-generic#48-UbuntuSMPFriOct1614:04:26UTC2009i686
ToaccessofficialUbuntudocumentation,pleasevisit:
http://help.ubuntu.com/
Lastlogin:MonOct1817:12:402010frommaster
admin@Hadoop:~$
這說明已經(jīng)安裝成功，第一次登錄時(shí)會(huì)詢問你是否繼續(xù)鏈接，輸入yes即可進(jìn)入。
實(shí)際上，在Hadoop的安裝過程中，是否無密碼登錄是無關(guān)緊要的，但是如果不配置無密碼登錄，每次啟動(dòng)Hadoop，都需要輸入密碼以登錄到每臺(tái)機(jī)器的DataNode上，考慮到一般的Hadoop集群動(dòng)輒數(shù)百臺(tái)或上千臺(tái)機(jī)器，因此一般來說都會(huì)配置SSH的無密碼登錄。
三、安裝并運(yùn)行Hadoop
介紹Hadoop的安裝之前，先介紹一下Hadoop對各個(gè)節(jié)點(diǎn)的角色定義。
Hadoop分別從三個(gè)角度將主機(jī)劃分為兩種角色。第一，劃分為master和slave，即主人與奴隸;第二，從HDFS的角度，將主機(jī)劃分為NameNode和DataNode(在分布式文件系統(tǒng)中，目錄的管理很重要，管理目錄的就相當(dāng)于主人，而NameNode就是目錄管理者);第三，從MapReduce的角度，將主機(jī)劃分為JobTracker和TaskTracker(一個(gè)job經(jīng)常被劃分為多個(gè)task，從這個(gè)角度不難理解它們之間的關(guān)系)。
Hadoop有官方發(fā)行版與cloudera版，其中cloudera版是Hadoop的商用版本，這里先介紹Hadoop官方發(fā)行版的安裝方法。
Hadoop有三種運(yùn)行方式：單節(jié)點(diǎn)方式、單機(jī)偽分布方式與集群方式。乍看之下，前兩種方式并不能體現(xiàn)云計(jì)算的優(yōu)勢，在實(shí)際應(yīng)用中并沒有什么意義，但是在程序的測試與調(diào)試過程中，它們還是很有意義的。
你可以通過以下地址獲得Hadoop的官方發(fā)行版，下載Hadoop-0.20.2.tar.gz并將其解壓，這里會(huì)解壓到用戶目錄下，一般為：/home/[你的用戶名]/。
單節(jié)點(diǎn)方式配置：
安裝單節(jié)點(diǎn)的Hadoop無須配置，在這種方式下，Hadoop被認(rèn)為是一個(gè)單獨(dú)的Java進(jìn)程，這種方式經(jīng)常用來調(diào)試。
偽分布式配置：
你可以把偽分布式的Hadoop看做是只有一個(gè)節(jié)點(diǎn)的集群，在這個(gè)集群中，這個(gè)節(jié)點(diǎn)既是master，也是slave;既是NameNode也是DataNode;既是JobTracker，也是TaskTracker。
偽分布式的配置過程也很簡單，只需要修改幾個(gè)文件，如下所示。
進(jìn)入conf文件夾，修改配置文件：
Hadoop-env.sh:exportJAVA_HOME=“你的JDK安裝地址”
指定JDK的安裝位置：
conf/core-site.xml:這是Hadoop核心的配置文件，這里配置的是HDFS的地址和端口號(hào)。
conf/hdfs-site.xml:這是Hadoop中HDFS的配置，配置的備份方式默認(rèn)為3，在單機(jī)版的Hadoop中，需要將其改為1。
conf/mapred-site.xml:這是Hadoop中MapReduce的配置文件，配置的是JobTracker的地址和端口。
需要注意的是，如果安裝的是0.20之前的版本，那么只有一個(gè)配置文件，即為Hadoop-site.xml。
接下來，在啟動(dòng)Hadoop前，需格式化Hadoop的文件系統(tǒng)HDFS(這點(diǎn)與Windows是一樣的，重新分區(qū)后的卷總是需要格式化的)。進(jìn)入Hadoop文件夾，輸入下面的命令：
bin/HadoopNameNode-format格式化文件系統(tǒng)，接下來啟動(dòng)Hadoop。
輸入命令：
bin/start-all.sh（全部啟動(dòng)）最后，驗(yàn)證Hadoop是否安裝成功。
打開瀏覽器，分別輸入網(wǎng)址：
http://localhost:50030(MapReduce的Web頁面)http://localhost:50070(HDFS的Web頁面)
如果都能查看，說明Hadoop已經(jīng)安裝成功。
對于Hadoop來說，安裝MapReduce及HDFS都是必須的，但是如果有必要，你依然可以只啟動(dòng)HDFS(start-dfs.sh)或MapReduce(start-mapred.sh)。
