怎么实现Hadoop集群搭建

如何构建Hadoop集群，相信很多没有经验的人都很茫然。因此，本文总结了问题产生的原因及解决方法。希望你能通过这篇文章解决这个问题。

阅读编译文档，准备一个hadoop源码包。我选择了hadoop版本：hadoop-2.7.7-src.tar.gz。在hadoop-2.7.7的源码包根目录下有一个名为BUILDING.txt的文档，它解释了编译hadoop所需的一些与编译环境相关的东西。不同的hadoop版本有不同的要求。对应的版本指的是BUILDING.txt

准备一个Unix类型的操作系统。这里我们选择CentOS-7.4，初始编译需要联网。记住：需要以下东西，下面详细安装。这里只介绍我选择准备这些软件的版本。

安装的软件符合上述要求，我们已准备好这些软件的所需版本。

2.1.安装OpenSSL-develop并执行以下所有命令：yum-y install svnyum-y install auto nf automake libtool cmake zlib-develop lzo-develop yum-y install ncurs-develop yum。-y安装OpenSSL-development yum-y安装zlib1g-dev libssl-dev。如果可以连接到互联网，请等待命令执行。

2.2.安装gcc前，使用命令检查gcc是否安装了【root @ compile _ Hadoop soft】# GCC-V GCC 4 . 4 . 7 20120313版(Red Hat 4.4.7-16) (GCC)

如果上面的gcc版本信息日志出现在最后一行，则表示安装成功。否则，请使用命令安装：

2.3.使用以下命令直接安装gcc-c:yum install-y gcc

2.4.安装我们选择的JDK安装包：jdk-7u80-linux-x64.tar.gz第一步：从官网下载安装包。

第二步：上传安装到编译器，然后解压安装tar-zxvf/root/JDK-7u 80-Linux-x64 . tar . gz-c/root/apps/

第三步：配置环境变量VI/etc/profile export Java _ home=/root/apps/JDK 1 . 7 . 0 _ 80 export path=path 3360 Java _ home/binexportclass path=./root/apps/JDK 1 . 7 . 0 _ 80/lib/dt。

第四步：检查安装是否成功。来源/etc/profile Java-版本

2.5.安装Maven选择的安装包：apache-maven-3.5.3-bin.tar.gz第一步：从官方网站下载安装包

第二步：上传到服务器，解压安装tar-zxvf/root/Apache-maven-3 . 5 . 3-bin . tar . gz-c/root/apps/

步骤3:修改配置文件(如果需要更改默认的maven存储库路径)1。进入maven安装包的conf目录CD/root/apps/Apache-Maven-3 . 5 . 3/conf。

2.修改配置文件settings.xml，在配置文件的中间找到标签localRepository。它最初是带注释的，并且有一个默认的仓库路径。我们最好自己设置一个，所以我自己加了一个。我的路径是：/root/mavenlocalrepo/

3.如果您想节省时间，可以将我提供的mavenlocalrepo文件夹直接上传到root用户的主目录。替换您的mavenlocalrepo文件夹。这样可以大大节省下载maven的时间。提高效率。

步骤4:配置环境变量vi /etc/profile，添加以下内容：export m2 _ home=/root/apps/Apache-maven-3 . 5 . 3 export path=path 3360 m2 _ home/bin

第五步：检查是否成功。来源/etc/profile Java-版本

第六步：设置maven仓库不是必须的，但是最好操作它来提高效率。鉴于远程maven仓库网络连接不稳定，可以将远程仓库修改配置为阿里的。详细配置如下：

阿里马文-阿里云马文http://maven.aliyun.com/nexus/content/repositories/central/中部

阿里云http://maven.aliyun.com/nexus/content/groups/public/中央电视台

jboss-公共-存储库-组中央JBoss公共

Repository Group http://repository.jboss.org/nexus/content/groups/public

2.6. 安装Ant 我们选择的安装包：apache-ant-1.9.9-bin.tar.gz 第一步：从官网下载安装包

第二步：上传安装包到编译机，然后解压缩安装 tar -zxvf /root/apache-ant-1.9.9-bin.tar.gz -C /root/apps/

第三步：配置环境变量 追加如下内容：

第四步：检测是否成功

2.7. 安装FindBugs 我们选择的安装包：findbugs-3.0.0.tar.gz 第一步：从官网下载安装包

第二步：上传安装包到编译机，然后解压缩安装

第三步：配置环境变量： 追加如下内容： vi /etc/profile export ANT_HOME=/root/apps/apache-ant-1.9.9 export PATH=PATH:ANT_HOME/bin 第四步：检测安装是否成功 source /etc/profile ant -version

2.7. 安装FindBugs 我们选择的安装包：findbugs-3.0.0.tar.gz 第一步：从官网下载安装包

第二步：上传安装包到编译机，然后解压缩安装 tar -zxvf /root/findbugs-3.0.0.tar.gz -C /root/apps/ 第三步：配置环境变量： 追加如下内容： vi /etc/profile export ANT_HOME=/root/apps/apache-ant-1.9.9 export PATH=PATH:ANT_HOME/bin 第四步：检测安装是否成功 source /etc/profile ant -version

2.8. 安装make 先检测以下系统是否安装了make工具： make -version 如果没有安装过make，那么请使用命令安装： yum install -y make

2.9. 安装Cmake 我们选择的安装包：cmake-2.8.12.2.tar.gz

第一步：从官网下载安装包

第二步：上传安装包到编译机，然后解压缩安装 tar -zxvf /root/cmake-2.8.12.2.tar.gz -C /root/apps/ 第三步：编译安装 首先进入到根目录： cd /root/apps/cmake-2.8.12.2/ 然后依次执行以下命令：这个步骤的时间有点长，耐心等待一下。 ./bootstrap gmake & gmake install

第四步：检测安装是否成功 cmake -version

2.10. 安装Protobuf 我们选择的安装包：protobuf-2.5.0.tar.gz

第一步：从官网下载安装包

第二步：上传安装包到编译机，然后解压缩安装 tar -zxvf /root/protobuf-2.5.0.tar.gz -C /root/apps/ 第三步：编译安装

首先进入到根目录： cd /root/apps/protobuf-2.5.0/

然后依次执行以下命令： ./configure --prefix=/root/apps/protobuf # 表示安装到这个目录 make make check make install 以上的执行，都比较耗时，只要没报错，请耐心等待着.......>_<

第四步：配置环境变量 添加如下内容： vi /etc/profile export PROTOBUF_HOME=/root/apps/protobuf export PATH=PATH:PROTOBUF_HOME/bin 注意：PROTOBUF_HOME就是我们在执行configure命令的时候指定的目录

第五步：检测安装是否成功 source /etc/profile protoc --version 2.11. 安装Snappy 我们选择的安装包：snappy-1.1.1.tar.gz 第一步：从官网下载安装包

第二步：上传安装包到编译机，然后使用root用户安装 tar -zxvf /root/snappy-1.1.1.tar.gz -C /root/apps/

第三步：编译安装 cd ~/apps/snappy-1.1.1/ ./configure make make install

第四步：查看snappy lib库

查看snappy库文件 ls -lh /usr/local/lib |grep snappy

编译Hadoop 第一步：解压hadoop源码包 tar -zxvf /root/hadoop-2.7.7-src.tar.gz -C /root/apps/ 第二步：在编译之前防止 java.lang.OutOfMemoryError: Java heap space 堆栈问题,在centos系统中执 行命令 export MAVEN_OPTS="-Xms256m -Xmx512m" 第三步：切换工作目录到hadoop-2.7.7根目录下： cd /root/apps/hadoop-2.7.7-src 第四步：执行编译 Create binary distribution with native code and with documentation:

mvn clean package -Pdist,native -DskipTests -Dtar -Dsnappy.lib=/usr/local/lib - Dbundle.snappy -Drequire.openssl 如果中途编译失败，请重复执行这个命令，直到成功。 如果编译过程中，发现卡住了，请停止这个命令，然后重新再执行一遍就可以了。

查看snappy库文件 ls -lh /usr/local/lib |grep snappy

PS：tar和dist表示用maven项目管理工具对hadoop进行编译，编译好了之后会打成tar.gz包放到 hadoop-dist目录下，native和docs表示编译出来会编译出来本地库，并且把文档打包到该.tar.gz文件 中，skipTests表示忽略测试 PS：如果有关于KMS的编译报错的话，大概是因为tomcat（apache-tomcat-6.0.48.tar.gz）的下载有 问题。请自行下载，然后放到对应的位置，可以参考这篇文章来解决：https://blog.csdn.net/qq_3413 9020/article/details/90340425，异常信息是这样的： [ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun- plugin:1.7:run (dist) on project hadoop-kms: An Ant BuildException has occured: exec returned: 2 [ERROR] around Ant part ...... @ 10:118 in /root/apps/hadoop-2.7.7-src/hadoop-common-project/hadoop- kms/target/antrun/build-main.xml

自行下载tomcat放到： cp ~/apache-tomcat-6.0.48.tar.gz /root/apps/hadoop-2.7.7-src/hadoop-common-project/hadoop-kms/downloads cp ~/apache-tomcat-6.0.48.tar.gz /root/apps/hadoop-2.7.7-src/hadoop-hdfs-project/hadoop-hdfs-httpfs/downloads

第五步：静静等待编译……. 第一次编译预估一个小时左右

第六步：编译成功 编译成功了的话，最后的日志信息。 [INFO] ------------------------------------------------------------------------ [INFO] Reactor Summary: [INFO] [INFO] Apache Hadoop Main 2.7.7 ........................... SUCCESS [ 4.549 s] [INFO] Apache Hadoop Build Tools .......................... SUCCESS [ 3.072 s] [INFO] Apache Hadoop Project POM .......................... SUCCESS [ 2.412 s] [INFO] Apache Hadoop Annotations .......................... SUCCESS [ 4.514 s] [INFO] Apache Hadoop Assemblies ........................... SUCCESS [ 0.332 s] [INFO] Apache Hadoop Project Dist POM ..................... SUCCESS [ 2.572 s] [INFO] Apache Hadoop Maven Plugins ........................ SUCCESS [ 7.925 s] [INFO] Apache Hadoop MiniKDC .............................. SUCCESS [ 8.304 s] [INFO] Apache Hadoop Auth ................................. SUCCESS [ 8.775 s] [INFO] Apache Hadoop Auth Examples ........................ SUCCESS [ 4.661 s] [INFO] Apache Hadoop Common ............................... SUCCESS [02:00 min] [INFO] Apache Hadoop NFS .................................. SUCCESS [ 9.090 s] [INFO] Apache Hadoop KMS .................................. SUCCESS [ 14.194 s] [INFO] Apache Hadoop Common Project ....................... SUCCESS [ 0.093 s] [INFO] Apache Hadoop HDFS ................................. SUCCESS [02:41 min] [INFO] Apache Hadoop HttpFS ............................... SUCCESS [ 23.714 s] [INFO] Apache Hadoop HDFS BookKeeper Journal .............. SUCCESS [ 8.954 s] [INFO] Apache Hadoop HDFS-NFS ............................. SUCCESS [ 5.944 s] [INFO] Apache Hadoop HDFS Project ......................... SUCCESS [ 0.042 s] [INFO] hadoop-yarn ........................................ SUCCESS [ 0.077 s] [INFO] hadoop-yarn-api .................................... SUCCESS [ 47.872 s]

第七步：寻找安装好的安装包 编译成功之后，hadoop-2.7.7.tar.gz位于/root/apps/hadoop-2.7.7-src/hadoop-dist/target目录下，这 是编译后该文件夹的状态 [INFO] hadoop-yarn-common ................................. SUCCESS [ 47.298 s] [INFO] hadoop-yarn-server ................................. SUCCESS [ 0.101 s] [INFO] hadoop-yarn-server-common .......................... SUCCESS [ 13.572 s] [INFO] hadoop-yarn-server-nodemanager ..................... SUCCESS [ 22.335 s] [INFO] hadoop-yarn-server-web-proxy ....................... SUCCESS [ 5.139 s] [INFO] hadoop-yarn-server-applicationhistoryservice ....... SUCCESS [ 9.246 s] [INFO] hadoop-yarn-server-resourcemanager ................. SUCCESS [ 28.326 s] [INFO] hadoop-yarn-server-tests ........................... SUCCESS [ 6.921 s] [INFO] hadoop-yarn-client ................................. SUCCESS [ 8.189 s] [INFO] hadoop-yarn-server-sharedcachemanager .............. SUCCESS [ 5.153 s] [INFO] hadoop-yarn-applications ........................... SUCCESS [ 0.046 s] [INFO] hadoop-yarn-applications-distributedshell .......... SUCCESS [ 3.670 s] [INFO] hadoop-yarn-applications-unmanaged-am-launcher ..... SUCCESS [ 2.591 s] [INFO] hadoop-yarn-site ................................... SUCCESS [ 0.115 s] [INFO] hadoop-yarn-registry ............................... SUCCESS [ 6.537 s] [INFO] hadoop-yarn-project ................................ SUCCESS [ 4.812 s] [INFO] hadoop-mapreduce-client ............................ SUCCESS [ 0.237 s] [INFO] hadoop-mapreduce-client-core ....................... SUCCESS [ 28.160 s] [INFO] hadoop-mapreduce-client-common ..................... SUCCESS [ 22.924 s] [INFO] hadoop-mapreduce-client-shuffle .................... SUCCESS [ 5.353 s] [INFO] hadoop-mapreduce-client-app ........................ SUCCESS [ 12.172 s] [INFO] hadoop-mapreduce-client-hs ......................... SUCCESS [ 8.190 s] [INFO] hadoop-mapreduce-client-jobclient .................. SUCCESS [ 8.825 s] [INFO] hadoop-mapreduce-client-hs-plugins ................. SUCCESS [ 2.338 s] [INFO] Apache Hadoop MapReduce Examples ................... SUCCESS [ 7.318 s] [INFO] hadoop-mapreduce ................................... SUCCESS [ 2.876 s] [INFO] Apache Hadoop MapReduce Streaming .................. SUCCESS [ 5.552 s] [INFO] Apache Hadoop Distributed Copy ..................... SUCCESS [ 10.235 s] [INFO] Apache Hadoop Archives ............................. SUCCESS [ 2.436 s] [INFO] Apache Hadoop Rumen ................................ SUCCESS [ 6.994 s] [INFO] Apache Hadoop Gridmix .............................. SUCCESS [ 5.701 s] [INFO] Apache Hadoop Data Join ............................ SUCCESS [ 3.263 s] [INFO] Apache Hadoop Ant Tasks ............................ SUCCESS [ 2.552 s] [INFO] Apache Hadoop Extras ............................... SUCCESS [ 3.743 s] [INFO] Apache Hadoop Pipes ................................ SUCCESS [ 7.674 s] [INFO] Apache Hadoop OpenStack support .................... SUCCESS [ 6.348 s] [INFO] Apache Hadoop Amazon Web Services support .......... SUCCESS [36:42 min] [INFO] Apache Hadoop Azure support ........................ SUCCESS [ 39.897 s] [INFO] Apache Hadoop Client ............................... SUCCESS [ 9.289 s] [INFO] Apache Hadoop Mini-Cluster ......................... SUCCESS [ 1.060 s] [INFO] Apache Hadoop Scheduler Load Simulator ............. SUCCESS [ 6.998 s] [INFO] Apache Hadoop Tools Dist ........................... SUCCESS [ 8.306 s] [INFO] Apache Hadoop Tools ................................ SUCCESS [ 0.052 s] [INFO] Apache Hadoop Distribution 2.7.7 ................... SUCCESS [ 38.204 s] [INFO] ------------------------------------------------------------------------ [INFO] BUILD SUCCESS [INFO] ------------------------------------------------------------------------ [INFO] Total time: 51:06 min [INFO] Finished at: 2020-04-03T10:51:47+08:00 [INFO] ------------------------------------------------------------------------

第七步：寻找安装好的安装包 编译成功之后，hadoop-2.7.7.tar.gz位于/root/apps/hadoop-2.7.7-src/hadoop-dist/target目录下，这 是编译后该文件夹的状态

看完上述内容，你们掌握怎么实现Hadoop集群搭建的方法了吗？如果还想学到更多技能或想了解更多相关内容，欢迎关注行业资讯频道，感谢各位的阅读！