本文将详细解释如何在Linux下安装和构建Hadoop2.7.3。边肖觉得挺实用的,分享给大家参考。希望你看完这篇文章能有所收获。
Linux Hadoop 2.7.3 安装搭建
Hadoop实现了分布式文件系统(HDFS)。
HDFS的特点是高容错性,旨在部署在低成本硬件上。此外,它提供了访问应用程序数据的高吞吐量,适用于大数据集的应用程序。HDFS放宽)POSIX满足POSIX的要求,并且可以流式访问文件系统中的数据。
Hadoop框架的核心设计是HDFS和MapReduce。HDFS为海量数据提供存储,而MapReduce为海量数据提供计算。
Hadoop解决哪些问题?
海量数据需要及时分析处理。
海量数据需要深入分析和挖掘。
数据需要长期存储。
00-1010磁盘IO被称为瓶颈,而不是CPU资源。
网络带宽是一种稀缺资源。
硬件故障已经成为影响稳定性的主要因素。
00-1010安装JAVA 1.8
下载:
http://www . Oracle.com/tech network/Java/javase/downloads/JDK 8-downloads-2133151 . html
Java环境安装配置/etc/profile:
export Java _ HOME=/usr/JDK/JDK 1 . 8 . 0 _ 112
exportJRE _ HOME=/usr/JDK/JDK 1 . 8 . 0 _ 112/JRE
export CLaSS=. $ JAVA _ HOME/lib/dt . jar : $ JAVA _ HOME/lib/tools . jar : $ JRE _ HOME/lib : $ CLaSS
导出路径=$ Java _ home/bin: $路径安装Hadoop2.7.3
下载:http://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/
海量数据存储的问题:
1、修改hadoop 2.7.3/etc/hadoop/hadoop-env.sh 指定JAVA_HOME
# Javaimplementation use。
export Java _ HOME=/usr/lib/JVM/Java-1 . 8 . 0-openjdk-1 . 8 . 0 . 171-8 . b 10 . el6 _ 9 . x86 _ 642、修改hdfs的配置文件
配置
财产
namefs.defaultFS/name
value HDFS ://0 . 0 . 0 . 0:9000/value
/property
!-指定hadoop运行时生成的文件的存储路径-
财产
namehadoop.tmp.dir/name
价值/tmp/Hadoop/价值
/property
/3、启动配置
第一次启动必须先格式化。
/usr/Hadoop/bin/hdfsnamenode-启动hdfs的格式
/usr/Hadoop/sbin/start-DFS . sh用jps命令查看启动的Java进程
预览地址:http://127 . 0 . 0 . 1:50070/dfshhealth . html
4.停止
/usr/hadoop/sbin/stop-dfs.sh这篇关于“如何在Linux下安装和构建Hadoop2.7.3”的文章就分享到这里。希望
内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/126944.html