本文主要讲解“Hadoop的基本知识点有哪些?”感兴趣的朋友不妨看看。本文介绍的方法简单、快速、实用。让边肖带你学习“Hadoop的基本知识点有哪些”!
00-1010有很多在线信息,这里就不浪费时间介绍了。有兴趣的话自己找“杜娘”。
注意:狭义的hadoop指的是单独的软件hadoop。从广义上讲,hadoop指的是大数据生态系统,包括许多其他软件。
在接下来的章节中,没有特别的说明,我们都会提到hadoop软件。
Hadoop生态大致包括以下技术:
一、hadoop的发展历史
0.x系列版本:hadoop最早的开源版本,从1.x和2.x版本演变而来。
1.x版本系列:hadoop版本的第二代开源版本,主要修复0.x版本的一些bug等。
2.x版本系列:架构发生了重大变化,引入了纱线平台等诸多新功能,这也是生产环境中使用最多的版本。
3.x版本系列:在2.x版本的基础上,引入了hdfs的一些新特性,开发出了稳定的版本,公司未来会用到。
注意:我们未来的课程会以hadoop3.x版本3.x为例,有些地方的配置和概念与2.x不同。
二、hadoop的版本介绍
Hadoop三个发布版本:Apache、Cloudera和Hortonworks。
Apache版本是最原始(基础)的版本,对于初学者来说是最好的。
Cloudera广泛应用于大型互联网企业。
霍顿工程文件更好。
注:Cloudera和Hortonworks可以理解为Linux和Centos的关系。
三、 hadoop生产环境版本选择
Hadoop由三个模块组成:分布式存储HDFS、分布式计算MapReduce和资源调度引擎three。
HDFS模块:
名称节点:主节点主要负责HDFS集群的管理和元数据信息管理。
Datanode:从节点主要负责存储用户数据。
Secondarynamenode:协助namenode管理元数据信息和元数据信息的冷备份。
纱线模块:
ResourceManager:主节点,主要负责资源分配。
NodeManager:从节点主要负责执行任务。
至此,相信大家对“Hadoop的基本知识点有哪些”有了更深的理解,让我们在实践中去做吧!这是网站。更多相关内容,可以去相关渠道查询,关注我们,继续学习!
内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/139127.html