HDFS分布式存储有什么优势特点

本文主要介绍了HDFS分布式存储的优点和特点，具有一定的参考价值。有兴趣的朋友可以参考一下。希望大家看完这篇文章后收获多多。让边肖带你去了解它。

近年来，随着区块链、大数据等技术的推动，全球数据量正在无限扩大和增长。分布式存储的兴起与互联网的发展息息相关。互联网公司通常使用大规模分布式存储系统，因为它们具有大数据和轻资产的特点。

那么分布式存储有哪些类型呢？

分布式存储包括多种类型，包括传统意义上的分布式文件系统、分布式块存储和分布式对象存储、分布式数据库和分布式缓存，其中有三种体系结构：

A.中间控制节点架构——以HDFS为代表的架构就是一个典型。

B.完全没有中心架构——计算模式，以Ceph为典型代表。

C.根本没有中心架构——一致哈希，swift代表的架构就是它的典型代表。

我们这里的主HDFS有什么优势？

HDFS (hadoop分布式文件系统)是hadoop项目的核心子项目，也是分布式计算中数据存储管理的基础。它是基于流数据模式访问和处理超大文件的需求而开发的，可以在廉价的商用服务器上运行。

其高容错性、高可靠性、高可扩展性、高可用性和高吞吐量的特点为海量数据提供了无故障存储，为大数据集的应用和处理带来了诸多便利。

HDFS是开源的，存储的数据由Hadoop应用程序处理，类似于普通的Unix和linux文件系统。不同的是，它实现了谷歌GFS文件系统的思想，是一个适用于大规模分布式数据处理相关应用的可扩展分布式文件系统。

HDFS的特点

1.海量数据存储：HDFS可以横向扩展，存储的文件可以支持PB级或更高的数据存储。

2.高容错性：数据可以保存在多个副本中，副本丢失后会自动恢复。它可以建立在廉价的机器上，实现线性扩展。当一个新节点被添加到集群中时，namenode还可以感知和负载平衡数据分布，并将数据备份到新节点。

3.商业硬件：Hadoop不需要运行在昂贵且高度可靠的硬件上。它被设计成在商用硬件集群(廉价的商用硬件)上运行。

4.大文件存储：HDFS使用数据块来存储数据，数据在物理上被分成几个小数据块。因此，无论数据有多大，经过细分后，大数据就变成了很多小数据。当用户读取时，几个小数据块再次拼接在一起。

5.检测并快速响应硬件故障：在集群环境中，硬件故障是常见问题。由于有数千台服务器连接在一起，故障率非常高，因此hdfs文件系统的故障检测和自动恢复是一个设计目标。假设在一个数据节点挂起后，因为数据已经备份，所以也可以从其他节点找到它。Namenode使用心跳机制来检查datanode是否仍然活动。

6.流数据访问：(HDFS无法实现低延迟数据访问，但HDFS吞吐量大)=《 Hadoop适合处理离线数据，不适合处理实时数据》。HDFS的数据处理规模比较大，应用一次需要大量的数据。同时，这些应用一般都是批处理，而不是用户交互处理。应用程序可以以流的形式访问数据库。主要是数据的吞吐量，不是访问速度。访问速度最终受到网络和磁盘速度的限制。无论有多少机器节点，都无法突破物理限制。

HDFS-硬盘文件分布式公共链

HDFS结合了区块链的机制，确保通信安全，低进入门槛，文件和数据真正落地。不像市场上的那些IPFS，它只能用于货币流通，却不能用于登陆。我们将直接改变未来和生态使用。

突破技术壁垒，减少资源损失，贡献市场，改变世界。

HDFS强调：

1.廉价的硬盘存储计算机和相关设备可以作为节点加入。HDFS是一个高容错系统，适合部署在廉价机器上。HDFS可以提供高吞吐量的数据访问，非常适合大规模数据集。所以你只需要加入节点作为贡献，就可以获得奖励机制。

2.数据容错和恢复机制，大于N 3，保证数据完整性。

HDFS旨在将大量文件可靠地存储在集群中的大量机器中。它以块序列的形式存储文件。

件。文件中除了最后一个块，其他块都有相同的大小。属于文件的块为了故障容错而被复制。当他的节点超过3台以上即便有节点损坏，或者关机都不影响文件的丢失和安全，不像IPFS当节点关机文件也不存在了！

3、通讯协议，安全隐秘。所有的节点都是主动点对点P2P，融合区块链特性和机制。
P2P是一种分布式网络，网络的参与者共享他们所拥有的一部分硬件资源（处理能力、存储能力、网络连接能力、打印机等），这些共享资源需要由网络提供服务和内容，能被其它对等节点（peer）直接访问而无需经过中间实体。在此网络中的参与者既是资源（服务和内容）提供者（server），又是资源（服务和内容）获取者（client）
RPC（Remote Procedure Call）抽象地封装了Client Protocol和DataNode Protocol协议。按照设计，名字节点不会主动发起一个RPC，它只是被动地对数据节点和客户端发起的RPC作出反馈。

4、数据正确性
从数据节点上取一个文件块有可能是坏块，坏块的出现可能是存储设备错误，网络错误或者软件的漏洞。HDFS客户端实现了HDFS文件内容的校验。当一个客户端创建一个HDFS文件时，它会为每一个文件块计算一个校验码并将校验码存储在同一个HDFS命名空间下一个单独的隐藏文件中。当客户端访问这个文件时，它根据对应的校验文件来验证从数据节点接收到的数据。

基于HDFS存储生态构建：

HDFS作为下一代个人数据存储的承载着，基本面是负责将数据安全、有效的记录到网上另一方面则是以庞大的个人数据为一套延伸出更多的基于数据之上的服务，帮助用户将个人数据充分利用起来，服务于用户自身。

1）、数据直接利用

01、AI智能健康检测：接入AI 体系，在经过用户授权之后能够实对用户个人数据中与健康有关的数据进行终身的跟踪分析预判，帮助用户找出潜在的健康威胁能够作为医院临床诊断的重要依据，建立普及全民的个人终身健康数据档案。

02、办公助手：对个人数据中办公相关的文件进行整理，帮助用户提升办公效率引入链上办公工具，能够在线实时编辑更新文件。

03、个人消费偏好推荐：通过用户的个人消费偏好的识别，可以有针对性的为用户在全网搜寻符合用户的消费喜好的商品提升生活的便捷性。

2）、数据的脱敏再利用

充分发挥数据的价值，不仅仅是服务于个人，在数据经过脱敏之后，隐藏掉个人数据的信息以及数据涉及到的敏感内容之后，可以选择将数据提交给大数据中心以及AI智能大脑的训练之中，彻底发挥数据最大的价值最后更好的服务于每一个用户的日常生活之中。

3）、基于个人数据之上信用体系
基于个人行为数据，金融授信单位有更加充分的数据给到用户进行授信，将来每个人都能有基于个人行为的金融授信额度，可能带来一场个人征信与金融行业的重大革命。

对于个人可信数据的利用还在不断的开发当中，HDFS最大的价值就在于为个人数据打造了一个安全、可信的载体并且设计了授权调用的机制用户可以基于个人意愿授予第三方有限的数据调用全线，从个人数据到大数据之间形成一个闭环的体系。

感谢你能够认真阅读完这篇文章，希望小编分享的“HDFS分布式存储有什么优势特点”这篇文章对大家有帮助，同时也希望大家多多支持，关注行业资讯频道，更多相关知识等着你来学习!