大数据的到来已经毋庸置疑,在这种情况下，谈谈大数据的那点事-柠檬ai自媒体

导读：我们将从大数据的概念、核心技术、特点和一般应用四个方面进行阐述。

作者：王建宗何李

来源：华章科技

00-1010数据发展推动科技进步，海量数据给数据分析带来新的机遇和挑战。大数据是一种强大到足以获取、存储、管理和分析的数据集，远远超出了传统数据库软件工具的能力。具有数据规模海量、数据流转迅速、数据类型多样、价值密度低四大特点。

因此，我们需要一种新的处理模式来实现更强的数据处理能力，以应对多样化的信息资产。

大数据技术追求的不是准确的样本数据，而是所有人的数据。这部分数据可能是不准确的、非结构化的，但是大数据技术利用这些以前没有使用过的数据来创造新的价值。

从海量数据中得出的数据处理结果可能超出了我们的认知逻辑，但我们不需要去理解结果背后的因果关系。简而言之，我们需要用相关思维取代因果思维。

00-1010信息系统生命周期中的大数据，从数据源到最终生成有价值的可视化信息，主要经历六个步骤，即数据采集、数据存储、资源管理和服务协调、计算框架确定、数据分析和数据可视化。这个过程涵盖了大规模分布式系统、数据库、并行计算框架和数据挖掘中的技术。

图2-1列出了目前大数据技术每一步对应的主流技术体系。大数据的相关技术日新月异，层出不穷。限于篇幅，不一一列举。

图2-1大数据主流技术体系

00-1010大数据具有数据规模海量、数据流转迅速、数据类型多样、价值密度低四大特点，下面将详细阐述。

1.海量数据

大数据收集、存储、计算的数据规模非常大。随着互联网的广泛应用，使用互联网的人群和企业增多，数据创造者增多，数据量呈几何级数增长。近年来，随着数据维度、数据类型和数据描述能力的增加，数据所能传达的信息越来越准确。

2.快速数据流(速度)

大数据不仅增长快，处理也快，而且具有很强的时效性。信息时代，人成为了网络的核心，每个人每天都在制造新的数据。这些数据由政府、互联网企业、银行、电信运营商等相应机构收集。形成一个庞大的数据系统。

面对如此庞大的数据系统，处理数据和得到结果的速度越快，数据的时效性就越强，价值就越高。——大数据和传统数据挖掘最大的区别就在于此。大数据强调数据处理的实时性和时效性。

3.各种数据类型(多样性)

大数据的类型和来源多样化，给数据处理带来挑战。在数据结构上，大数据可分为结构化数据、半结构化数据和非结构化数据；在具体形式上，大数据可以分为视频、音频、图像、博客、社交网络、互联网搜索等。大数据的挑战在于挖掘这些具有不同结构和形式的数据的相关性。而这些前所未有的来自各个领域、不同形式的数据，赋予了大数据强大的力量。

4.低值密度(值)

大数据的价值密度相对较低。数据的价值密度与数据规模成反比，数据规模越大，数据的价值密度越低。大数据的最大价值在于从大量低值密度数据中挖掘有价值的信息进行分析和预测。

与使用结构化数据类型的传统数据挖掘相比，大数据还侧重于非结构化、非抽样和全包含的数据类型。这给大数据带来了更多的有效信息，但也增加了很多没有价值甚至错误的信息。

00-1010大数据已经渗透到世界市场的各个领域，显示出巨大的价值。其在各个领域的具体应用如下。

1.金融领域

大数据广泛应用于金融领域，比如针对个人的信用风险评估。银行是基于

用户的刷卡、转账、微信评论等数据有针对性地推送广告；理财软件通过大数据为客户有针对性地推荐理财产品。总结来说，大数据在金融领域的应用可以概括为精准营销、风险控制、效率提升、决策支持。

2. 医疗领域

医疗行业拥有大量的病例、检测记录、药物记录、治疗结果记录等，这些数据中蕴含着巨大的价值，如果可以加以利用，将对医疗界产生不可估量的影响。疾病确诊和因人而异的治疗方案设定是医疗领域的重大问题，大数据可以帮助建立针对疾病特点、病人状况以及治疗方案的数据库，为人类健康贡献巨大的力量。

3. 生物领域

各国研究人员正如火如荼地推进着人类基因组计划，这促进了生物数据的爆发式增长。基因检测可以帮助人们对自己现在的以及未来的健康状况有更深刻、全面的认识，甚至可以帮助父母在宝宝出生前就对其健康状况进行检测。因此，人类基因组计划是未来人类战胜疾病的重要工具。

大数据可以整合已有的人类基因的检测结果并进行分析，加速人类基因组研究的进程。

4. 零售领域

零售行业可以利用大数据了解顾客的消费偏好和趋势，用以商品的精准营销和相关产品的精准推销，降低运营成本，提高进货管理和过期产品管理效率。大数据可以帮助零售商预测消费者需求趋势，更高效地提高供应链满足需求的能力。对大数据带来的潜在信息的挖掘和有效利用，将成为未来零售领域的必争之地。

5. 电商领域

电商行业的数据集中、数据规模大，可以利用大数据在很多方面进行有效信息的分析提取，如用户消费趋势、地域消费特点等。

电商领域中的大数据应用已经颇具规模，电商也是最早利用大数据进行精准营销的行业。电商可以根据顾客消费习惯提前备货以提高商品送达效率，还可以通过对客户浏览、收藏、加入购物车和购买记录等数据的分析，对用户进行有效的商品推荐，提高销量。

关于作者：王健宗，博士，某大型金融集团科技公司资深人工智能总监、高级工程师，中国计算机学会大数据专家委员会委员、高级会员，美国佛罗里达大学人工智能博士后，曾任美国莱斯大学电子与计算机工程系研究员、美国惠普公司高级云计算解决方案专家。

何安珣，某大型金融集团科技公司高级算法工程师，中国计算机学会会员，中国计算机学会青年计算机科技论坛（YOCSEF深圳）委员。拥有丰富的金融智能从业经验，主要研究金融智能系统框架搭建、算法研究和模型融合技术等，致力于推动金融智能的落地应用与价值创造。

李泽远，某大型金融集团科技公司高级人工智能产品经理，中国计算机学会会员，长期致力于金融智能的产品化工作，负责技术服务类的产品生态搭建与实施推进。

本文摘编自《金融智能：AI如何为银行、保险、证券业赋能》，经出版方授权发布。