加入人人都是产品经理的产品经理实战训练营【起点学院】,BAT产品总监带你手把手学习产品。
近年来,大数据的概念被炒得很热。看来大数据是一个极其深奥的话题。正好作者在大学的研究方向是大数据相关的人工智能,而我的很多朋友都在大型视频网站、团购网站等互联网公司从事大数据相关的工作,所以在这里我给大家介绍一下大数据的概念。当然不会解释大数据相关技术(CF协同过滤,MapReduce,DeepLearning等。).毕竟读者不太可能自己写大数据程序。我们只从应用的角度告诉你大数据的概念和应用。希望看完这一章,你能知道如何在自己的领域运用大数据的思想和方法来提高效率。
00-1010虽然大数据听起来是一个很高科技的词,但它早已渗透到我们的生活中。比如你每天在线看视频,视频网站推荐的视频都是基于大数据的。你在淘宝上购物,侧边栏给你推荐的东西也是基于大数据的。要理解大数据,首先要从一个大家都很熟悉的简单概念入手,那就是数据分析。“数据分析”是一个现代词,但用数据分析的结果来指导行动,从古至今一直是一个思路。网上有个笑话:
林彪带兵打仗时,有一个特别的习惯,就是每次战斗结束后,都用一个小本子记下缴获的武器种类和数量等数据。没人在乎这个。
有一天,在又一场遭遇战之后,士兵们正在给他念缴获武器的数量时,他突然停了下来,然后激动地指出,这场遭遇战很可能会遇到敌人的指挥部队。原因是这次缴获的小枪与大枪的比例高于普通作战,小车与大车的比例和军官与士兵的比例也高于平均水平,所以他得出了这个结论。
在这一数据的指导下,部队全力以赴追击逃跑部队,成功抓获敌指挥官。
如果这个故事是真的,那么这可能是作者所知道的最早的基于严谨的数据分析来指导行为的例子。进入现代后,人们对数据的分析和应用更加频繁。企业做战略规划要做数据分析,公司做营销规划也要做数据分析。那么,“大数据”和前面提到的“数据分析”有什么联系和区别呢?
00-1010我们知道数据分析需要几个步骤:收集、统计、分析,数据总量与收集直接相关。在互联网兴起之前,人们收集数据的方式无非是人类的观察和记录。当然,后期是用传感器辅助记录的。然而,随着近年来互联网技术的发展,记录的数据收集水平达到了前所未有的高度。在互联网时代之前,人们只能统计一些基本的用户信息:年龄、住址、电话号码、婚姻状况等。在互联网时代,我们可以收集到一个用户的手机上安装了什么应用,他喜欢什么网站,购物记录,他在某个页面停留了多长时间,鼠标点击了页面的什么地方。随着移动互联网时代的到来,可以收集到更多的动态数据,比如用户的睡眠时间、运动量、位置、在商场的移动路线、打车次数、心率等等。这些数据最终汇集在一起,形成一个非常大的数据库。
以林彪为例,假设他的小本子有500页,双面写1000字,那么数据总量约为=2M。和这个互联网时代T和P上的数据量相比,基本上是小巫见大巫了。(1P=1,000t,1T=1,000g,1G=1,000m,一个大型视频网站一秒钟可以产生几百米的用户数据)。这些海量数据的集中,形成了“大数据”最重要的特征:多维、详细、海量的数据。
注:“海量数据”并不是大数据的必要条件,更多的是因为数据的维度多、粒度细,导致数据量的增加。
00-1010由于先进的机器学习算法,我们对大数据的使用范围从计算一个数据结果到通过使用结果和特征推断一个人可能的行为。
103010这本书提到了一个有趣的例子:一位父亲突然收到一张百货公司发来的关于婴儿用品的传单。父亲非常生气,因为他的女儿只有16岁?然而,几天后,他来道歉了,因为,在和女儿详细聊天后,他发现女儿确实怀孕了。
那么,百货公司是如何预测一个人的行为的呢?如前所述,通过互联网,我们可以收集大量用户的各种信息,包括固定属性和一些已有的行为;比如你最近买的。对收集到的数据进行分析后发现,购买婴儿用品的人群有以下特征:年龄范围在14 ~ 40岁,在购买婴儿用品前几个月购买大量酸味食物,等等。那么得到这个结论后,如果再来一个有类似特征的顾客,百货公司就可以猜测她以后可能会对婴儿用品感兴趣。然后向其发送相应的广告。
再比如,智能推荐广告:通过对视频网站的统计,发现点击啤酒广告的人有以下特点:看体育战争视频多,韩剧少。那么显然,下一次有啤酒广告的时候,投这类用户的票会更有效。
注意:以上两个例子只是为了直观的说明大数据预测是如何工作的。在实际应用中,大数据分析引擎要分析的属性比这个要详细得多,使用的算法也比这个复杂得多,往往得不到很多结论。
直观的物理意义的一个组合概率模型。
从慢到快
上述两个特点基本上已经把大数据的形态给刻画了出来,但是,要到实际中应用,还需要再加一个特点:速度够快。
数据收集起来之后,要使用的话,就离不开计算。当数据的量级在几个M时,可能一个计算器就能满足统计需求。当数据量达到几个G时,就必须使用一台计算机来计算。而当有几个T几个P的数据摆在你面前时,一台计算机恐怕已经难以胜任,很幸运的是,我们有了云计算的概念。也就是说,将一个计算任务,分配给”云端“的好多台计算机同时进行处理,从而达到对处理时间的苛刻要求。
云计算技术的发展,使得在大尺度上计算海量数据成为可能。如果没有足够快的处理速度,我们收集起来的用户消费数据,算了半年才出一个结果,那估计用户的消费习惯、社会时尚已经是时过境迁。除了处理速度快,还有一个因素也要快,那就是信息采集反馈的速度。比如,用户电话打进来的瞬间,我们是否立刻收集到该用户相关信息,然后给出用户可能的问题预测?产品投放出去后,我们是否可以很快收集到销量信息以及对应的用户数据?这一切,都决定了我们是否可以有效地将大数据的统计结果应用到商业活动中,最终使大数据从理论的圣坛上走下来,产生了实际的商业价值。综上所述,大数据并不是玄乎其玄的东西,它只是在几种现代技术的推动下,将数据分析做到了极致的结果。
大数据的应用场景
大数据诞生以来,在各个领域都有非常多的应用,比如改善航线、预测污染、优化医疗等等。这里,我们把应用方式分成两大类,分别介绍一下。
精准的广告投放
我们知道广告界的一个难题“如何找到对的那一半人”。而大数据正是可以用来更加精准的定位广告的目标用户。广告投放包括第三方广告渠道和自有广告渠道两种:
第三方广告渠道由于是第三方操作的,所以对于广告主来说只能去选择合适的渠道种类。第三方渠道总体上可以分为两大类:互联网广告渠道(视频网站、门户网站、广告联盟等)和非互联网广告渠道(户外广告、楼宇广告、电视广告等)。目前,互联网广告已经在大数据精准投放上走的比较远,比如前面说的视频网站根据用户点播行为,来投放合适的广告类型。所以,在这样的渠道上投放广告时,只需要广告主能和渠道方合作定义好自己的用户群,便可以将广告投放的比较精准。
非互联网广告渠道,因为没有特别有效的用户细分手段(广告只能投放到人群,而非个人),投放形式本身就限制了其精准的效果。对此,未来的一个出路就是,各种路牌广能采集到附近用户的信息,来动态调整广告内容。
比如,每个广告牌都有一个iBeacon设备,会和打开iBeacon连接的手机产生互动,根据手机信息,反查到用户的性别,从而决定显示什么广告。
而对于自有广告渠道来说,我们可以操作的空间就比较大。拿短息渠道为例,很多公司都会通过手机短信,给用户发送最新的促销信息,但是,以往这种信息通常是全量发送,或者是根据一定的可视化的分类(例如,信用卡的消费额度)来分类发送促销信息。而我们有了大数据的武器后,就可以对用户群进行进一步细分,甚至是1对1的发送。比如,信用卡公司可以根据用户的刷卡的频次、场所、购物内容、还款的及时性、消费时段等等来作为分析因素,来预测用户对什么样的商品感兴趣,从而发送相应的商品广告。再比如,化妆品公司,可以根据用户的年龄、工作内容、作息习惯、娱乐场所、季节、婚育状况、衣着习惯、朋友圈话题等等,来预测她可能更关心什么样的皮肤护理问题,从而推荐对应的化妆品门类。通过对多维度、细致的信息分析,使得广告推送更有针对性
个性化的用户服务定制
个性化服务要解决的问题是,不同用户服务内容和定价的个性化。以我们熟知的车险为例,目前的定价方式,只是简单的根据用户的年龄、驾龄、婚姻状况、车价和以往的车险理赔记录等显式的属性来进行区分,而在大数据时代,则可以把这种区分做到极致的个性化。比如,我们可以统计用户的驾驶习惯(驾驶时间,单次驾驶时长)、驾驶环境(常去路线的交通状况、总体事故率、季节天气)、身体状况(生病频率等),来更加针对性的对用户的理赔概率进行估计,从而得到更加合理的投保额度。再比如,对于培训机构来说,可以分析特定属性的用户(年龄、性别、各种成绩等),对特定类型的授课方式或者授课内容的成绩反应,来有针对性的进行课业的搭配,从而使每个用户的成绩达到最大化。同样,医学领域,也可以利用大数据来进行个性化疾病预防和治疗。智能穿戴设备为这一切打下了坚实的基础:
手环,监测你的运动量、心跳变化智能血压仪,每天监测血压体重秤,每天体重变化空气净化器,监测环境的污染情况上网习惯,检测你的作息时间订餐记录,检测你的饮食情况
如果以后有了更方便的血液检测手段,每天能获得血液检测记录,那将是更有效的数据
这些数据分散开的话,最多只会影响对人们的生活习惯,比如,体重重了,要少吃多运动。但是一旦数据全都被打通,结合大数据分析技术,就可以预测出每个人的疾病发病概率。对每个人治疗时,也可以在药物和用量上变得更加有针对性。
机遇与挑战
大数据应用在国外已经兴起很长时间,但是在国内,却是刚刚起步阶段。一方面是国内对数据收集的管控比较严,导致数据基础设施没有跟上。而更重要的,还是人们对大数据的理念还没有完全吃透,大部分大数据应用的思想,只为专业的大数据工程师所掌握。而就在我们还没有准备迎接传统互联网大数据的潮流时,近几年,移动互联网有了势如破竹的发展。大部分公司,移动端业务,都已经超过了PC网站,这给大数据带来了新的机遇与挑战:
(随着种种O2O连接技术的发展,使得商家能够更方便的触摸到附近的用户,而因为用户的移动性,需要商家能够在用户经过线下店的短暂时间内作出响应)
如果广大产品设计者,能够充分掌握大数据思想,在设计产品时,打通数据之间的壁垒,将海量数据同服务更加有效的连接起来,相信各个行业都会迎来一片更广阔的天地。
本文由 @石头的假设(微信公众号: deer_hunting ) 原创发布于人人都是产品经理 ,未经许可,禁止转载。
内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/248603.html