首页科技娱乐体育干货女人设计时尚旅游美食语录健康

2015/12 大数据动态

2015-12-25 06:24:00来源:20区编辑:转角遇见你

2015/12 大数据动态

(大数据动态)几位技术名人宣布他们对一家非盈利人工智能实验室OpenAI进行10亿美元的投资。 投资人包括: 特斯拉创始人Elon Musk, Y Combinator主席Sam Altman, LinkedIn的联合创始人Reid Hoffman, 前Stripe CTO Greg Brockman,知名投资人Peter Thiel, 亚马逊AWS, 咨询公司Infosys等。 OpenAI团队在他们的博客中称, 因为我们的研究没有财务目的, 因而可以更好地聚焦在如何为人类带来正面的影响。我们相信人工智能将是人类意愿的延伸, 应该在自由精神的引领下, 尽可能地快速和广泛地安全传播。来自谷歌的科学家IIya Sutskever将担任总监。前Stripe CTO Greg Brockman将担任CTO。Elon Mus评论称: 我曾经一度对人工智能有过担心。 我们在思考是否有一种办法能够保证, 或者提高AI被良性应用的机率的办法。 基于这些考虑, 我们决定建立一个非盈利组织, 不以最大化利润为目的的研究组织。


(大数据动态) Connexity, 一家位于洛杉矶的市场服务公司, 为多家流行的购物平台提供支撑,如比价网站Shopzilla, 从Experian,世界上最大的信用数据公司之一,收购Hitwise。 Hitwise提供工具帮助市场营销人员衡量用户的跨平台点击行为,追踪在线搜索的趋势,竞争对手的资料,市场份额等等。该产品于1997年在澳大利亚推出, 2007年被Experian收购。Connexity前身是比价网站Shopzilla, 去年九月更名为Connexity, 同时从一家电子商务公司转型为市场服务公司。Connexity最近一年收购了三家著名的公司, 包括PriceGrabber, Become.com。 Hitwise对Connexity最大的吸引力可能在于它的AudienceView工具, 用于制定市场计划和客户分群。 一旦和Connexity整合, 将帮助零售商比较客户偏好, 人口信息, 以及线上线下客户行为。 Connexity的一系列收购不仅帮助他们更好的提供消费者线上行为趋势数据,同时帮助他们增强在全球的影响力并获取新的客户。 与此同时, Connexity的母公司STG, 宣布收购Experian的另一项资产Simmons. Simmons发布的国家消费者调查,是一个庞大的市场信息和用户数据库。Simmons和Hitwise都在Experian的客户洞见部门之下。 这两项收购总额达4650万美元。Experian看起来将利用这些资金聚焦于信用报告,信用评级和反欺诈业务。




(大数据动态) IBM在慕尼黑设立Watson IOT全球总部, 和Watson IOT的全球另外8家客户体验中心相互补充。 IBM同时也创建4个新的API服务以连接IOT和Watson, 包括自然语言处理, 机器学习, 视频和图像分析,以及文本分析。 其目标是促进第三方开发具体工业的Watson应用。 IBM IOT副总裁表示“我们看到认知将改变IOT。 Watson的长处在于规模, 能够处理多个数据流,并发现其中的关联。 比如,当IOT传感器用于机器或系统操作时会每秒产生出上百兆的数据需要跟踪和分析。 IBM新的Watson IOT系统基于今年早期的开发。 今年3月, IBM宣布在未来4年里投资30亿美元用于IOT建设。 今年10月, IBM宣传收购The Weather Company的大部分资产,并称将利用其中很多元素作为IOT认知计算和洞见云服务的基础。 在前端API里, IBM聚焦在Watson的实际应用。 自然语言处理API使得app可以处理语音, 依赖Watson处理查询, 梳理与查询相关的不同类型的数据并提供推荐。 机器学习API通过app和Watson合作实时跟踪机械系统, 梳理数据以获得实时状态更新。 视频和图像API可以用于安全监测录像等。 而文本分析API使得用户可以处理非结构化数据, 如维修记录和工程师笔记, 并通过认知系统和其他数据结合。 IBM同时宣布了和西门子及Verizon的两项合作, 分别为建立智慧建筑以及利用设备数据为未来的API开发进行探索。


(大数据动态) 微软宣布一项新的客制化语音智能服务预览,Custom Recognition Intelligence Service(CRIS)预览。 该技术是一项高度客制化的语音转文字工具。 通过这个工具, 人们能够更加容易地识别困难环境下的语音, 如在嘈杂的公共场所中。 也能够更好地帮助那些理解语音有困难的人群, 如说非本族语或有语言障碍的人群。 微软同时对外推出两套新的API。语音API能够识别和验证发音者,视频API能够跟踪,识别静态背景并稳定视频内容。 所有这些技术都属于Oxford项目的范畴。该项目向开发者提供微软的人工智能技术。


(大数据动态) 微软在第6届ImageNet图像识别竞赛中在7个类别获得第一名,超过了来自谷歌,英特尔, 高通,和腾讯, 以及来自初创公司和研究所的系统。获奖的系统来自微软研究院由四位华人组成的团队。这项竞赛要求参赛者将来自Flick和不同搜索引擎的10万张照片进行定位和归类到1000个类目。 正确率最高者获胜。 微软在分类上的错误率为3.5%。 该团队使用了深度达到150层的神经元网络系统, 该层数比以往任何成功使用的神经网络的层数多5倍。 他们提出了全新的深度残差学习框架,重构了学习的过程,并重新定义了深层神经网络中的信息流, 使得深层网络能够得以优化和收敛。在此之前, 微软曾经非常幽默地展示了他们在图像识别领域的能力,如我们之前介绍的,猜年龄,分析胡子,等应用。同时也通过Oxford项目将这项能力商业化。


(大数据动态) 谷歌宣布BigQuery云端数据分析服务的几项升级。 其中最大的一项功能是设定配额, 防止用户突然某一天花费过多。 使用这项新的客制化配额功能, 管理员可以为用户或整个项目设定配额。 谷歌同时推出Query Explain, 将SQL查询放在类似X光的检查下以观察内部结构。 开发者可以看到自己的查询在读,写,和计算上是否繁重,发现影响速度的瓶颈,发现错误,并优化代码。作为不断增加的谷歌云平台的一部分, BigQuery抽提出核心的计算和存储,提供一个简单的用于存储和查询的数据仓库。 除了不断推出新的功能, Google也在不断地降低价格, 拓展全球覆盖率。 谷歌云在比利时建立了数据中心。 通过流API使用BigQuery进行实时的数据部署已经支持到欧盟国家。




(大数据动态)MapR, 全球三大Hadoop开源大数据软件提供商之一,宣布推出新的产品MapR Streams。该公司称此项技术是一个实时的全球事件流系统。MapR Streams链接和跟踪来自多个数据源的数据流。 开发者可以利用Streams建立可扩展的大容量系统以处理来自成千上万个地方的关于上百万个话题的亿万级消息。 MapR的COO称, 目前的操作系统已经能够很好地处理数据, 但是数据平台仍然落后, 实时数据分析并不容易。 MapR Streams对来自各种数据源的数据流提供实时分析。 使得我们知道what is happening. 其主要思路聚焦在数据和app之间的中间层处理。 MapR COO称, 这将是企业计算十年来最大的改变。 MapR Streams是一类公开订阅Messaging系统,完全和Apache Kafka这样的工具兼容。 其表现和Kafka相当。和Kafka的差异在于, Streams不需要Hadoop之外另外的服务器集群Hadoop, 同时也不会是开源软件。 MapR一贯支持自身特有的工具, 包括MapR-DB数据库和MapR-FS文件系统。Messaging基础架构的整合将使帮助MapR与对手竞争, 如最近收购Onyara的Hortonworks, Intel支持的Cloudera, 最近也推出了Kudu开源存储引擎。 Messaging近来变得越来越重要, 如微软推出Azure Event Hubs服务, Amazon推出Kinesis Streams。


(大数据动态)谷歌本周称, 他们已经证明了谷歌和美国宇航局在2013年购买的备受争议的量子计算机D-Wave是可行的。 谷歌和美国宇航局在2013年从加拿大创业公司D-Wave购进世界上第一台商业量子计算机。 该机器安装在美国宇航局位于加州的Ames研究中心,通过一个称为量子退火的超导芯片来运行数据。然而, D-Wave的芯片一直受到量子物理学家的争议。 研究人员一直无法证明该设备能够利用量子力学的原理进行计算并击败传统计算机。然而就在本周, 谷歌量子AI实验室的负责人称,他们已经得到了一些坚实的证明。他们设计了一系列竞赛以比较D-Wave和传统单核处理器计算机, 在一项特殊设计的概念性问题的计算上, 得到了一亿倍的速度提升。 谷歌发布的这一研究结果仍然有待同行评估。 虽然谷歌的这一结果惊人, 但仍然只能部分解决人们对D-Wave的疑虑。 毕竟这是基于特定问题和特定算法。除了购买D-Wave, 谷歌自身也建立了专门的实验室研究量子计算机, 同时,美国政府,大学,微软, IBM都在研究这一技术以期开发出通用的量子计算机。


(大数据动态)微软最近升级数字助理Cortana,整合Power BI功能. Cortana和Power BI之间的连接将帮助人们从企业数据中产生洞见。 Cortana作为用户界面使得用户可以就Power BI中存储的信息提问。 Power BI使用自然语言搜索功能, 问答功能等帮助用户学习。 用户可以在Cortana中使用Q&A的方式或直接提问的方式, Power BI将分析用户数据并给出答案。 这项整合充分利用了Power BI的可视化能力, 以图,表,数字,报告的形式展示问题答案。 例如, 但用户询问加州的客户花费情况,会得到展示在加州地图上的详细数字。 这些问题的答案可能是从数据中直接产生,也可能是Power BI中已经产生的报告中输出。 如果用户希望更深地探索,可以通过Cortana打开Power BI进行深入挖掘。 微软同时宣布为Power BI添加新的功能, Quick Insights, 以加速数据分析。 Quick Insights使得用户可以在同一批数据上运行不同的算法来寻找洞见。 Quick Insights是Power BI和微软研究院的联合产品。 双方合作拓展了算法类型并能够在几秒钟之内自动发现可视化趋势,关联, 变化点等等。




(大数据动态)维基百科正在实施一项人工智能项目来帮助控制恶意编辑。 该工作名为ORES, Objective Revision Evaluation Service的简称。 维基百科成立于2001年, 依赖于大众产生信息及志愿者编辑。志愿者编辑从几百名增长到几千名,并在2007年到达顶峰, 56400名, 但从此以后数字开始下降。 据称, Wiki每天有50万条信息需要编辑,志愿者编辑每年投入的时间高达1200万小时。 人工智能的引入将会极大地提升效率, 让机器去处理机器可以胜任的工作, 让人类集中精力在需要人类擅长的工作。 ORES将为每一条信息编辑进行评分, 为人工编辑的进一步审查进行预判。 人工编辑目前花费大量的时间进行信息归类, 链接, 及质量评估。 而这类工作正是机器擅长的,也是ORES将要提供的服务。有了人工智能工具的帮助, 人工编辑们将会把时间用在那些需要特殊关注的工作上,给予新人更多支持, 对信息进行评论等。 维基百科称这项工作只是冰山的一角, 相信这类人工智能服务将会产生出更大的想象空间。


(大数据动态)谷歌生命科学部门更名为Verily, 成为母公司Alphabet下和Google独立的一个子公司。 Verily意为truly and certainly。 谷歌生命科学将致力于利用科技帮助人们理解疾病和提高人类健康。 该部门在2012年诞生于2Google X内部, 当时的初衷是开发智能隐形眼镜,今天覆盖的研究范围已经远远超过了3年前的设想。 Verily称: 一辆新车使用将近400个传感器及时探测跟踪, 我们了解实时的油压, 轮胎气压,但是我们人类对自身的了解却知之甚少。 他们的使命是结合生命科学和技术来发现关于健康和疾病的真相。 公司将致力于疾病的早期发现, 更好地理解,已经在疾病发生过程中更加精准地干预。Verily由四个核心部门组成: 硬件部聚焦在开发更加精细的医疗工具和设备。软件部门由分析师,软件工程师和设计师组成, 开发产品和算法以分析医疗数据识和用于诊断的模式识别。 临床部门与医院,政府,和医疗协会合作将技术应用在健康和疾病的研究上。 同时医疗专家与软件硬件部门紧密合作。 最后一个是科学部,主要研究疾病的演化, 如癌症,糖尿病, 和心脏病。 开发自动实验和计算系统,生物平台,以及生命科学工具来收集生理数据。


(大数据动态)人类距离量子计算更近一步。澳大利亚新南威尔士大学的科学家在量子计算领域取得突破性进展, 为超级计算机的制造铺平了道路, 使量子计算可能得以成为现实。 他们使用硅材料创造出两个“量子比特”,实现他们之间的对话,并完成计算。 新南威尔士大学的研究小组在最新一期《自然》杂志上报告说,这项结果表明制造硅量子计算机所需的所有模块都已得以实现。 在此之前的研究人员也曾经实现过两个量子比特的计算, 但使用的是昂贵的材料如钻石, 并且在大规模计算时表现不佳。使用硅晶管的关键优势在于理论上可以连接成百上千的硅晶管进行大规模计算。 传统计算机采用二进制法读入数据, 而量子比特(qubit)可以在同时处在多个状态, 从而使得多个计算同时发生。 成功的量子计算机将会在几天内完成传统计算机需要几百年才能够完成的计算。此项研究实现了两个量子比特的链接, 真正的量子计算机的实现需要成百上千的量子比特之间的连接。


(大数据动态)谷歌宣布推出Cloud Vision API, 使得开发者可以应用该工具在自己的应用中进行图像识别。谷歌具有强大的图像识别技术, 在多个领域成功应用。 Cloud Vision的产品经理称,像TensorFlow这样的平台驱动的机器学习的进步使得人们得以从图像中学习和预测。Cloud Vision囊括了各种复杂的工具并以易于使用的方式提供给开发者。谷歌早已开放Prediction API, 但一直不支持图像, 这次宣布的图像识别开放是谷歌的一项重大决定。也是在竞争激励的云服务市场增加自己的竞争力。 Microsoft在其云服务Azure中也提供图像识别功能。


(大数据动态)Antuit Holding, 一家总部位于新加坡, 由Goldman Sachs投资的大数据公司最近收购了日本一家数据管理软件公司AuriQ Systems。Antuit称他们将把AuriQ的数据管理工具与其自身拥有的数据管理平台进行整合。 这一收购将帮助Antuit进入日本市场。 Antuit是一家成立于2013年的早期创业公司, 以analytics-as-a-service的商业模型集成了数据管理,可视化, 预测和优化工具, 这两年来快速发展。服务行业聚焦于供应链和运营管理, 并与全球企业合作进行物流优化及库存管理并取得良好效果。 今年早期Antuit获得了Goldman Sachs 5600万美元的投资, 并在今年4月收购了芝加哥一家零售及快消品行业的数据分析公司Prognos。 Goldman Sachs近来加速了在大数据领域的投资。 他们认为数据分析这个市场所处阶段正如上个世纪九十年代的IT服务时期以及2000年时的业务流程外包时期。 这家华尔街的投资银行认为数据的快速产生,数据计算速度的大幅增加,以及数据科学的快速发展极大地驱动了大数据行业。




(大数据动态)联合国气候变化大会COP21在巴黎召开。 法国一家初创公司Plume推出全球实时空气污染地图。Plume从全球150个监测站获取数据,并在移动端实时展示。 赶在COP21召开之际,Plume特地开发了全球空气污染实况图以唤起人们的紧迫感。 该应用采用非常鲜明的可视化, 利用实时变化大小和颜色的球来表示空气的变化情况。随着空气污染的程度高低,球的颜色从淡蓝到黑。在全球地图上,最黑最大的球出现在北京地区。


大数据动态)美国感恩节黑色星期五零售数据出炉。 据Adobe统计, 线上零售额达44.5亿美元, 相比2014年提升14%。 在线零售1/3的用户使用手机进行购物, 占整个线上零售额的22%, 相比2014年提升70%。其中最大的赢家有:Apple, iPad Air2和iPad Mini是销量最高的3C产品。 而在移动端零售中,75%的销售在苹果手机上发生。Amazon Fire7不仅在自己网站,同时也是best buy的热销商品。Amazon在网络和社交媒体中产生的影响力超过其他零售商。J.C.Penny ,在吸引顾客上做出最大努力, 包括促销优惠高达68%, 远高于竞争对手Macy’s和Kmart, 且营业时间最长, 从凌晨3点开始。这场零售大战中表现不佳的选手有,Neiman Marcus, 这家美国高档百货商店的网站在早上8点宕机, 直到周六才恢复正常。Walmart, 在移动端取得成功,50%的线上销售来自于移动端。然而实体店外的员工低工资抗议却为这家零售巨头的表现抹上阴影。


(大数据动态)大數據將為精准醫療領域帶來革命性的突破。 發表在自然雜誌上的統計文章表明, 美國銷量最高的10種處方藥物中, 藥效最高的藥也僅僅對1/4的病人有效, 有些甚至是1/25。 無效的主要原因在於我們的基因,蛋白質,及身體微生物環境不同。在過去的幾十年間, 醫藥界一直被指責只聚焦在白人群體上,忽略了其他種族和國家的人群。昂貴的研發費用使得醫藥公司一直在該領域駐足不前。 醫療大數據的出現改變了我們設計和實現測試的方法。使得個性化精准醫療成為可能。 這裡我們介紹美國目前在進行的幾個大數據醫療項目, 使得我们对这个领域的进展有所体会

  1. 美国国家卫生健康中心开展的精准医药人群项目,年耗资1.3亿美元, 将在未来的3-5年中收集100万美国人的医药数据。 所有参加者的基因序列数据,病史,生活习惯和环境将被跟踪。 该研究将会产生具有巨大价值的医疗数据宝藏,并开放给感兴趣的研究人员。

  2. 美国国家癌症研究院分子分析治疗项目,将会招收1000名癌症患者,发现特定肿瘤和特定药物的精准匹配。该项目将会寻找对常规癌症治疗没有反应的病人,将他们的肿瘤和对特定遗传标记有效的药物匹配。通过将基因和精准药物匹配, 该项研究将有可能成为史上最重要的癌症研究。基因序列的庞大数据使得该研究在今天的计算能力的支持下才成为可能。

  3. 乳腺癌诊断研究。在乳腺癌的钼靶检查中, 大约10%的女性会被召回,而被召回的人中只有5%真正患有癌症。 该项目将会招收10万个女性, 研究钼靶是否是检测乳腺癌的有效手段。




(大数据动态) 最近Intel首席数据科学家Bob Rogers接受媒体采访,分享了Intel在该领域的工作及如何成功应用大数据的体会。 Rogers称, Intel出售芯片, 并不销售服务和软件。 Intel的战略是Empower分析生态系统。 作为首席数据科学家, Rogers的角色为两重。 一是负责Intel内部的数据科学项目, 另外则是作为大数据的传道士, 宣传大数据,帮助外部企业在大数据项目上取得成功。在内部,Intel正在利用语意分析引擎,通过加入非结构化数据提高数IT帮助平台的工作效率,并为Intel分销商提供成功经验。 在外部, 作为Intel的首席数据科学家, Rogers有机会看到大数据给不同行业和组织带来的机遇与挑战。他看到企业在实施大数据项目时容易犯的最大的错误之一是建立庞大的数据栈, 汇集所有的数据, 期待能够从中浮现出洞见。往往最终的结果是投入巨大,产出甚少。Rogers提倡从一个具体的问题和挑战入手,建立所需的最小的基础架构。 Intel自身建立了大数据基础架构,并和传统的数据架构并行。而这个大数据栈最重要的组成来自于非结构化数据, 直接的应用为服务于分销商的推荐引擎。 展望未来,Rogers认为两个有巨大潜力却还尚未实现的领域是IOT和非结构化数据.


(大数据动态) Cogito, 一家实时行为分析公司最近获得550万美元的A轮融资。 该公司通过分析声音来引导客服提升与客户的交流方式。其技术来自于MIT媒体实验室的研究,并被国防高等研究计划署DARPA验证。Cogito提供一套实时测量系统衡量客服对话的质量, 如对话的友好程度, 客户体验的,质量等。 同时给出实时的提醒, 比如在客服语速过快时建议放慢速度, 客服比较紧张时建议放松,监测到客户沮丧时也会给出预警。其主要目的是帮助客服提升服务质量。 据称推荐的准确度高于85%。 目前的对客服的衡量只有一些硬性指标, 如时间。 客户满意度只能依赖于事后的客户调研来完成。 实时获得客户的情感数据并给客服提供实时的建议提醒将有可能成为一个重大的突破。


(大数据动态) Salesforce宣布为市场云加入新的预测功能帮助市场营销者预测客户行为。 第一个功能, Salesforce称为“市场云预测评分”,对顾客的意向概率进行打分, 如预测客户下载app或进行购买的概率。 另一个功能称为“预测观众”, 为企业产生客户名单并设计有针对性的计划。 如为公司提供有流失意向的客户名单。Salesforce平台利用CRM数据,市场营销数据,以及相关的情景数据, 如网络浏览数据及邮件信息来进行预测。 数据实时分析,推荐引擎能够在每一次客户互动后调整推荐。 这两项功能将被包括在Salesforce Marketing Enterprise版,对Pro和Corporate版本以$125/月的价格作为添加出售。


(大数据动态) 几乎是和Salesforce发布的同一时间, Oracle宣布改进Oraclie市场云以帮助市场营销者和消费者进行链接。 市场云服务大战越演越烈, 主要的玩家除Salesforce, Oracle之外,还包括Adobe, Marketo, 和Demandbase。 Oracle称,这次升级使得市场营销者可以协调各类客户参与数据,清晰识别市场活动对销售的贡献,以及优化客户的个性化体验。新的发布包括提升市场云的销售工具, 帮助销售更好地理解每一个客户视图并提供相关的交流内容, 同时推送到移动端。Oracle增加了更多in-app messaging, 帮助市场营销者在移动应用中推送正确的信息,这一功能同时有望拓展到邮件,社交媒体,及其它渠道。推出自助服务工具使得用户可以将Oracle DMP数据发送到其它广告和媒体平台进行整合。推出多元测试工具, 在传统的A/B测试上更进一步,同时允许8个不同版本信息的测试及分析。 最后发布一套新的dashboard使得市场营销者可以将转化率和具体的内容及客户交互相关联,并基于具体的客户参与和相关转化建立报表。 Oracle市场云服务总经理表示, 当我们展望2016,拥抱数据,将现有流程现代化的能力,技术以及内容决定了一个企业的成功与否。 对于大多数市场营销者来说这需要重要的变革。 而这正是Oracle的战略焦点, 提供一体化,更加易于使用的市场技术。


(大数据动态) 微软CEO Satya Nadella在美国首都华盛顿发表微软安全咨文, 指出微软的安全展望以及相关的工具技术。 微软的安全策略关键在于不仅仅是保障微软生态系统中的元素Windows, Azure, Office 365安全,同时保障基础设施, 个人移动设备及企业使用的服务的安全, 不论是微软的还是其他厂商的产品。Nadella指出, 我们生活在一个越来越数字化的时代,信息的流动以及未来无处不在的传感器为安全提出了前所未有的挑战。 微软将在安全领域不断前进, 然而这一定需要工业界,政府,法律,消费者和用户的共同努力。Nadella指出, 2015年是非常艰难的一年,前8大数据泄漏事件导致1.6条数据记录被窃。 网络安全造成的经济损失每年高达3万亿美元。Nadella试图向大家表明微软对安全的高度重视,微软的产品能够帮助用户防御。微软的新产品,Security Graph, 为企业展示全面的安全图像。Windows 10, Office 365, Azure, 以及Microsoft Enterprise Mobility Suite (EMS)联合起来为用户提供一个整体的,灵活的,安全的平台。



(大数据动态) Forrester Research最近发布对2016年大数据领域的预测,引起美国科技界的关注。 主要观点如下:

    • 数据领导力驱动成功的数据战略。 首席数据官在2016年将在统筹资源,制定数据战略上起关键作用。但是随着战略方向的明确并进入执行层面, 这一角色将逐渐淡化,越来越多的首席分析官,首席数据科学家将会涌现。

    • 随着企业数据文化的发展成熟, 数据管理的功能将会退居二位。机器学习工具将会取代人工进行数据监管。更多的时间将会用于数据分析及驱动业务。

    • 来自各个行业的企业将进入数据市场。 在2016年,我们会看到众多的企业试水数据销售。

    • 1/3的企业将通过外包或外部技术服务(包括算法软件,分析工具,认知计算计算能力等等)购买数据科学以缩短差距。

    • 数据流采集及分析将成为企业求胜的必需。

    • 算法市场引起关注。 企业将越来越意识到购买算法比自身开发更高效。 小到算法公司如Algorithmia, Algo market, 大到微软,IBM的机器学习平台都将获得更多关注。

    • 数据中间商,技术厂商,市场数据管理平台(DMP)都意识到将洞见销售(insight service market),而非数据销售作为一项服务。 2016年将一个重大的战略转型期,也是混乱期。


(大数据动态)最近Adobe组织的一次关于IOT的讨论会中,12位CMO (Chief Marketing Officer),来自平台企业的高管,和学者一起讨论了IOT对零售业的影响。 他们预计到2020年, 15%的销售将来自于传感器。 产品包装本身将成为传感器。 当商品用完时, 将自动发出更换的信号。 前耐克移动及网络设计总监指出,产品本身可能比消费者更加清楚什么时候需要替换。 比如汽车轮胎比消费者更加清楚什么时候需要更换新的轮胎, 鞋子本身比穿鞋的人更知道什么时候需要换一双新鞋。 目前已经浮现一些非常清晰并很可能受到消费者喜爱的应用。比如洗涤剂品牌, 如果在包装瓶上安装传感器告诉用户使用的速度和需要更新的时间,这个品牌将会得到消费者更多的信赖。 亚马逊的Dash Buttons是Consumer IOT领域的先驱。 这些按钮通过wifi连接网络, 客户可以一键再次订购商品。 而这样的体验仍然需要消费者按下按钮触发购买。 未来更加自动/被动的购物(passive buying)甚至省去了客户的任何行动。 这不仅将改变用户的体验, 而且可能会改变分销网络的形态。不过零售商们虽然对远期的图像很清楚, 但在近期如何启动,迈出第一步却仍然处在探索当中。


(大数据动态)大数据将为精准医疗领域带来革命性的突破。 发表在自然杂志上的统计文章表明, 美国销量最高的10种处方药物中, 药效最高的药也仅仅对1/4的病人有效, 有些甚至是1/25。 无效的主要原因在于我们的基因,蛋白质,及身体微生物环境不同。在过去的几十年间, 医药界一直被指责只聚焦在白人群体上,忽略了其他种族和国家的人群。昂贵的研发费用使得医药公司一直在该领域驻足不前。 医疗大数据的出现改变了我们设计和实现测试的方法。使得个性化精准医疗成为可能。 这里我们介绍美国目前在进行的几个大数据医疗项目使得我们对这个领域的进展有所体会:

  1. 美国国家卫生健康中心开展的精准医药人群项目,年耗资1.3亿美元, 将在未来的3-5年中收集100万美国人的医药数据。 所有参加者的基因序列数据,病史,生活习惯和环境将被跟踪。 该研究将会产生具有巨大价值的医疗数据宝藏,并开放给感兴趣的研究人员。

  2. 美国国家癌症研究院分子分析治疗项目,将会招收1000名癌症患者,发现特定肿瘤和特定药物的精准匹配。该项目将会寻找对常规癌症治疗没有反应的病人,将他们的肿瘤和对特定遗传标记有效的药物匹配。通过将基因和精准药物匹配, 该项研究将有可能成为史上最重要的癌症研究。基因序列的庞大数据使得该研究在今天的计算能力的支持下才成为可能。

  3. 乳腺癌诊断研究。在乳腺癌的钼靶检查中, 大约10%的女性会被召回,而被召回的人中只有5%真正患有癌症。 该项目将会招收10万个女性, 研究钼靶是否是检测乳腺癌的有效手段。


(大数据趋势) 美国一家数据分析公司RJMetrics基于LinkedIn数据对数据科学家做了统计分析。 该分析基于LinkedIn上发布的个人信息, 包括职业描述和职称识别数据科学家,分析了6万个简历和6200家公司。 在LinkedIn上共识别11400个数据科学家。 主要发现有高科技行业雇佣了45%的数据科学家, 其次是教育8.3%, 金融7.2%, 以及市场和广告行业5.2%。雇佣数据科学家最多的十家公司是: Microsoft, Facebook, IBM, GlaxoSmithKline(制药公司), Booz Allen Hamilton(咨询公司),Nielsen(市场调研), GE, Apple, LinkedIn, Teradata。 谷歌不在其中。可能是因为谷歌的数据科学家名称为定量分析师。微软和Facebook在2014年加速了对数据科学家的招聘。 其中微软增加了151%, Facebook增加了39%。数据科学家的top skills为: R, Python, machine learning, statistics, SQL, MATLAB, Java。79%的数据科学家拥有硕士学位,38%拥有博士学位。来自最多的专业是计算机,商业管理,统计,数学,和物理。


(大数据趋势) 初创公司H2O.ai宣布完成2000万美元B轮融资。 H2O,之前名为Oxdata, 是一家专注于简化客户使用机器学习技术的软件公司, 提供开源的机器学习平台。该公司目前有5000家客户,其中包括Cisco使用其软件每个季度运行6万个propensity model, 汽车保险公司Progressive利用H2O模型处理驾驶数据, Google利用H2O根据每一个客户不同的购买时间拟合不同的模型。 其它付费客户包括AT&T, Capital One, Comcast等大型企业。 该公司称其软件下载在以300%的速度增长, 包括Stream和the Apache Spark-based Sparking Water两个产品, 均为开源。 H2O专门针对大数据为用户提供快速和灵活的机器学习。 使得用户可以快速拟合成百上千的模型。 该公司称全球10%的数据科学家都在使用H2O软件。公司 CEO Sri Ambati表示,未来 H2O.ai 将让机器学习变得更加简单易用,将基于既定规则的软件转化为基于实时学习的智能应用,并将通过云端 API 使预测功能大众化,使预测能够像搜索一样任意进行。


(大数据趋势) 微软继发布了人脸识别猜测年龄的应用之后,该团队近期又发布了一项最新的有趣应用猜测人的胡子的长短。 该网站mymoustache.net在上线短短几天时间已经分析计算了5500张脸, 为上传的照片识别有胡子, 略有胡子和很多胡子。 Mymoustache.net是一个微软车库项目, 使用微软牛津项目人脸识别API开发。 该项目希望能够展示牛津项目API能为健康做些什么, 在向人们展示机器学习技术的能力的同时该项目也发起募捐呼吁人们对男性健康的关注。


(大数据趋势) 最近美国NIH, 国家卫生研究院报道了大数据在糖尿病研究上的一项重要进展。 该研究通过采用来自于11000名志愿者的电子病历数据和基因分析数据对常见的2型糖尿病进行了深入研究,获得新的发现。该研究首先基于患者的化验数据,血压,身高,体重等73个特征为患者建立了一个类似社交网络的网络分析, 只是连接患者的不是他们之间的友谊,而是医疗信息。 研究者们发现2型糖尿病患者明显地分为3类。 第一类容易发生微血管疾病, 导致失明。患者通常年轻肥胖。 第二类易肺部疾病和癌症的风险很高。第三类易患高血压和动脉硬化。 接下来研究人员对三组患者的基因进行了分析。 基因分析揭示某些基因和这三类患者临床特征的强烈关系。这类研究将能够帮助我们更准确地监测,管理,并希望最终预防这个影响美国1/10人口的疾病。


(大数据趋势)法国首都巴黎发生多起恐怖袭击。到目前为止,已有至少120人遇难。在2001年美国911事件之后,美国通过了爱国者法案,并开展了大规模监听行动 (PRISM),用大数据的方法寻找线索,预测并防止恐怖袭击的发生。相比之下,欧洲视个人隐私为基本人权,拥有强大的隐私保护法律。今年10月6日,欧洲联盟法院因对个人隐私的关注中止了与美国科技公司的用户数据交换协议。另外,斯诺顿事件之后,很多私人通讯工具增强了加密措施,进一步加大了监听的难度。一位驻布鲁塞尔的外交官称: 我们边境是开放的,但信息是封闭的,这种情况无法继续下去。巴黎恐怖袭击之后,各国政府对私人通讯监控的政策有何变化,值得关注。


(大数据趋势)丰田汽车公司宣布在硅谷建立一家新的公司, 丰田研究院,致力于人工智能和机器人的研究。 丰田将在未来的五年中为研究院投资10亿美元。该公司总部位于斯坦福大学附近, 另外一个地点则位于麻省理工学院附近。 公司将于明年1月开张,并计划雇佣200人。该公司由Gill Pratt领导, 丰田顾问, 前美国军队国防高级研究项目管理人。 在行业先驱谷歌和特斯拉已经开发了自驾汽车的时代,传统汽车制造商这样的投入并不惊讶。 尼桑的无人驾驶汽车已经在日本上路。 而丰田则称, 丰田研究院的研究范围将超越无人驾驶汽车走向更广泛的造福人类的领域。 该研究院将聚焦在人机协作的协同自动化, 并在三个方向展开研究。 安全性将不懈地降低事故概率。 易用性将使得每一个人,无论能力都可以驾驶。机器人将利用丰田的户外移动技术用于室内空间, 特别是帮助老年人。 丰田认为人工智能将对未来工业技术产生重大影响,创造一个全新的工业时代。



车品觉,畅销书《决战大数据》作者,高管教练。多年来致力于研究大数据和互联网的发展趋势。现任阿里巴巴集团副总裁,浙江大学管理学院客席教授,中国计算机学会大数据专家委员会副主任、信标委大数据标准工作组副组长,华人大数据学会執行会长、中国计算数学学会第九届理事、清华大学教育指导委员(大数据项目)等职。

 微信原文