11月19日,华为在深圳举办了2019全球数据基础设施论坛。华为Cloud&AI产品与服务总裁侯金龙宣布,面向鲲鹏计算产业,全面启动数据基础设施战略,并开源数据虚拟化引擎HetuEngine(河图引擎),旨在让伙伴像使用“数据库”一样使用“大数据”,让数据治理、使用更简单。
据介绍,华为将数据虚拟化引擎命名为河图,是为了屏蔽数据基础设施的复杂度,让开发者像使用数据库一样使用大数据,复用现有的生态、工具和技能,提升开发效率2到10倍。
“’大禹得河图后始见清明’,传说中,大禹通过河图掌握河流山川复杂的地形地貌,顺利完成治水大业。河图引擎,就是要让数据治理简单,使用简单,更方便的挖掘数据价值。”
今年9月份,华为在全联接大会上发布了“一云两翼双引擎”的鲲鹏计算产业布局,基于“鲲鹏+昇腾”双引擎,全面启航计算战略,为世界提供最强算力。
其中,“一云”是指华为云,是生态伙伴发展的黑土地。“两翼”是指智能计算和智能数据。数据作为鲲鹏产业中的关键一翼,华为将围绕数据构建端到端的能力,包括存、算、用的能力,通过5G+云+AI能力,打造“融合、智能、开放”的数据基础设施,释放数据价值,让智能无所不及!
据侯金龙指出,河图引擎的开源是继今年9月基于“鲲鹏+昇腾”双引擎全面启航计算战略后,华为从数据角度对计算战略的再度阐述。
现场演讲中,侯金龙表示,目前的智能世界,正从数据管理走向数据运营。他以大港油田为例说明,“在经历了50年持续开采后,面临资源枯竭、产量下降的挑战。2019年以来,大港油田采用华为大数据和AI技术,利用测井曲线,结合经验模型生成了每口井的孔隙度、渗透率,找到了更多的新的油气层。通过数据运营,为长期稳产500万吨提供了决策支撑。”
然而,据预测,全球数据量将从2018年的33 ZB快速增长到2025年的180 ZB。但是,产生的数据中仅有不到2%被保存,而被保存的数据中仅有不到10%被应用。
“海量数据的增长背后是需要海量存储和计算的资源,数据增长是无限的,而存储资源却是有限的。”侯金龙指出,为实现这个追求,华为打造融合、智能、开放的数据基础设施,让数据系统从孤立走向融合,从复杂走向智能,从封闭走向开放。
数据应用的核心包括存储和分析。烟囱式IT业务系统带来两个问题:存的时候会产生多个冗余副本,且数据无法流动,存储成本高;分析的时候会导致大量数据搬迁,分析效率低。
通过10余年技术积累和创新,华为在存储、数据库和大数据技术上实现了一系列突破,通过打破4堵墙,让数据的每比特发挥价值最大,数据的每比特成本最优。
据侯金龙介绍,河图引擎,就是要让数据治理简单,使用简单,更方便的挖掘数据价值。它具备4个核心能力:
一个目录:通过元数据在线感知,构建1000+异地异构数据源全局虚拟数据视图,打破数据孤岛,数据全局可视,解决企业找数难问题。
一个入口:通过开放的连接框架、5000节点SQL引擎,实现30种异地异构数据源统一SQL访问,秒级获取,数据全局可得,解决企业取数难问题。
一份数据:通过CarbonData技术,实现一份数据多场景分析,多应用共享,数据零搬迁,数据全局可用,解决企业用数难问题。
统一安全:通过细粒度动态授权、敏感数据自动感知技术,实现异地异构数据源集中式安全配置与管控,数据全局可控,数据授权时间从天到秒,解决企业数据安全与合规问题。
据侯金龙表示openHetu将于2020年6月上线。
华为将开源内核,开发者可以基于开源代码进行定制,包括数据源扩展、SQL执行策略等,实现应用快速对接,提升开发效率。
侯金龙最后表示,华为始终践行“平台+生态”策略,通过硬件开放,软件开源,使能伙伴,共建开放、繁荣的鲲鹏计算产业生态,共同迈入智能时代。