实时处理大数据框架(华为开源河图引擎)
实时处理大数据框架(华为开源河图引擎)华为Cloud & AI产品与服务总裁侯金龙宣布开源数据虚拟化引擎HetuEngine为了更好地发展数据产业,让客户和合作伙伴更简单地对接应用与数据,华为宣布开源HetuEngine,开源版本的河图引擎叫openHetu,将于2020年6月上线。“我们将开源内核,开发者可以基于开源代码进行定制,包括数据源扩展、SQL执行策略等,实现应用快速对接,提升开发效率。”侯金龙说。华为Cloud & AI产品与服务总裁侯金龙在大会上发表主题演讲 为实现这个追求,华为打造融合、智能、开放的数据基础设施,让数据系统从孤立走向融合,从复杂走向智能,从封闭走向开放。通过“打破数据处理与数据存储的边界”,实现数据高效共享和分析,降本增效;通过“AI 存储 云”,实现数据全生命周期内智能管理和智能运营,让存储越用越快,价值越来越大;通过“数据虚拟化引擎”,统一SQL语法,像使用数据库一样使用大数
来源:经济日报-中国经济网
经济日报-中国经济网深圳11月19日讯(记者 李方) 今日,华为在深圳举办2019全球数据基础设施论坛,面向鲲鹏计算产业,宣布全面启动数据基础设施战略,并开源数据虚拟化引擎HetuEngine(河图引擎),希望让合作伙伴像使用“数据库”一样使用“大数据”,让数据治理、使用更简单。这是继今年9月基于“鲲鹏 昇腾”双引擎全面启航计算战略后,华为从数据角度对计算战略的再度阐述。华为数据基础设施战略围绕数据“采-存-算-管-用”的全生命周期,通过提供融合、智能、开放的数据基础设施使能各行业释放数据价值。
随着5G、AI和云的普及,数据量正以惊人的速度增长:从1080P到4K、8K,视频数据量将提升40倍,从4K到4K VR要增加6倍以上;未来每辆自动驾驶汽车每天就会产生高达64 TB数据;深圳一个城市有超过200万摄像头,每天将产生80 PB数据,平均保存30天;大量数据过去只需存几天,现在需要保存几个月甚至永久保存。根据预测,全球数据量将从2018年的33 ZB快速增长到2025年的180 ZB。但是,产生的数据中仅有不到2%被保存,而被保存的数据中仅有不到10%被应用。
面对找数难、取数难、用数难等挑战,华为Cloud & AI产品与服务总裁侯金龙表示,“我们希望对数据的采、存、算、管、用实施端到端的整合和优化,让数据在全生命周期内更好用,数据的每比特发挥价值最大,数据的每比特成本最优,让合作伙伴像使用‘数据库’一样使用‘大数据’。”
华为Cloud & AI产品与服务总裁侯金龙在大会上发表主题演讲
为实现这个追求,华为打造融合、智能、开放的数据基础设施,让数据系统从孤立走向融合,从复杂走向智能,从封闭走向开放。通过“打破数据处理与数据存储的边界”,实现数据高效共享和分析,降本增效;通过“AI 存储 云”,实现数据全生命周期内智能管理和智能运营,让存储越用越快,价值越来越大;通过“数据虚拟化引擎”,统一SQL语法,像使用数据库一样使用大数据。
华为将数据虚拟化引擎命名为河图,就是屏蔽数据基础设施的复杂度,让开发者像使用数据库一样使用大数据,复用现有的生态、工具和技能,提升开发效率2到10倍。对于“河图”的命名原由,侯金龙说,“大禹得河图后始见清明”,传说中大禹通过河图掌握河流山川复杂的地形地貌,顺利完成治水大业,河图引擎就是要让数据治理简单,使用简单,更方便的挖掘数据价值。
为了更好地发展数据产业,让客户和合作伙伴更简单地对接应用与数据,华为宣布开源HetuEngine,开源版本的河图引擎叫openHetu,将于2020年6月上线。“我们将开源内核,开发者可以基于开源代码进行定制,包括数据源扩展、SQL执行策略等,实现应用快速对接,提升开发效率。”侯金龙说。
华为Cloud & AI产品与服务总裁侯金龙宣布开源数据虚拟化引擎HetuEngine