数据全生命周期管理,华为一个方案FusionData搞定
我们正在玩一场全新的“数据游戏”,它将决定我们以多快的速度,在多大的程度和范围上进入“智能+”时代!
今天,我们已经欣然接受:数据是新的生产资料,而智能是新的生产力,在两者的合力下,数字经济正释放出巨大的能量。“数据+智能”已经在自动驾驶、金融服务、环保等诸多领域充分证明,它创造了新的产业价值和社会价值,而这一切的重要前提是新的数据基础设施的持续演进。
重定义数据基础设施刻不容缓。
从产品到流程
早在大数据的概念刚出现时,数据是沉睡的金矿的说法已经十分普遍。那时,我们刚刚认识到平日里经常被忽视的,甚至被随意删除也并不觉得可惜的数据,其实蕴藏着巨大的价值。但是,由于需求的局限、工具的不给力,唤醒数据金矿的过程是相对缓慢的。然而,随着云计算、大数据、物联网、人工智能等技术的快速发展,在算力、数据、算法齐备的情况下,人们对于数据的挖掘和分析正不断加速。
数据价值实现的前提是对数据全生命周期的正确认识、管理和利用。百度百科上对数据生命周期管理的定义是,它是一种基于策略的方法,用于管理信息系统中数据的流动,覆盖从创建、初始存储到过时被删除的全过程。以前,虽然我们口中念着“数据全生命周期”,但实际上将大部分的精力放在了存储这一个环节上,即便如此,到今天仍然没能完全解决存储整合、数据共享、数据保护等关键性问题,就更不要提数据价值挖掘了。
提到数据生命周期管理,笔者联想到了另一个相近的词汇——信息生命周期管理,这在当年可是存储领域一个最时髦的词汇,很多人甚至将两个概念混用。在这里,我们不想深究数据生命周期管理与信息生命周期管理之间的细致差别,而是想说,当年一些存储厂商为了更好地销售其产品而借用了信息生命周期管理这样一个流程概念,在今天看来这是对用户的一种误导。进入数据智能时代,我们再不能把眼光只局限在存储这个环节上,而应从数据产生的源头开始,遍历数据从产生到销毁的全过程,并结合具体的业务场景,深入分析并挖掘数据背后隐藏的价值。这样才算是真正将数据全生命周期管理落在了实处。
数据应用“三难”
若想有效解决问题,就必须先找准问题的症结在哪里。华为IT产品线副总裁、智能数据与存储领域总裁周跃峰一语道破,企业在实现数据价值的过程中面临数据接入难、分析难、消费难等挑战。
华为全球产业展望(GIV)报告显示,2018年至2025年,全球数据总量将从32.5ZB快速增长到180ZB。无论将数据比喻为冰山或是浩瀚的宇宙,反正以我们现在的技术手段和能力,总是显得微不足道。挑战显而易见:企业生产活动产生的数据中只有不到2%被保存,而其中得到分析利用的还不足10%。一句话,数据价值没有得到充分释放和利用。
实际中有这样的例子,某企业非常迫切希望利用大数据技术,对现有数据进行整理挖掘,以提升效率和生产力。但是在专业公司的帮助下对企业现有的数据进行梳理时才发现,企业现有的数据无论是规模还是质量都不能满足大数据技术的要求,遭遇了巧妇难为无米之炊的尴尬。其这,这不止是一个企业或一个行业面临的尴尬,没有数据积累或者没有足够有效的数据,已成为数据挖掘的一大障碍。
以前,在数据量不大的时候,企业为每一个应用单独建立一套存储系统,简单直接,效率高。但是当数据量逐渐增加,特别是不同的应用之间要共享数据时,麻烦便开始了。从虚拟化到软件定义再到分布式、云计算乃至容器,都是在想方设法消除企业普遍存在的“烟囱式”业务系统,更好地实现基础资源池化、数据共享,提升数据应用和管理的效率。
当我们初步解决了海量数据存储的问题后,数据处理和分析的需求渐渐浮出水面。静止的数据是没有价值可言的,必须让数据流动起来,在其生命周期的不同价值阶段流动到最适合的位置,这样才能被更有效地利用,以更经济的方式进行存储。存储与大数据、人工智能等技术相结合,使得数据可以被高效地捕获、索引、分析和加工,数据的价值更多地被挖掘出来。
正因为有了数据接入难、分析难、消费难这些挑战,才促使像华为这样的厂商在数据智能存储和管理方面投入更多力量,让数据更好地变现。
“智”勇双“全”
在5月15日举行的华为数据库和存储产品发布会上,华为明确提出了“迈向智能时代,重定义数据基础设施”的口号,并强调了数据基础设施是加速智能世界到来的核心驱动力。
在“智能+”时代,企业需要更快、更智能的数据基础设施。华为从计算、存储和数据处理三个维度重定义数据基础设施。首先在计算领域,华为将引领多样性计算,推动计算架构的多样性发展,让算力更充裕更经济;其次在存储领域,华为重定义存储架构,旨在大幅提升效率,引领存储的智能化发展;最后在数据处理平台上,华为重定义数据处理平台,让实时分析更智能,从而加速实现数据价值。
作为重定义数据基础设施战略的延伸和落地,6月5日,华为智能数据解决方案发布会在京举行,掀起一场数据全生命周期管理的智慧风暴。大约一个月前华为发布的全球首款AI-Native数据库GaussDB,以及新一代智能分布式存储FusionStorage 8.0都是这场智慧风暴的预演,此次最新发布的智能数据解决方案FusionData让我们看到了华为智能数据解决方案的全貌。
华为FusionData智能数据解决方案支持智能的数据全生命周期管理,从数据接入、数据处理和数据使能三个层面,重定义数据基础设施,帮助客户打造业界领先的数据湖解决方案,助力行业数字化,充分释放数据潜能。
其实,在GaussDB数据库和FusionStorage 8.0身上就充分体现了“全”与“智”,而这正是华为FusionData智能数据解决方案的基本特质。
FusionData的“全”可以从数据连接解析。FusionData的智能数据连接部件ROMA支持多数据源接入、消息和API的统一管理、智能通道选择等技术实现智能全连接,加速数据流动,让应用与数据连接更高效。具体来说,支持1100多种应用和异构数据源接入,通过开放式数据接入框架可灵活接入第三方数据源;支持分布式消息和API的路由统一配置管理,轻松实现分布式消息和API服务的跨网跨域跨云集成,让数据自由流动;支持数据多通道传输,并且可根据数据特点智能选择传送通道,大幅提升数据接入效率。
下面再来看看FusionData无处不在的“智”。概括地说,FusionData的智可以一分为二,一个是智能的数据处理,另一个是智能的数据使能。
FusionData的智能数据处理部件主要包括分布式存储FusionStorage、分布式数据库GaussDB和大数据平台FusionInsight等,通过多类型数据融合存储、融合分析引擎等,重定义智能数据处理,实现了从单一处理到智能融合处理的进化。
从存储部分来看,FusionData有效实现了多类型数据的融合存储,通过存储与计算的分离技术,打破了传统烟囱式系统的壁垒,并结合智能分布式存储的多协议融合技术,实现了一份数据同时支持数据库、大数据、AI等多种业务的分析需求,为融合数据分析奠定了基础。
从分析部分来看,FusionData借助融合分析引擎,可以更好地支持数据库、大数据、AI多引擎融合分析和多样性算力,实现统一调度,在统一架构的基础上,大大降低海量数据的处理难度,实现极简分析的目标。
智能数据使能,这是FusionData最独特的创新。华为是企业数字化转型的赋能者。作为赋能者,需要在战略和理念的前瞻性、解决方案的先进性和部署实施的服务支撑上拥有过人的能力。之所以说FusionData具有使能数据全生命周期管理的能力,因为它的使能部件DAYU,通过智能元数据感知和OneQuery Tuobo技术构建起数据处理与业务创新的桥梁,提升了业务体验,让业务更加敏捷高效。
所谓智能元数据感知,就是通过AI技术,自动感知和采集多个系统的元数据,并进行智能化分级分类,进而生成全局统一的数据视图,数据寻找可实现秒级响应。OneQuery Tuobo的强大之处体现在,通过提供统一的数据访问接口,实现多数据源、多类型数据的统一访问,从而简化了数据加工流程,数据获取速度提升10倍以上。
融会贯通
数据全生命周期管理,顾名思义要以数据为核心,围绕数据从产生、接入、处理、分析到删除的整个生命周期进行全方位、细致、智能的管理和利用。存储是核心之一,但并不是全部。智能数据基础设施应该支持多样性的数据连接,实现多数据源接入,并可通过消息和API进行统一管理。
如果不具备对数据全生命周期的深刻认知,如果没有贯穿数据全生命周期的智能数据管理解决方案,如果没有对用户需求的全面理解,就不可能成为智能数据的使能者。华为全部做到了,包含智能数据接入平台ROMA、智能数据处理平台FusionStorage, GaussDB和FusionInsight、智能数据使能平台DAYU等关键部件的华为全融合智能数据解决方案,可以实现多系统协同计算与多样性数据融合分析,最大化企业的数据价值。
最新活动更多
-
12月19日立即报名>> 【线下会议】OFweek 2024(第九届)物联网产业大会
-
即日-2025.8.1立即下载>> 《2024智能制造产业高端化、智能化、绿色化发展蓝皮书》
-
精彩回顾立即查看>> 2024先进激光技术博览展
-
精彩回顾立即查看>> 全数会2024中国深圳智能制造与机器人展览会
-
精彩回顾立即查看>> 2024(第五届)全球数字经济产业大会暨展览会
-
精彩回顾立即查看>> 维科杯·OFweek2024中国工业自动化及数字化行业年度评选
发表评论
请输入评论内容...
请输入评论/评论长度6~500个字
暂无评论
暂无评论