01
数据智能助力企业数字化转型
1.1数据驱动是数字化企业的核心特征
数字化转型,是指企业利用数字技术,通过商业模式、业务流程、组织架构等重塑,为客户创造新的价值。近年来,数字化转型已经成为各行业的共识,企业在数字化转型上已经投入了大量资源,部分行业领先企业已经成功地通过数字化实现良好的客户体验,并实现敏捷运营。
与信息化企业不同,数字化企业的核心特征是数据驱动。在信息化阶段,企业主要是进行业务系统等IT基础设施的建设,实现经营流程的标准化和线上化,提升业务效率。但在这个阶段,数据主要是流程的副产物,并没有真正发挥价值。
在数字化阶段,企业的核心特征在于数据驱动业务,即能够在信息化的基础上产生和汇集更多高价值数据,在数字世界监测和洞察业务真实状况,并构建数据分析和决策模型以驱动业务运行。在数字化阶段,各业务部门都有数据分析和数据决策的需求,数据成为驱动业务的生产资料。
近年来,互联网、移动互联网、物联网等技术的应用产生了海量数据,使得企业进入数据爆发阶段,而人工智能等技术的发展也降低了数据应用的门槛,驱动企业数字化转型加速。
从应用深度来看,企业对于数据的应用是一个逐步深化的历程,整体发展经历了收集、监测、洞察、决策四个阶段,数据的应用价值不断提升,逐步从业务数据化走向业务智能化。
收集、监测和洞察阶段是业务数据化过程,即通过数据描述跟踪业务的发展,主要的技术应用分别是大数据平台及数据服务、BI与可视化和数据行业应用。决策和重塑阶段是业务智能化过程,数据、算法可以赋能、改变业务流程,提升业务效率,企业的数据应用走向数据智能与人机协同。当前,数据应用已经处于业务决策阶段,正在向业务重塑阶段迈进。
1.2企业迈入数据智能时代
当前,企业的数据应用已经进入到业务决策阶段,机器能够基于数据和算法自主进行决策或给出决策建议,带来更高效的业务反馈和更大的业务价值。
例如,在互联网领域,滴滴、美团的调度系统可以根据前端订单等业务数据,自动完成决策,给出最佳任务调度方案和路线,并将任务指令下发给司机和骑手,整个决策过程极为高效精准,但几乎没有业务人员参与。
随着数字化转型的推进,这种数据驱动业务决策的场景也越来越多地渗透到传统行业。例如,某线下商超利用大数据和智能算法进行销量预测,进而实现智能补货,大幅降低门店缺货率,并提升库存周转率。AI模型替代采购专家经验,基于数据和算法给出销量预测结果,使得预测准确率大幅度提升,并提升了采购效率。
1.2.1数据智能的定义
爱分析认为,数据智能是指基于中台体系,融合大数据、人工智能、云计算、物联网等多种技术,利用数据实现智能决策。
为了实现数据驱动决策,企业需要具备统一管理数据、快速配置开发业务的能力,从企业视角形成数据资产,进行数据能力的输出,充分释放数据价值,数据中台逐步在企业内部形成。
数据中台使数据具有数据服务化的能力,同时,还需要对数字资产进行运营优化,使数据资产赋能企业能力快速迭代升级。这需要与业务密切相关的技术平台的支持。
技术中台包括数据采集与预处理、数据存储、数据分析、数据可视化与BI等环节的所有工具和平台,包括大数据基础平台、NLP与知识图谱、数据科学平台、BI与可视化系统等。
但数据中台输出的是同质化的数据服务,仅有数据中台和技术中台无法赋能不同业务场景,需要与业务系统结合,才能真正地将数据用起来。因此,数据智能以数据中台和技术中台为底座,结合业务中台,支撑企业上层智能决策和应用。
中台汇聚企业的业务数据,通过自动化、智能化的数据采集与汇聚,将实时与离线数据打通关联,深度挖掘数据价值,并开放数据服务至各业务场景中,具备汇聚整合、数据提纯加工、数据服务可视化、数据价值变现等核心能力。
在数据智能阶段,企业可以基于数据中台和业务中台构建业务智能化闭环。第一步是业务数据化,即采集和沉淀业务运行过程中的数据;其次是数据资产化,即通过数据中台的统一汇集和治理,将业务数据转化为可用的数据资产;资产场景化,是基于数据中台将数据资产加工和输出为可应用于业务场景的数据服务,通过业务中台实现数据资产在场景中应用,最终实现业务场景的智能化。而业务场景实现智能化之后,也能不断的提供新的数据,优化整个系统,形成业务智能化的闭环。
1.2.2数据智能的技术应用体系
为了实现数据驱动决策,需要汇聚并处理大量结构化、半结构化和非结构化数据,基于复杂网络进行推理和决策,单纯依靠简单的数理统计已经不足以满足需求。因此,数据智能是大数据、人工智能、云计算、物联网等多种技术融合的技术应用体系,贯穿数据采集与预处理、数据存储与计算、数据分析与挖掘、数据展现与交互的全生命周期。
1)数据采集与预处理
随着互联网、移动互联网、物联网等技术的发展,企业面临海量数据,且数据多存在于彼此独立的系统与平台中,不同系统的数据采集方式是不同的。
数据采集具有一定的数据生产属性,线上数据通常来自数据库、PC网页、H5、App应用、应用及服务、智能可穿戴设备等资产层,采集方式主要有客户端SDK埋点、服务端埋点和网络爬虫;线下数据主要是通过硬件设备采集,例如传感器、摄像头、Wi-Fi信号采集等。
数据采集之后,需要经过中间系统的流转写入目标存储中,进行数据汇聚。多种数据源类型可基于离线数据同步和实时数据同步两种策略进行数据交换。
但企业数据大多是脏数据,无法直接用于计算或模型训练,需要在建模前对数据进行预处理,即ELT(Extract-Load-Transformation,抽取-加载-转换)模式,对数据进行清洗和处理。
人工智能技术也开始应用于数据处理的过程中,AI可以反哺大数据的处理能力,通过机器学习技术识别哪些数据有问题,如果确认数据特征,机器可自动对数据进行处理,提升大数据处理效率。
2)数据存储与计算
数据汇聚之后,企业根据数据规模、数据应用方式等选择合适的存储组合满足企业的数据战略与数据应用需求。
企业最早的数据存储计算技术采用数据库,主要分为操作型数据库和分析型数据库。随着数据库大规模应用,数据量飞速增长,为了研究数据之间的关系,挖掘数据隐藏的价值,面向分析型数据处理的数据仓库成为广泛应用的数据存储技术,数据仓库将数据按照所需要的格式提取,再进行数据转换、清洗和装载,实现多个异构的数据源有效集成。
数据仓库主要处理历史结构化数据,但随着技术发展,企业面临越来越多的半结构化数据和非结构化数据,数据湖应运而生。数据湖能处理所有类型的数据,且包含数据更多的相关信息,拥有足够强的计算能力。
数据计算能力与数据存储紧密相关,随着数据规模不断增加,除了存储能力需要升级,数据计算框架也需要根据用户的需求场景进行细分,例如批量计算和流式计算。
3)数据分析与挖掘
数据分析与挖掘是数据智能最核心的环节,基于对数据的分析和挖掘,企业可以从数据中提炼、发掘、获取有提示性和可操作性的信息,从而为智能决策提供支持。
数据分析指根据分析目的,用适当的统计分析方法及工具,对数据进行处理与分析,提取有价值的信息。主要采用对比分析、分组分析、交叉分析、回归分析等常用分析方法,多面向结构化数据。
数据挖掘指从大量的数据中,通过统计学、人工智能、机器学习等方法,挖掘出未知的、且有价值的信息和知识的过程。主要采用关联规则、分类与标签、聚类、决策树、序列模式、神经网络等方法。数据挖掘主要面向非结构化数据的分析,主要应用的支撑技术为机器学习、深度学习、NLP、知识图谱、计算机视觉等。
机器学习平台等支持算法可视化建模与交互式开发环境代码编写的平台也成为重要支撑,使得数据分析与挖掘也逐步呈现自动化、低门槛的发展趋势。
4)数据展示与交互
在数据服务体系中,对数据的计算经过封闭生成API服务,让数据快速应用到业务场景中。用户需要以直接的方式获取数据分析结果,同时可根据业务需求与系统进行交互,获取任意维度的数据分析挖掘服务,以支持数据化运营和分析决策等场景。常见的数据展示和交互应用有数据大屏、数据报表等。数据可视化技术是此阶段的主要支撑技术,典型的技术是BI工具等。
1.3数据智能的应用场景
数据智能已经在各行业的具体业务场景中落地,但各行业的应用成熟度差异较大。
数据智能在不同行业的应用场景范围、渗透率均不同,这与行业本身的数字化基础设施成熟度、数据智能与行业应用场景的结合度等因素相关。
数字化基础设施成熟度主要包括各行业的信息化、数据资产化、云化等方面的成熟度;数据智能与行业应用场景的结合度指各行业数据智能的应用阶段、业务环节改造程度和数据智能应用场景覆盖度等。
在行业应用场景中,金融、政府与公共服务属于数据智能应用的高渗透行业,金融行业已经能够实现基于数据的智能决策,并实现显著的效益,逐步向数据驱动阶段过渡,较为成熟的应用场景有智能营销、智能风控等;政府与公共服务领域的数据智能场景主要有智慧政务、智慧安防等;消费品与零售正在加速应用数据支撑其业务,整个消费品与零售行业的商业模式也发生了剧变,主要体现在智能营销与全渠道中台应用场景;工业与能源等传统制造领域数据来源与形式复杂,数字化程度较低,数据智能渗透率低,但企业已经意识到数据的价值,整体行业处于数据智能应用的起步阶段,目前主要在智能制造方面发力。
随着5G、物联网、人工智能等技术的发展与成熟,非结构化数据的融合和应用受到各行业的重视,部分原本数字化程度很低的领域出现了基于数据智能技术应用的新业态,例如自动驾驶、在线教育等。
1)金融
金融领域数据智能应用成熟度高,其基础设施和应用场景的成熟度都领先于其他行业。
在基础设施方面,金融行业业务对数据强依赖,因此,各金融企业基本都已经完善的数字化基础设施和数据应用,技术团队强大,数字化投入金融大,已经广泛应用大数据、云计算等技术。
在传统金融应用场景方面,营销、风控、反欺诈等场景是非常成熟的数据智能应用,已经覆盖信贷完整业务场景。目前,已经可以实现机器自动审批与放贷。金融领域的数据智能应用场景正在逐步向客户服务、产品设计等业务场景延伸,例如,银行可以根据用户数据,在用户不同人生阶段设计不同类型的产品、不同风险等级的产品;也可以基于企业的不同阶段开发设计产品。
在证券行业,机器学习及大数据将会成为新的投资策略持续产生的源泉。例如,智能投顾可基于客户理财需求,基于投资组合理论,通过算法和产品搭建数据模型,完成理财顾问服务。
在保险行业,大数据在风险评估与定义、交叉销售、客户流失管理、理赔欺诈检测与理赔预防与缓解等环节都能产生影响。例如,通过可穿戴设备实时监控人体健康,从而弥补对细分群体生老病死的概率评估的不足,保证此类保险业务的推进。
2)政府与公共服务
政府与公共服务领域数据基础设施相对成熟,其数据应用成熟度目前处于数据决策阶段。
政务领域具有最完备的数据源,信息化投入大。智慧城市的推进,带来更加丰富的数据。同时,政府云化进程快,数据资产成熟。各地政府正在加速出台数字政府规划计划,建设大数据中心,加速数字化基础设施的完善。
在应用场景方面,早期政府主要应用数据大屏,实现业务监测。近年来,随着技术和数据资产的成熟度提升,政府部门能够实现数据洞察与数据决策,例如,在智慧政务领域,可基于大数据和人脸识别、语音识别等技术提升业务办理的效率;在智慧安防领域,基于视频监控数据和人脸识别、机器学习等技术,实现快速破案。此外,精准扶贫、环境治理等场景也是数据智能渗透率较高的场景。
3)消费品与零售
受到电商的影响,消费品与零售是数据智能应用渗透率提升最快的领域之一。
在基础设施方面,消费品和零售行业的数据丰富,但一般都来源于多端多渠道,包含门店、APP、小程序、服务号等渠道,对渠道整合有强需求。零售行业目前的云化和数据资产化正在快速推进。
在应用场景方面,已经可以对用户进行全生命周期跟踪,企业可以基于海量数据形成消费者画像,线上化智能营销的应用在逐步趋于成熟。例如,基于用户画像进行千人千面的推广和精准营销。企业根据需求收集精准营销需要的数据,打通所有相关数据后,通过算法,实现对用户偏好的挖掘,从而实现客户的定制化营销及服务。
未来,智慧门店等线下渠道的数据智能渗透率会逐步提升。
4)工业与能源
工业与能源行业的基础设施薄弱,数据智能应用处于起步阶段。
在基础设施层面,工业与能源领域的数据来源多,且存在大量非结构化数据,不易采集,随着物联网、5G等技术的成熟与普及,工业与能源数据才开始具备完整的数据采集基础。
在应用场景方面,工业与能源行业具有复杂的生产运营体系,需要协调大量的设备与资源,过往主要依据人工经验进行观察与决策,业务的数字化改造程度低。目前初步实现了业务自动化,但在数据智能方面相对滞后。
但是,工业与能源领域是数据智能最有潜力的应用领域之一,工业的智能化升级是国家的重要战略。工业互联网汇集设备、产线和企业数据,可以结合机器学习、物联网技术,深入挖掘数据背后的应用价值,将会极大提升企业的运营效率,降低各类成本。
例如,目前在部分企业可以实现产品质量控制智能化,基于生产过程中的大数据,分析生产流程,一旦流程偏离标准工艺,系统即产生警报信号,从而快速发现错误。同时,可对工业产品的生产过程建立虚拟模拟模型,仿真并优化生产流程。
5)医疗与医药
医疗与医药行业的具备一定的数字化基础,数据智能应用处于决策阶段。
在基础设施方面,2019年全国卫生总费用约63800亿,其中医疗信息化投入占比约为1%。医疗机构已经实现了基本的信息化建设,医疗大数据主要有诊疗数据、研发数据、患者数据、支付数据等,其中诊疗数据占比90%。目前数据正在快速地电子化,但数据格式繁杂、目前还没有实现多源头数据的整合与分析,下一步需要完善数据的互联互通。
在应用场景方面,临床操作与研发是数据智能最有潜力的应用方向,例如基于用户健康数据以实现健康管理;整合临床数据和基因数据实现癌症风险评估、预防和治疗;基于大数据预测治疗效果降低花费。
除了临床决策以外,基于大数据还可实现计算机远程监护以进行慢病管理,以及利用大数据预测流行病趋势。例如,谷歌通过流感相关关键词的搜索趋势,推出了“流感指数(Google Flu Trends)产品,曾成功地在甲型H1N1流感爆发几周前成功预测其在全美范围内的传播。
6)教育
教育行业的数字化转型正在加速进行,数据智能应用处于起步阶段。
教育行业已经经历了广泛的在线化历程,随着K12、语培等领域的一大批在线教育公司崛起,教育行业初步积累起大量的数据。目前,教育行业的数据积累与核心教学环节相关的数据积累还相对较少,对于非结构化数据的处理分析技术还不成熟,整体落地成熟度还有较大提升空间。
在应用场景方面,目前主要的应用场景主要是智慧校园管理,但数据智能技术已经开始渗透到师资教研、教学服务等业务流程当中,例如,个性化教学产品可以根据老师的教学内容与学生学习的行为数据自动输出学生的教学计划与学习内容,同时可自动批改并利用智能学习引擎自动分析学生的学习效果,形成教学闭环。另外,在师资教研环节,已经有头部的在线教育机构通过语音识别技术分析老师的上课过程,挑出最优秀老师的最佳实践进行分析,沉淀到内容当中,从而提升教学质量和教学的标准化。
7)通用职能部门场景:营销
在营销领域,线上营销场景已经实现了完全在线化、数据化,线下营销场景也随着智能终端及智能手机的普及逐步向数字化转型。各品牌也加速数据中台等基础设施的建设。在应用场景方面,数据智能已经开始渗透品牌商营销链路各环节。
在用户洞察环节,品牌商通过建立客户数据平台(CDP)整合线上、线下自有用户数据,统一用户画像,补充第三方数据管理平台(DMP)的用户标签,为营销活动开展提供支撑;在营销策划环节,品牌商可借助AI辅助图片类、文案类创意内容生成;在用户触达环节,在全渠道下可基于用户数据进行广告投放,同时,借助对效果广告的用户转化链路分析,指导品牌和效果广告的人群精准定向;在用户转化环节,利用CRM系统管理用户在线上、线下的留资数据,实现营销自动化;在用户运营环节,针对不同人群执行差异化的营销策略,实现用户购买升级,单客LTV提升。
随着新基建的政策落地和加速推进,各行各业在都加快数字化转型的步伐,数据智能已经成为企业驱动业务增长、寻求转型的主要支撑。企业数据爆发增长、海量集聚,建设数据中台以支持数据资产管理和数据智能应用,是大部分企业当下的必经之路。
但是,目前数据中台的建设和数据智能的应用仍在探索初期,在技术与产业方面仍然面临着诸多挑战。在技术方面,5G、人工智能、物联网等技术技术融合度较低,与数据智能结合应用的成熟度还不足;在产业方面,目前仅有部分行业的部分场景实现数据驱动业务,仍有大量行业需要进一步加强业务的数字化改造,探索更加广泛的数据智能的应用场景。
未来,数据智能的应用不再仅限于部分企业内部。随着技术成熟和产业发展,数据智能的应用场景会逐步从企业自身应用拓展至全产业链的业务协同,这不仅需要产业上下游共同协作、统一标准、开放数据与场景,还需要行业中具有技术与产品领先性的优秀数据智能厂商,共同赋能,将成熟的数据智能产品与解决方案应用于多行业多场景,推动产业智能。
注:文/专业研究的,文章来源:爱分析ifenxi,本文为作者独立观点,不代表亿邦动力网立场。
文章来源:爱分析ifenxi