站在业务和 IT 不同的角度来回答“怎样更好地创造业务价值”这个问题,一定会有不同的答案。在融合了这两种角色的视角后,企业知识开源首席布道师陈果的答案是:数据归 IT,分析归业务。即 IT 部门主要负责管理好数据、提供好工具,分析本质上是业务要做的事情。
为何会有这样的结论?陈果在「敏捷・创变 ——2024 观远数据智能决策峰会暨产品发布会」上分享了他的思考。
敏捷 BI 仍为市场主流,AI 赋能催生新型模式 BI 全称“Business Intelligence”,现在翻译为“商业智能”,但最初叫做“企业洞察”,它阐述了 BI 的实质:助力业务人员通过数据分析洞察企业运行脉络,催生企业洞察。1992 年,Teradata 推出首个 ETL 数据库,标志着分析型数据库诞生。BI 也随之诞生,并开始了其到目前为止三个阶段的发展。
阶段一:数据仓库 / 数据挖掘
BI 发展的第一个阶段,是数仓和数据挖掘的时代。彼时人们将注意力集中在数仓建立的两种范式:先有数据集再有数据仓库的“自上而下”的范式,以及先有数据仓库再有数据集的“自下而上”的范式。企业关注的重点在分析报表上,分析的对象则聚焦在结构化数据的挖掘。
阶段二:大数据和敏捷 BI
随着大数据出现,数据形态由单一走向多元化,结构化数据演变为结构化、半结构化乃至非结构化数据并存。BI 发展进入第二阶段,但并非完全替代了第一阶段,第一阶段以报表为主的 BI 依然存在。此时,“高级分析”兴起,聚焦机器辅助洞察生成,过程中不仅涵盖对历史数据的描述,还具备未来预测。融合 AI+BI 的高级分析,实现了用户中心化分析,依据场景驱动数据获取与建模,根据分析意图实现数据可视化,这便是第二阶段的敏捷 BI。
今天为止,敏捷 BI 还是市场的主流方向,“让业务用起来”也是敏捷 BI 的核心理念。
阶段三:人工智能 BI
近年来,AI 热潮迭起,BI 也开始了第三个阶段 ——“人工智能 BI”的发展探索。AI 更深入地融入 BI 领域,催生新型模式,由过往的 AI+BI 的“高级分析”进化为 AI×BI 的“增强分析”。AI 对 BI 更深度地赋能,但并未改变 BI 的初衷 —— 洞察业务本质。
Gartner 在两年前提出“增强分析(Augmented Analytics)”,其核心理念是在于,现今 BI 最大挑战非可视化展现方式,而在怎样获取高质量的数据。例如即便同为销售分析,在不同管理语境下对销售的定义都是不同的,需依据分析意图获取数据,如果没有现成数据就会涉及很多数据加工或模型重塑的工作。融合 AI 能力实现的智能数据准备、智能建模、自然语言交互和查询能够大幅提升 BI 数据准备的效率,即实现“增强分析”。
另一个与“增强分析”同样对未来 BI 发展产生巨大影响的是“生成式 AI”,其对 BI 分析方法带来巨大变化,值得再行详述。
技术发展持续放飞业务部门的数据消费需求时至今日,多数企业依旧尚处于 BI 发展的第一阶段,即以报表为主的阶段,亟盼跃升至“让业务用起来”的敏捷 BI 阶段。而在 BI 发展的三个阶段中,企业业务与 IT 的分工也历经多次变迁。
在第一阶段,业务与 IT 职责泾渭分明。业务方提出报表需求,IT 负责数仓建设、报表开发、ETL 开发等,形成经典的瀑布式协作。
在第二阶段,业务与 IT 分工发生变化。IT 重心转向精细化的数据加工与建模,包括指标开发、数据科学、ETL / ELT 混合等工作。业务侧则涉足分析模型与可视化开发。双方互动加深,IT 提供数据模型,业务在敏捷 BI 上自主用数,整体效率提升。但这一阶段要求业务人员要对数据特性、数据模型的深度认知,企业在这其中不仅要提供敏捷的工具,还要推动内部数据分析组织模式的变化,提升业务数据分析水平,才能真正实现“敏捷”。
到第三个阶段,业务与 IT 融合度更趋紧密。AI 在很大程度上解放了对业务人员在技术方面的要求,集中精力于业务创新,让数据更好地赋能业务增长。IT 也不再单纯是支撑角色,能够将更多精力放在数据治理、AI 模型构建及管理等工作上,与业务共同探索数据价值最大化的路径,实现业务效能质变。
基于 BI 的三个发展阶段,我们能看到商业智能的范式发展。在横向上,是覆盖的企业员工数越来越多。在纵向上,是分析工作越来越智能化。而这两个维度整体来看,从低自动化、少数人使用的企业报表,到触及广泛员工群体,支撑业务人员的自主用数的自助分析,再到越来越智能化,让更多员工可以快速用起来的增强分析,整个范式演变的核心,就是“让业务用起来”。
在此范式下,生成式 AI 对传统 BI 的提升还在发展中,方向依然是要让业务把 BI 用好。这个结论来自于过去一年我们对 ChatBI 的深入考察所带来的三个发现:
1、当下,AI 热议正酣,尤其在近一年里,随着 AI 技术迭代,机器学习与深度学习进步,自然语言处理越来越智能化、自动化,ChatBI 日益风靡。但遗憾的是,真正意义上可以解决复杂商业问题的 ChatBI 尚未问世,目前 ChatBI 仅在特定场景提高了 BI 效率。当下主流方向是用自然语言助手提升 BI 系统的交互式体验,包括采用 Text2SQl 使得达模型可以连接到数据库架构,但目前还无法解决现实商业世界中的细微问题。
2、2024 年出现了一个新的 BI 发展方向,所谓复合 AI 系统,通过智能体来管理和调用不同 AI 组件和工具,每个组件完成一个微小的任务,提高分析的灵活性、可解释性。这是当前的一个技术发展方向,但目前也尚未成熟。
3、在非互联网企业中,数据中台的应用价值已被证伪,企业 OLAP 和 OLTP 需要不同的数据治理策略,并且提升 BI 的敏捷性,让业务部门把 BI 先用起来。
总结来看,目前市场主流还是 AI+BI 的敏捷 BI,生成式 AI 的发展将给 BI 带来深远影响,其发展重点还是如观远数据所一直倡导的“让业务用起来”。
企业 BI 效率提升建议,从集中式到分布式近期有幸协助了国内某大型消费品企业优化 BI 体系,针对其 BI 效率提升问题给到了一些建议,借此机会分享给更多企业参考。
该企业规模庞大,IT 团队有数百人,企业 IT 设施完备,主流软硬件装备齐全,数据链条畅通无阻,标准数仓建设到位,BI 平台功能完善,可视化开发游刃有余。然而,即便资源丰富,仍面临数据需求交付周期长的难题,短则三周,长可达月余,症结何在?
问题出现在“怎么用”上。企业上了很好的 BI 工具,但依然深陷传统模式 —— 业务提需求,IT 开发。IT 部门内部组织了 20 多人的 BI 团队,并构成跨财务、HR、营销等四五个业务域的分析团队小组,成员精通 SQL、擅长 BI 工具运用、熟稔数据模型构建及可视化开发,但这整个过程中却没有业务用户参与。同时,内部数据资产梳理缺失,导致业务提出的需求不知道是否已有数据,使交付周期充满不确定性。
所以,该企业的问题不是技术问题,而是能够提升 BI 效率的敏捷组织的问题。对此,我们提出了三点建议:
第一,BI 组织架构重塑。缩减 BI 团队规模,将数据工程师和数据架构师保留在 IT 部门,聚焦数据管道建设与 SQL 优化,基于数仓按照业务域开发标准化数据产品,深化数据治理。
第二,业务导向的流程优化。迁移业务分析师等至各业务部门,配以多样化的 BI 工具训练,让业务分析师能够自助建模分析。同时,更重要的是业务部门建立“数据驱动”的业务流程改进机制,让数据真正发挥价值。数据部门也要蜕变为核心推手,引导业务流程革新,让“表哥”“表姐”们称为业务改进的洞察者,为业务创新产生真正的价值。
第三,全方位数据素养提升。有用数需求的业务也能分成两类,一类是业务分析师,一类是实际要看数据的人。企业要在分析师与终端用户角色上双管齐下,推进全公司数据素养提升。通过数据黑客松比赛等方式提升业务部门用数能力,并且落实全公司的数据治理体系,营造浓厚的数据氛围,构筑坚实基础设施,确保数据效用贯穿企业上下。
“让业务用起来”的三大要素对上述公司的三条建议,可以成为更多企业构建敏捷组织的参考。但要实现以上三点,企业也面临着一些挑战。其一是业务部门用户需要具备较强的数据工程能力,其二是分布式分析模式下,对指标管理归属的定义。它们指向的是“如何让业务用起来”的问题,而解决这一问题有三个前提条件:
1、建立指标管理,集中管控和自主分析的平衡
“让业务用起来”需奠基于健全的指标分析体系之上,哪怕是 ChatBI,如果数据质量差、指标治理混乱,效率也会很低。定义指标可以在数据层、数据平台的指标层乃至独立的指标层进行,企业定义指标不论在哪一层进行,指标策略都要支持企业的分析形态。如果企业的分析形态是鼓励业务人员用起来,对指标管理的要求则会更高,就会需要像观远 Metrics 这样独立的企业统一指标管理平台。
此外,机器学习、智能应用乃至报表或 BI 数据可视化等不同的场景,都会对企业的指标平台建设提出不同要求,企业需要根据自身集中式或分布式的数据分析模式,进行指标平台建设。
2、以用户为中心的可视化
第二是要建立以用户为中心的数据可视化审美能力。结合实际应用场景与目标(展示说服、确认理解、探索分析),甄选合适的可视化方式,以此激发表达效果和认知共鸣。现在网络上有很多开源的数据可视化模版,观远 BI 也提供了众多标准化的可视化模板,一些生成式 AI 也已经可以帮助人们来生成数据可视化的图像,但掌握如何站在用户的角度可视化展现数据的方法更为重要。
3、降低对业务部门的数据工程能力要求,利用 AI 能力
最后是如何利用 AI 能力“让业务用起来”。观远数据目前也发布了最新的融合生成式 AI 能力的问答式 BI—— 观远 ChatBI,降低业务使用数据的门槛。但目前整个行业应用 AI 的旅程才刚刚开始,从数据准备、业务洞察到用户体验,如何利用 AI 能力,提升整个数据分析连路上的某一个环节或全链路的效率,让业务人员更好地把 BI 用起来,是我们未来要持续探索的方向。
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。