数据治理究竟要怎么做?学习完这2个案例解决你95%以上的难题!
bigegpt 2024-10-03 15:00 7 浏览
之前为大家详细介绍了两大数据治理策略:拉式策略(Pull Strategy)与推式策略(Push Strategy)。
而其中拉式策略是一种帮助企业洞察数据问题根因,满足数据应用需求的敏捷数据治理策略。那么,本文将从两个实际案例着手,帮助大家深入理解。
先分享一份《数字化全流程资料包》,点击下方卡片即可领取丰富的知识图谱、精品案例、场景解决方案、模板等等:「链接」
拉式策略流程
以提升数据应用过程中数据准确性为目标的拉式数据治理建设策略主要包括3个流程:
(1)基于指标体系的数据问题洞察:基于数据指标体系,以“数据流、信息流、业务流”的基本逻辑框架,在限定的范围内及时洞察数据质量问题的根源,并逆向推动业务信息化和业务管理的改善和提升;
(2)稳健的数据架构设计:通过数据仓库建模、合理的分层设计、ETL 过程开发等,保障数据模型及架构的稳健性和可扩展性,提高数据使用的准确性;
(3)数据应用审核管控机制:建立面向高层管理的数据指标管控及审核机制,确保数据应用过程中(上报、可视化分析)关键数据必须经过有效审核,提升数据使用质量及数据准确性。
案例一:通过“数据流”和“业务流”定位到“信息流”层面的建设问题
1. 表象问题:
某集团内部分包导致项目产值及二级单位业绩划分不明确
2. 根因分析:
在数据流层面上,发现各部门项目产值不一致,数据的准确性存在问题。基于这个问题,进一步去挖掘信息流层面和业务流层面的根因。在业务流层面上,集团有明确的业务管理标准和规章制度,需要各部门在项目成立时就明确产值,并在缴纳管理费时才需要上报产值,因此业务流层面不存在严重问题。在信息流层面上,项目组织建立时存在同一个项目在信息系统中有两个层级项目的情况,因此NC中项目组织存在“多对一”的情况,导致系统中取自NC的项目组织的数据存在问题。至此,我们通过“数据流”和“业务流”的分析,将数据问题定位到了“信息流”层面的系统设计问题。
3. 解决路径:
从信息侧的角度,在NC中建立项目组织时,需要划分项目组织层级,总承包项目部由总承包申请建立,内部分包项目部建立时需要选择对应的总承包项目部;从数据侧的角度,进行产值统计时,项目总产值仅统计一级组织的产值数据。核算各公司产值时,按照对应组织核算自施部分产值,并抵扣内部分包的产值。
4. 治理成果:
最终,通过完善业务系统中项目分级管理的机制,实现项目产值的精准核算,完成了从数据问题洞察到数据治理的过程。
5. 数据治理成果展示:
案例二:通过“数据流”和“信息流”定位到“业务流”层面的管理问题
1. 表象问题:
某集团在建项目、完工项目数量各部门数据不一致
2. 根因分析:
数据流层面上,发现在进行数据分析时,从各业务系统中获取的数据不一致,并且项管部仍存在线下统计数据的现象。进一步分析,发现信息流层面不同的业务系统,对项目状态的定义模糊、不一致,例如项管部以项目部发文为开工,商务部以获取开工报告为开工。至此,我们已经可以明确问题的根源在于业务流层面,集团内部缺乏统一的制度、流程来明确项目各节点的划分标准,也没有明确以固定的流程节点划分项目状态。因此,要想治理各部门项目数量的数据问题,就必须在集团管理流程和标准上做出改善。
3. 解决路径:
从业务侧的角度,开展跨部门的沟通交流,统一项管部、人力部、商务部的项目状态定义标准;从信息侧的角度,完善项目状态各阶段划分流程,在OA系统中完善、改造流程节点;从数据侧的角度,根据现有流程优化取数逻辑,实现数据的来源一致和跨部门应用。
4. 治理成果:
最终,实现了跨部门项目数据的统一,规范了项目全生命周期的管理流程,完成了从数据问题洞察到数据治理的过程。
5. 数据治理成果展示
进行稳健的数据架构设计
在洞察到数据问题所在并进行了数据侧、信息侧或者业务侧的改善后,进行稳健的数据架构设计是拉式策略的第二个流程。这里主要涉及通过数据仓库建模、合理的分层设计、ETL 过程开发等,保障数据模型及架构的稳健性和可扩展性,从而提高数据使用的准确性。关于数仓建模、ETL的相关概念和过程上文已有详细的描述,在此就不赘述。值得强调的是思考数据架构有三个出发点:稳健性、可扩展性和效率。数据仓库架构的稳健性需要通过数据仓库分层来解决;数据仓库的可扩展性要通过数仓建模、维度一致性等方式来解决;效率问题需要通过多系统数据集中、处理,从流程型数据架构转变到分析型数据架构来解决。
数据应用审核管控机制
我们数据治理策略的最后一个流程是建立一个企业内部,面向高层管理者的数据指标管控及审核机制,确保数据应用过程中(上报、可视化分析)的关键数据必须经过有效审核,提升数据使用质量及数据准确性。
以某集团的经营分析会数据审核流程为例,集团总部的填报用户保存、提交数据后,数据会被锁定并流转至集团总部的审核用户处。如果数据审核通过,它会被定版并做会前使用准备;如果数据审核不通过,它则会被退回填报用户处,并且系统会自动推送审核失败原因给填报用户,后台同步更新审核记录和状态。
子产业集团的填报用户提交数据后,流程情况与集团总部的填报用户类似,只是需要额外经过一轮子产业集团审核用户的审核。如果在子产业层面审核通过,数据将会做会前准备定版,流转至集团总部审核用户处。如果集团总部数据审核不通过,数据将会被直接退回子产业数据保存中心,并推送原因给子产业填报用户。总之,双重审核流程保障了子产业集团数据上报的准确性,进而提高了集团总部高层使用数据的质量。
总结
企业表层数据问题的产生往往有深层次的业务系统设计、流程制度管理方面的原因,因此要想通过数据治理提升企业数据的质量,就不能仅仅依靠一个工具或产品解决表象的问题。
我们提出了企业数据治理的拉式策略(Pull Strategy)和推式策略(Push Strategy)来满足不同的数据治理需求。考虑到当今企业面临的复杂环境,实施周期更短、治理成本更低的拉式治理策略更能及时满足企业数据消费的需求,是一种更灵活、更敏捷的数据治理方式。在该策略下,基于指标体系的“数据流-信息流-业务流”分析逻辑能够帮助企业发现、洞察、追踪数据问题产生的根源;稳健的数据架构设计能够帮助企业解决数据质量的问题;数据应用审核管控机制的建立能够帮助企业解决错误数据被使用的问题。经过系统化的数据治理,企业数据质量将更能满足消费的需求,基于数据的决策也将更加精准。
本文摘录于帆软最新《商业智能应用白皮书 5.0》
该白皮书对170多位企业CIO、CTO、数据管理负责人或拥有同等职责的IT负责人的调研,了解IT管理者对BI的应用情况、价值诉求、技术需求、主要参考因素。通白皮书中不少观点可以给大家来年数据工作立项带来一些参考。需要的朋友可以点击下方卡片获取:「链接」
相关推荐
- 有些人能留在你的心里,但不能留在你生活里。
-
有时候,你必须要明白,有些人能留在你的心里,但不能留在你生活里。Sometimes,youhavetorealize,Somepeoplecanstayinyourheart,...
- Python学不会来打我(34)python函数爬取百度图片_附源码
-
随着人工智能和大数据的发展,图像数据的获取变得越来越重要。作为Python初学者,掌握如何从网页中抓取图片并保存到本地是一项非常实用的技能。本文将手把手教你使用Python函数编写一个简单的百度图片...
- 软网推荐:图像变变变 一“软”见分晓
-
当我们仅需要改变一些图片的分辨率、裁减尺寸、添加水印、标注文本、更改图片颜色,或将一种图片转换为另一种格式时,总比较讨厌使用一些大型的图像处理软件,尤其是当尚未安装此类软件时,更是如此。实际上,只需一...
- 首款WP8.1图片搜索应用,搜照片得资料
-
首款WP8.1图片搜索应用,搜照片得资料出处:IT之家原创(天际)2014-11-1114:32:15评论WP之家报道,《反向图片搜索》(ReverseImageSearch)是Window...
- 盗墓笔记电视剧精美海报 盗墓笔记电视剧全集高清种子下载
-
出身“老九门”世家的吴邪,因身为考古学家的父母在某次保护国家文物行动时被国外盗墓团伙杀害,吴家为保护吴邪安全将他送去德国读书,因而吴邪对“考古”事业有着与生俱来的兴趣。在一次护宝过程中他偶然获得一张...
- 微软调整Win11 24H2装机策略:6月起36款预装应用改为完整版
-
IT之家7月16日消息,微软公司今天(7月16日)发布公告,表示自今年6月更新开始,已默认更新Windows1124H2和WindowsServer2025系统中预装...
- 谷歌手把手教你成为谣言终结者 | 域外
-
刺猬公社出品,必属原创,严禁转载。合作事宜,请联系微信号:yunlugongby贾宸琰编译、整理11月23日,由谷歌新闻实验室(GoogleNewsLab)联合Bellingcat、DigD...
- NAS 部署网盘资源搜索神器:全网资源一键搜,免费看剧听歌超爽!
-
还在为找不到想看的电影、电视剧、音乐而烦恼?还在各个网盘之间来回切换,浪费大量时间?今天就教你如何在NAS上部署aipan-netdisk-search,一款强大的网盘资源搜索神器,让你全网资源...
- 使用 Docker Compose 简化 INFINI Console 与 Easysearch 环境搭建
-
前言回顾在上一篇文章《搭建持久化的INFINIConsole与Easysearch容器环境》中,我们详细介绍了如何使用基础的dockerrun命令,手动启动和配置INFINICon...
- 为庆祝杜特尔特到访,这个国家宣布全国放假?
-
(观察者网讯)近日,一篇流传甚广的脸书推文称,为庆祝杜特尔特去年访问印度,印度宣布全国放假,并举办了街头集会以示欢迎。菲媒对此做出澄清,这则消息其实是“假新闻”。据《菲律宾世界日报》2日报道,该贴子...
- 一课译词:毛骨悚然(毛骨悚然的意思是?)
-
PhotobyMoosePhotosfromPexels“毛骨悚然”,汉语成语,意思是毛发竖起,脊梁骨发冷;形容恐惧惊骇的样子(withone'shairstandingonend...
- Bing Overtakes Google in China's PC Search Market, Fueled by AI and Microsoft Ecosystem
-
ScreenshotofBingChinahomepageTMTPOST--Inastunningturnintheglobalsearchenginerace,Mic...
- 找图不求人!6个以图搜图的识图网站推荐
-
【本文由小黑盒作者@crystalz于03月08日发布,转载请标明出处!】前言以图搜图,专业说法叫“反向图片搜索引擎”,是专门用来搜索相似图片、原始图片或图片来源的方法。常用来寻找现有图片的原始发布出...
- 浏览器功能和“油管”有什么关联?为什么要下载
-
现在有没有一款插件可以实现全部的功能,同时占用又小呢,主题主要是网站的一个外观,而且插件则主要是实现wordpress网站的一些功能,它不仅仅可以定制网站的外观,还可以实现很多插件的功能,搭载chro...
- 一周热门
- 最近发表
- 标签列表
-
- mybatiscollection (79)
- mqtt服务器 (88)
- keyerror (78)
- c#map (65)
- xftp6 (83)
- bt搜索 (75)
- c#var (76)
- xcode-select (66)
- mysql授权 (74)
- 下载测试 (70)
- linuxlink (65)
- pythonwget (67)
- androidinclude (65)
- libcrypto.so (74)
- linux安装minio (74)
- ubuntuunzip (67)
- vscode使用技巧 (83)
- secure-file-priv (67)
- vue阻止冒泡 (67)
- jquery跨域 (68)
- php写入文件 (73)
- kafkatools (66)
- mysql导出数据库 (66)
- jquery鼠标移入移出 (71)
- 取小数点后两位的函数 (73)