中小企业数字化实战案例(连载)-23数仓建模
bigegpt 2024-10-03 14:59 6 浏览
在确定湖仓一体的建设方案后，我们开始进入数据建模阶段。在任何企业数字化转型过程中，数据建模是最最核心的工作。主要原因有以下3点：
1.数字化转型的基础核心是管理数据，不能被有效管理的数据是不能保证质量、安全和可用的，数据不能有效管理是无从谈起数字化转型的。因此，为了能够有效管理数据，就必须对现有数据、甚至未来可预见的数据进行建模。
2.数据是需要共享、复制、移动的，是动态存在的，如何让数据具备共享、复制和移动的能力和管控也是需要进行建模的。
3.数据是需要进行计算处理的，为满足业务分析需求和支撑业务发展需要，数据是需要经过多层计算处理后才能为业务需求和发展服务，这也需要进行建模。在这里要说明一下，数据建模不仅仅是满足数据存储，还要满足多层数据模型之间的CRUD关系和计算逻辑关系。
为了更好的满足数据质量管理、数据安全管理、以及业务分析需求，我们采用3层模型设计，具体如下：
1.数据明细层：主要由事实明细表DWD和维度表DIM组成，DWD由ODS经过ETL过程按业务所属明细数据进行模型设计，在这一层不涉及任何需要计算和逻辑处理。DIM模型独立管理，即DIM的改变不影响事实表，这也给出了一个可以通过较小代价解决SCD问题的方法（具体SCD解决实际案例将在后续内容中做专题说明）。基于我们自身的关于数据质量和安全管理需求，我们是在DWD和DIM进行数据质量管理和数据安全管理的，这点可能每个企业会不同。
2.数据汇总层：也称为DWS层，在这层按业务主题管理域进行划分，每个业务管理主题域可能由多个DWD业务明细数据和DIM维度数据通过简单的计算汇聚而成，每个业务管理主题域的数据模型设计需求由业务部门的管理需求而来。同时，DWS层还承担了ADS层所需要的明细数据模型。
2.数据服务层：也称为ADS层，在这层主要是提供分析模型、业务预测、分析报告等数据服务产品，也是整体数仓最高阶层，该层将使用DWD、DIM和DWS的数据进行复杂的计算、逻辑处理、以及AI预测算法等形成ADS数据模型，为数据可视化工具提供高阶数据服务。
上述从设计和理论上阐述了我们的数据建模，可能不太直观也没有具体的参考价值。接下来我将逐一的为大家介绍我们每个业务的数据建模过程。敬请关注下回《客户分析建模》
- 上一篇：数仓建模—宽表的设计 宽表定义
- 下一篇：数仓构建案例:从需求分析到数仓构建全流程
相关推荐
- 有些人能留在你的心里，但不能留在你生活里。
-
有时候，你必须要明白，有些人能留在你的心里，但不能留在你生活里。Sometimes,youhavetorealize,Somepeoplecanstayinyourheart,...
- Python学不会来打我(34)python函数爬取百度图片_附源码
-
随着人工智能和大数据的发展，图像数据的获取变得越来越重要。作为Python初学者，掌握如何从网页中抓取图片并保存到本地是一项非常实用的技能。本文将手把手教你使用Python函数编写一个简单的百度图片...
- 软网推荐:图像变变变 一“软”见分晓
-
当我们仅需要改变一些图片的分辨率、裁减尺寸、添加水印、标注文本、更改图片颜色，或将一种图片转换为另一种格式时，总比较讨厌使用一些大型的图像处理软件，尤其是当尚未安装此类软件时，更是如此。实际上，只需一...
- 首款WP8.1图片搜索应用，搜照片得资料
-
首款WP8.1图片搜索应用，搜照片得资料出处：IT之家原创（天际）2014-11-1114:32:15评论WP之家报道，《反向图片搜索》（ReverseImageSearch）是Window...
- 盗墓笔记电视剧精美海报 盗墓笔记电视剧全集高清种子下载
-
出身“老九门”世家的吴邪，因身为考古学家的父母在某次保护国家文物行动时被国外盗墓团伙杀害，吴家为保护吴邪安全将他送去德国读书，因而吴邪对“考古”事业有着与生俱来的兴趣。在一次护宝过程中他偶然获得一张...
- 微软调整Win11 24H2装机策略:6月起36款预装应用改为完整版
-
IT之家7月16日消息，微软公司今天（7月16日）发布公告，表示自今年6月更新开始，已默认更新Windows1124H2和WindowsServer2025系统中预装...
- 谷歌手把手教你成为谣言终结者 | 域外
-
刺猬公社出品，必属原创，严禁转载。合作事宜，请联系微信号：yunlugongby贾宸琰编译、整理11月23日，由谷歌新闻实验室（GoogleNewsLab）联合Bellingcat、DigD...
- NAS 部署网盘资源搜索神器:全网资源一键搜，免费看剧听歌超爽!
-
还在为找不到想看的电影、电视剧、音乐而烦恼？还在各个网盘之间来回切换，浪费大量时间？今天就教你如何在NAS上部署aipan-netdisk-search，一款强大的网盘资源搜索神器，让你全网资源...
- 使用 Docker Compose 简化 INFINI Console 与 Easysearch 环境搭建
-
前言回顾在上一篇文章《搭建持久化的INFINIConsole与Easysearch容器环境》中，我们详细介绍了如何使用基础的dockerrun命令，手动启动和配置INFINICon...
- 为庆祝杜特尔特到访，这个国家宣布全国放假?
-
（观察者网讯）近日，一篇流传甚广的脸书推文称，为庆祝杜特尔特去年访问印度，印度宣布全国放假，并举办了街头集会以示欢迎。菲媒对此做出澄清，这则消息其实是“假新闻”。据《菲律宾世界日报》2日报道，该贴子...
- 一课译词:毛骨悚然（毛骨悚然的意思是?）
-
PhotobyMoosePhotosfromPexels“毛骨悚然”，汉语成语，意思是毛发竖起，脊梁骨发冷；形容恐惧惊骇的样子（withone'shairstandingonend...
- Bing Overtakes Google in China's PC Search Market, Fueled by AI and Microsoft Ecosystem
-
ScreenshotofBingChinahomepageTMTPOST--Inastunningturnintheglobalsearchenginerace,Mic...
- 找图不求人!6个以图搜图的识图网站推荐
-
【本文由小黑盒作者@crystalz于03月08日发布，转载请标明出处！】前言以图搜图，专业说法叫“反向图片搜索引擎”，是专门用来搜索相似图片、原始图片或图片来源的方法。常用来寻找现有图片的原始发布出...
- 浏览器功能和“油管”有什么关联?为什么要下载
-
现在有没有一款插件可以实现全部的功能，同时占用又小呢，主题主要是网站的一个外观，而且插件则主要是实现wordpress网站的一些功能，它不仅仅可以定制网站的外观，还可以实现很多插件的功能，搭载chro...
- 一周热门
- 最近发表
- 标签列表
-
- mybatiscollection (79)
- mqtt服务器 (88)
- keyerror (78)
- c#map (65)
- xftp6 (83)
- bt搜索 (75)
- c#var (76)
- xcode-select (66)
- mysql授权 (74)
- 下载测试 (70)
- linuxlink (65)
- pythonwget (67)
- androidinclude (65)
- libcrypto.so (74)
- linux安装minio (74)
- ubuntuunzip (67)
- vscode使用技巧 (83)
- secure-file-priv (67)
- vue阻止冒泡 (67)
- jquery跨域 (68)
- php写入文件 (73)
- kafkatools (66)
- mysql导出数据库 (66)
- jquery鼠标移入移出 (71)
- 取小数点后两位的函数 (73)