百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

数据中台的整体框架

bigegpt 2024-09-06 17:44 17 浏览

数据中台是以客户为中心、业务数据化和智能化发展的必然产物。数据中台的合理建设有助于提升数据向资产转化、数据规模化应用的能力,有效地实现数据的价值,支持业务数据化和智能化的需求,敏捷响应客户的个性化需求。建设数据中台的第一步是合理规划数据中台的架构,如下图所示。

数据中台的逻辑框架主要分为统一数据基础设施平台、数据接入和汇聚平台、统一数据模型平台、统一ID和标签平台、数据开发和运维平台、数据智能平台、数据管理平台、数据服务平台。

一、统一数据基础设施平台

构建统一的、公共的数据基础设施平台,实现平台快速部署、快速配置,有助于提升上层数据应用的效率和健壮性。

二、数据接入和汇聚平台

数据接入和汇聚平台是数据中台的起点,用于接入各个数据源的数据,然后通过统一的标准化体系实现数据的统一集中存储和汇聚,为上层的数据模型夯实数据基础。

三、统一数据模型平台

数据中台的核心组件之一是统一数据模型平台。让原始杂乱无章的数据变换为标准化、血缘关系清晰的数据资产,保障了数据的标准化和统一规范,沉淀了业务共同的数据维度和指标,实现了数据分层建模。

常见的数据建模方法有维度建模、实体建模和范式建模。数据建模一般将数据资产进行分层,数据分层的好处主要有以下两个∶一个是让数据的血缘关系和结构清晰;另一个是减少重复开发。

四、统一ID和标签平台

统一ID和标签平台是统一数据模型平台的延展,主要解决以下两个问题。

(1)各种业务实体ID的不统一问题,如客户ID、渠道ID、设备ID等不统一,造成数据支离破碎。

(2)标签体系不完备的问题。要构建基于统一实体ID的标签体系。

五、数据开发和运维平台

数据开发和运维平台主要是一个工具抽象和建设平台,用于构建系列工具提高数据开发和运维的效率与自动化水平。常见的工具有数据爬虫、数据同步、数据迁移、数据开发、数据ETL、监控工具、调度工具、数据运维等。

六、数据智能平台

数据智能平台承接数据模型输出的数据标签,利用大数据和算法提供分析、分类、排序、聚类、预测、推荐、匹配、决策支持、感知、理解、互动、学习等智能, 支持业务的智能化需求,如客户的需求洞察、偏好分析、风险分析、产品推荐、人机交互等。

七、数据管理平台

数据管理平台的核心能力是让企业有哪些数据资产、数据资产的存储情况、数据资产之间的关系和血缘均清晰可见,让数据资产符合质量管理规范,让数据资产的应用符合流程要求和安全规范,保障数据资产低冗余、高复用。数据管理平台主要管理的模块有数据标准管理、元数据管理、主数据管理、数据质量管理、数据生命周期管理和数据安全管理。

八、数据服务平台

数据服务平台将公共数据功能抽象并封装为数据API,实现了数据即服务DaaS,高效地响应了业务需求。数据服务平台实现了数据资产随时随地可调用和可复用,并且数据服务的使用全流程也通过在线化和数据化的方式实现,全流程可追踪和可回溯。

因此,数据中台框架满足高可用性和高健壮性,才能达到数据中台服务化的终极目标。

相关推荐

Linux gron 命令使用详解(linux gminer)

简介gron是一个独特的命令行工具,用于将JSON数据转换为离散的、易于grep处理的赋值语句格式。它的名字来源于"grepableon"或"grepable...

【Linux】——从0到1的学习,让你熟练掌握,带你玩转Linu

学习Linux并掌握Java环境配置及SpringBoot项目部署是一个系统化的过程,以下是从零开始的详细指南,帮助你逐步掌握这些技能。一、Linux基础入门1.安装Linux系统选择发行版:推荐...

Linux常用的shell命令汇总(linux中shell的作用)

本文介绍Linux系统下常用的系统级命令,包括软硬件查看、修改命令,有CPU、内存、硬盘、网络、系统管理等命令。说明命令是在Centos6.464位的虚拟机系统进行测试的。本文介绍的命令都会在此C...

零成本搭建个人加密文件保险柜(适用于 Win11 和 Linux)

不依赖收费软件操作简单,小白也能跟着做支持双系统,跨平台使用实现数据加密、防删除、防泄露内容通俗无技术门槛,秒懂秒用使用工具简介我们将使用两个核心工具:工具名用途系统支持Veracrypt创建加密虚...

如何在 Linux 中使用 Gzip 命令?(linux怎么用gzip命令)

gzip(GNUzip)是Linux系统中一个开源的压缩工具,用于压缩和解压缩文件。它基于DEFLATE算法,广泛应用于文件压缩、备份和数据传输。gzip生成的文件通常带有.gz后缀,压缩效率...

Linux 必备的20个核心知识点(linux内核知识点)

学习和使用Linux所必备的20个核心知识点。这些知识点涵盖了从基础操作到系统管理和网络概念,是构建扎实Linux技能的基础。Linux必备的20个知识点1.Linux文件系统层级标...

谷歌 ChromeOS 已支持 7z、iso、tar 文件格式

IT之家6月21日消息,谷歌ChromeOS在管理文件方面进行了改进,新增了对7z、iso和tar等格式的支持。从5月的ChromeOS101更新开始,ChromeOS...

如何在 Linux 中提取 Tar Bz2 文件?

在深入解压方法之前,我们先来了解.tar.bz2文件的本质。.tar.bz2是一种组合文件格式,包含两个步骤:Tar(TapeArchive):tar是一种归档工具,用于将多个文件或目录打包...

如何在 CentOS 7/8 上安装 Kitematic Docker 管理器

Kitematic是一款流行的Docker图形界面管理平台,适用于Ubuntu、macOS和Windows操作系统。然而,其他发行版(如CentOS、OpenSUSE、Fedora、R...

Nacos3.0重磅来袭!全面拥抱AI,单机及集群模式安装详细教程!

之前和大家分享过JDK17的多版本管理及详细安装过程,然后在项目升级完jdk17后又发现之前的注册和配置中心nacos又用不了,原因是之前的nacos1.3版本的,版本太老了,已经无法适配当前新的JD...

爬虫搞崩网站后,程序员自制“Zip炸弹”反击,6刀服务器成功扛住4.6万请求

在这个爬虫横行的时代,越来越多开发者深受其害:有人怒斥OpenAI的爬虫疯狂“偷”数据,7人团队十年心血的网站一夜崩溃;也有人被爬虫逼到极限,最后只好封掉整个巴西的访问才勉强止血。但本文作者却走...

Ubuntu 操作系统常用命令详解(ubuntu必学的60个命令)

UbuntuLinux是一款流行的开源操作系统,广泛应用于服务器、开发、学习等场景。命令行是Ubuntu的灵魂,也是高效、稳定管理系统的利器。本文按照各大常用领域,详细总结Ubuntu必学...

Linux面板8.0.54 测试版-已上线(linux主机面板)

Linux面板8.0.54测试版【增加】[网站]Java项目新增刷新列表按钮【增加】[网站]PHP项目-Apache-服务新增守护进程功能【增加】[网站]Python项目创建/删除网站时新增同时创建...

开源三剑客——构建私有云世界的基石

公共云原生的浪潮正在席卷这个世界,亚马逊AWS、谷歌GCP和微软的Azure年收入增长超过了30%,越来越多的公司和个人开始将自己的服务部署到云环境中,大型数据中心的规模经济带来了成本的降低,可以在保...

2.2k star,一款业界领先的私有云+在线文档管理系统

简介kodbox可道云(原KodExplorer)是业内领先的企业私有云和在线文档管理系统,为个人网站、企业私有云部署、网络存储、在线文档管理、在线办公等提供安全可控,简便易用、可高度定制的私有云产品...