百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

Oracle 内核解密之存储篇

bigegpt 2025-02-08 10:06 7 浏览

大家好,我是晓彬,今天开始跟大家分享 Oracle 内核技术,今天和大家分享 Oracle 内核解密之存储篇,希望对大家学习数据库有所帮助。

一、存储关系

Oracle 数据库在逻辑上是由一个或多个表空间组成的,表空间物理上是由一个或多个数据文件组成的;而在逻辑上表空间又是由一个或多个段组成的。在Oracle 数据库中,通过为每种不同的数据对象分配不同的段,来保存数据。在Oracle 数据库中,段是由一个或多个区组成的,而区又是由连续存储的数据块所组成的。BLOCK块则是数据库的I/O 最小的单位。

(一)、ORACLE存储结构

ORACLE数据库可划分为被称为表空间的逻辑存储单元。每一个表空间可以包含很多的Oracle 逻辑数据块。DB_BLOCK_SIZE 参数指定了逻辑块的大小。逻辑块的大小范围为2KB至32KB,默认大小为8KB。特定数目的相邻逻辑块构成了一个区。为特定逻辑结构分配 的一组区构成了一个段。ORALCE在存储过程中空间是按区为单位分配空间的,Oracle 数据块是逻辑I/O 的最小单位。

1、ORACLE中的区

区,表空间分配的基本单位,如果新建一个表,并且插入一行数据,那么ORACLE数据库至少为该表分配一个区。我们可以通过数据字典DBA_EXTENTS查看表对应的所属区。

SELECT?EXTENT_ID,?--区ID
???????FILE_ID,?--文件ID
???????BLOCK_ID,?--第一个块ID
???????BLOCKS?--块数
??FROM?DBA_EXTENTS
?WHERE?SEGMENT_NAME?=?'EMP'?--表名
?ORDER?BY?EXTENT_ID

ORACLE数据库有两种类型的表空间:一种是统一区大小表空间;另外一种是系统管理区大小表空间,所以ORACLE区的大小由着两种表空间类型决定。

(1)统一区大小表空间

统一区大小表空间就是创建表的时候指定表空间大小为统一值。

举例:创建一个统一区表空间,区大小为1M的表空间

CREATE?TABLESPACE?LIUXIAOBIN_TBS1?DATAFILE?'F:\360Downloads\ORACLE\LIUXIAOBIN_TBS1_01.DBF'?SIZE?50M?UNIFORM?SIZE?1M;

创建一张表并且使用该表空间并插入数据

CREATE?TABLE?LIUXIAOBIN?(ID?INT,NAME?VARCHAR2(20))?TABLESPACE?LIUXIAOBIN_TBS1;

INSERT?INTO?LIUXIAOBIN?VALUES(1,'liuxiaobin');

观察该表块的大小以及块数等信息

SELECT?EXTENT_ID,?--区ID
???????FILE_ID,?--文件ID
???????BLOCK_ID,?--第一个块ID
???????BLOCKS?--块数
??FROM?DBA_EXTENTS
?WHERE?SEGMENT_NAME?=?'LIUXIAOBIN'?--表名
?ORDER?BY?EXTENT_ID

根据查询可知:LIUXIAOBIN表有一个区,从11号文件第128个块开始,总计128个块。

查询该数据库块大小

?SELECT?VALUE?FROM?V$PARAMETER?WHERE?NAME='db_block_size';

根据查询可知,该数据库块大小小为8K,那么可以知道LIUXIAOBIN表从11号文件的第128个块开始占用空间到257号块是该表的第一个区。

该表空间的0到127号,其中0号块和1号块属于文件头,2到127号块属于位图块,所有位图块都是用来记录该表空间哪个区分配给那个表或者索引等对象的。位图块由126位二进制位表示:0100000.... 0表示该区未被分配给对象,1表示该区已经分配给对象。

文件快DUMP

DUMP 0、1号块:

ALTER?SYSTEM?DUMP?DATAFILE?'F:\360Downloads\ORACLE\LIUXIAOBIN_TBS1_01.DBF'?block?0;

ALTER?SYSTEM?DUMP?DATAFILE?'F:\360Downloads\ORACLE\LIUXIAOBIN_TBS1_01.DBF'?block?1;

位图块示意图

位图块分两部分:

第一个位图块:2号块为位图块端头

举例:DUMP2号块:

ALTER?SYSTEM?DUMP?DATAFILE?'F:\360Downloads\ORACLE\LIUXIAOBIN_TBS1_01.DBF'?block?2;

第二个位图块之后到127块块为真正的位图块;

举例:DUMP3号块:

ALTER?SYSTEM?DUMP?DATAFILE?'F:\360Downloads\ORACLE\LIUXIAOBIN_TBS1_01.DBF'?block?3;

根据上图可知表空间的3号块是位图块的第一个块。

3到127号块是位图快,总计8K*125=1000K字节,一个字节对应8个二进制位,一共8192000个二进制位,也就是说一个块大小位8K的表空间一共有8192000个区,如果表要分配一个区如何在则800多万区里面找呢?

ORACLE采用标记为,如果0,1,2号被占用标记为3,如果3,4、5号又被占用标记为6,如果4号区释放,那么标记4。需要分配区的表就从4号区开始分配。

注意:ORACLE中如果开起了闪回,DROP表区不会被释放,标记为不会下降,只是修改了名,不会真正删除表。

(2)系统管理区大小

系统管理区大小,ORACLE会根据表的大小自动调整区的大小。

举例:

CREATE?TABLESPACE?LIUXIAOBIN_TS2?DATAFILE?'F:\360Downloads\ORACLE\LIUXIAOBIN_TBS2_01.DBF'?SIZE?50M;

CREATE?TABLE?LUXIAOBIN2(ID?INT,NAME?VARCHAR2(20))?TABLESPACE?LIUXIAOBIN_TS2;

SELECT?EXTENT_ID,?--区ID
???????FILE_ID,?--文件ID
???????BLOCK_ID,?--第一个块ID
???????BLOCKS?--块数
??FROM?DBA_EXTENTS
?WHERE?SEGMENT_NAME?=?'LUXIAOBIN2'?--表名
?ORDER?BY?EXTENT_ID

查询此时块大小:

?SELECT?VALUE?FROM?V$PARAMETER?WHERE?NAME='db_block_size';

向表中插入数据:

INSERT?INTO?LUXIAOBIN2?SELECT?ROWNUM,'BBB'?FROM?DBA_OBJECTS;

SELECT?EXTENT_ID,?--区ID
???????FILE_ID,?--文件ID
???????BLOCK_ID,?--第一个块ID
???????BLOCKS?--块数
??FROM?DBA_EXTENTS
?WHERE?SEGMENT_NAME?=?'LUXIAOBIN2'?--表名
?ORDER?BY?EXTENT_ID

根据查询结构块的大小还是8K未变化。接下来我们继续插入数据直到块大小变化。

INSERT INTO LUXIAOBIN2 SELECT * FROM LUXIAOBIN2;

根据以上实验可知,当表小于1M时,每个分区为8个块64K,当表大于1M时,每个分区是128个块每个区大小为1M。继续插入数据表的分区可以达到8M。有兴趣的朋友可以自己动手实验以下。

总结:从空间利用率来说大区空间利用率低,小区利用率高。从性能上大区全表扫描效率高,小区由于区多所以效率低,因为建议使用系统管理区大小,根据表的大小调整区的大小更为适合。

2、ORALCE中的段

段是由一个或者多个区组成,ORACLE中每个对象都有ID,段id以及表ID。

CREATE?TABLE?LUXIAOBIN3(ID?INT,NAME?VARCHAR2(20))?TABLESPACE?LIUXIAOBIN_TS2;

CREATE?TABLE?LUXIAOBIN3(ID?INT,NAME?VARCHAR2(20))?TABLESPACE?LIUXIAOBIN_TS2;

INSERT?INTO?LUXIAOBIN3?VALUES?(1,?'bbb');

SELECT?OBJECT_ID,?DATA_OBJECT_ID
??FROM?DBA_OBJECTS
?WHERE??OBJECT_NAME?=?'LUXIAOBIN3'

此时表ID和段ID相同。我们继续实验。

truncate?table?LUXIAOBIN3?

SELECT?OBJECT_ID,?DATA_OBJECT_ID
??FROM?DBA_OBJECTS
?WHERE??OBJECT_NAME?=?'LUXIAOBIN3'

根据以上实验我们可以得出结论,TRUNCATE 表的ID不会该变,段的ID回改变ID值加1。

3、ORACLE中的块

oracle数据块是oracle数据库存储基础,有磁盘空间的若干字节组成,数据块是oracle数据库的最小逻辑单元,可以定义数据块为2k、4k、8k、16k、32k甚至更大,默认oracle块大小是8k,通常我们称为oracle块。当然正常情况下oracle块应该是os块的整数倍,当然具有标准大小的块叫做标准块,和标准块不同的块叫做非标准块。块中包含两部份信息,一个是管理信息一个是用户数据。

Oracle块大小设置在初始化参数文件里面(init.ora)中的db_block_size中设置,块是处理update、insert、select数据事务的最小单位,当用户从表中选择数据时,将在oracle块上读取或是提取数据。意思就是说:os每次执行i/o时候,是以os的块为单位;oracle每次执行i/o时候,是以oracle块为单位。

(1)数据块结构

块结构说明如下:

A 块头:存放一些基本信息,如物理位置,块所属的段类型(数据段、索引段、回滚段等)

B 表目录:如果块中存储的数据为表数据,则表目录中保存这个表的相关信息

C 行目录:如果块中存储的数据为表数据,则行目录中保存数据行的相关信息。

块头、表目录和行目录组成块的头部信息(overhead),这部分不存数据库中实际的数据,而是用来记录该块的逻辑结构,而且这部分占用的空间不是固定的,大约在84-107字节之间。

D 行记录:真正存放数据的区域,这部分空间已被使用。

E 空闲空间:未使用的区域,用于新行的插入或者已经存在行的更新。(这里有个概念行迁移:就是当update操作时,块中空闲的空间不够保存修改的数据,那么记录就将保存到另一个拥有足够空间的块中,而只在原块上保留一条指向新块的rowid,这就是行迁移row migration)

(2)自由空间

空闲空间的使用,Insert这时候块的自由空间会减少,update的时候块的自由空间也会减少当使用DELETE语句删除块中的记录或者使用UPDATE语句把列的值更改成一个更小值的时候,Oracle会释放出一部分自由空间。释放出的自由空间并不一定是连续的,常情况下,Oracle不会对块中不连续的自由空间进行合并。因为合并数据块中不连续的自由空间会影响数据库的性能。只有当用户进行数据插入(INSERT)或者更新(UPDATE)操作,却找不到连续的自由空间的时候,Oracle才会合并数据块中不连续的自由空间。

(3)空闲空间的管理

对于块中的自由空间,Oracle提供两种管理方式:自动管理,手动管理

行链接和行迁移(Row Chaining and Migrating)

行链接(Row Chaining):如果我们往数据库中插入(INSERT)一行数据,这行数据很大,以至于一个数据块存不下一整行,Oracle就会把一行数据分作几段存在几个数据块中,这个过程叫行链接(Row Chaining)。

行迁移(Row Migrating):数据块中存在一条记录,用户执行UPDATE更新这条记录,这个UPDATE操作使这条记录变长,这时候,Oracle在这个数据块中进行查找,但是找不到能够容纳下这条记录的空间,无奈之下,Oracle只能把整行数据移到一个新的数据块。原来的数据块中保留一个“指针”,这个“指针”指向新的数据块。被移动的这条记录的ROWID保持不变。

无论是行链接还是行迁移,都会影响数据库的性能。Oracle在读取这样的记录的时候,Oracle会扫描多个数据块,执行更多的I/O。而且是成倍加大i/o。

相关推荐

【Docker 新手入门指南】第十章:Dockerfile

Dockerfile是Docker镜像构建的核心配置文件,通过预定义的指令集实现镜像的自动化构建。以下从核心概念、指令详解、最佳实践三方面展开说明,帮助你系统掌握Dockerfile的使用逻...

Windows下最简单的ESP8266_ROTS_ESP-IDF环境搭建与腾讯云SDK编译

前言其实也没啥可说的,只是我感觉ESP-IDF对新手来说很不友好,很容易踩坑,尤其是对业余DIY爱好者搭建环境非常困难,即使有官方文档,或者网上的其他文档,但是还是很容易踩坑,多研究,记住两点就行了,...

python虚拟环境迁移(python虚拟环境conda)

主机A的虚拟环境向主机B迁移。前提条件:主机A和主机B已经安装了virtualenv1.主机A操作如下虚拟环境目录:venv进入虚拟环境:sourcevenv/bin/active(1)记录虚拟环...

Python爬虫进阶教程(二):线程、协程

简介线程线程也叫轻量级进程,它是一个基本的CPU执行单元,也是程序执行过程中的最小单元,由线程ID、程序计数器、寄存器集合和堆栈共同组成。线程的引入减小了程序并发执行时的开销,提高了操作系统的并发性能...

基于网络安全的Docker逃逸(docker)

如何判断当前机器是否为Docker容器环境Metasploit中的checkcontainer模块、(判断是否为虚拟机,checkvm模块)搭配学习教程1.检查根目录下是否存在.dockerenv文...

Python编程语言被纳入浙江高考,小学生都开始学了

今年9月份开始的新学期,浙江省三到九年级信息技术课将同步替换新教材。其中,新初二将新增Python编程课程内容。新高一信息技术编程语言由VB替换为Python,大数据、人工智能、程序设计与算法按照教材...

CentOS 7下安装Python 3.10的完整过程

1.安装相应的编译工具yum-ygroupinstall"Developmenttools"yum-yinstallzlib-develbzip2-develope...

如何在Ubuntu 20.04上部署Odoo 14

Odoo是世界上最受欢迎的多合一商务软件。它提供了一系列业务应用程序,包括CRM,网站,电子商务,计费,会计,制造,仓库,项目管理,库存等等,所有这些都无缝集成在一起。Odoo可以通过几种不同的方式进...

Ubuntu 系统安装 PyTorch 全流程指南

当前环境:Ubuntu22.04,显卡为GeForceRTX3080Ti1、下载显卡驱动驱动网站:https://www.nvidia.com/en-us/drivers/根据自己的显卡型号和...

spark+python环境搭建(python 环境搭建)

最近项目需要用到spark大数据相关技术,周末有空spark环境搭起来...目标spark,python运行环境部署在linux服务器个人通过vscode开发通过远程python解释器执行代码准备...

centos7.9安装最新python-3.11.1(centos安装python环境)

centos7.9安装最新python-3.11.1centos7.9默认安装的是python-2.7.5版本,安全扫描时会有很多漏洞,比如:Python命令注入漏洞(CVE-2015-2010...

Linux系统下,五大步骤安装Python

一、下载Python包网上教程大多是通过官方地址进行下载Python的,但由于国内网络环境问题,会导致下载很慢,所以这里建议通过国内镜像进行下载例如:淘宝镜像http://npm.taobao.or...

centos7上安装python3(centos7安装python3.7.2一键脚本)

centos7上默认安装的是python2,要使用python3则需要自行下载源码编译安装。1.安装依赖yum-ygroupinstall"Developmenttools"...

利用本地数据通过微调方式训练 本地DeepSeek-R1 蒸馏模型

网络上相应的教程基本都基于LLaMA-Factory进行,本文章主要顺着相应的教程一步步实现大模型的微调和训练。训练环境:可自行定义,mac、linux或者window之类的均可以,本文以ma...

【法器篇】天啦噜,库崩了没备份(天啦噜是什么意思?)

背景数据库没有做备份,一天突然由于断电或其他原因导致无法启动了,且设置了innodb_force_recovery=6都无法启动,里面的数据怎么才能恢复出来?本例采用解析建表语句+表空间传输的方式进行...