百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

一步步编写操作系统 35 内存为何要分页

bigegpt 2024-10-18 04:12 5 浏览

一直以来我们都直接在内存分段机制下工作,目前未出问题看似良好,的确目前咱们的应用过于简单了,就一个loader在跑,能出什么问题呢。可是想像一下,当我们物理内存不足时会怎么办呢?比如系统里的应用程序过多、或者内存碎片过多无法容纳新的进程、或者曾经被换出到硬盘中的内存段需要再次重新装到内存,可是内存中找不到合适大小的内存区域怎么办?也许有人会说,这简单啊,停止想像呗…….嘿嘿,开玩笑而已,问题还是要解决的。

也许文字说得并不是很清楚,下面以图示说明这些情况

上图模拟了多个进程并行的情况。在第1步中,系统里有3个进程正在运行,进程A、B、C各占了10MB、20MB、30MB的内存空间,物理内存还是挺宽裕的,还剩下15MB可用。到了第2步就悲催了,此时进程B已经运行结束,腾出了20MB的内存,可是待加载运行的进程D需要20MB+3KB的内存空间,即20483KB。现在的运行环境是未开启分页功能,“段基址+段内偏移”产生的线性地址就是物理地址,程序中引用的线性地址是连续的,所以物理地址也连续。虽然总共剩下35MB内存可用,可问题是明摆着的,现在连续的内存块只有原来进程B的20MB和最下面可用内存15MB。哪一块都不够进程D用的,这怎么办呢?

两个解决方案:

  • 等待进程C运行完后腾出内存,这样连续可用的内存就够运行进程D了
  • 将进程A的段A3或进程C的段C1换出到硬盘上,腾出一部分空间,加上邻接的20MB,足够容纳进程D。

第一个方案比较简单直接,但就是要等待,而且咱们也不知道程序C啥时候执行完,等个没完没了,用户还以为死机了呢,说不定一气之下就给重启了,算啦,这个方法不好,看第二个吧。

第二个方案看上去先进很多,原理是将老进程不常用的段换出到硬盘,腾出空间给新进程用,等老进程再次需要该段时,再从硬盘上将该段载入内存。如图:

看上去方案完美无懈可击,虽然要用到低速的硬盘,但至少能干活。这就是当系统物理内存不足的情况下,硬盘灯会不停闪烁的原因。不过这一切是需要硬件的配合才能实现,咱们一会介绍下这种内存管理,不过在这之前先扯点别的。

我曾经一度搞不清楚操作系统和硬件的内在联系,比如,某种功能是操作系统自己实现的还是硬件直接支持的?甚至在更早些时候,由于知识掌握的不足,有些问题迷惑到不知该如何表达,后来才搞清楚,操作系统和硬件之间是相互依赖、相互推动、相互促进而发展起来的。比如,起初的操作系统无法对内存段做访问限制,有了这样的需求后,cpu厂商决定采用段描述符来实现相关功能,在硬件一级上添加了GDTR和LDTR寄存器来支持全局描述符表和局部描述符表,并由硬件负责周边的安全检测。当初cpu硬件厂商可不是凭空造出这样一个概念的,是与操作系统厂商共同协商后才有了一套硬件方面的支持。这不仅仅在计算机行业中是这样,其它行业也一样,比如机械制造行业,如果要生产一个精度较高的零件,而目前的车床无法加工,生产车床的厂商就要提高自身水平,制造出加工精度更高的车床,而不是让零件去适应车床而降低精度。另外一个最典型的例子就是人类的直立行走,最早的时候是用四肢行走,人在思想上想把双手腾出来做其它事,所以身体便给予了“硬件”支持,慢慢发展成了只用下肢行走,这是典型的软件督促硬件发展。

虽然操作系统和cpu相互促进,但说到底,操作系统是软件,软件中的指令是靠cpu来执行,如果计算机是有生命的,软件相当于思想、灵魂,而硬件才是真正的身体,思想指导身体的行为。

但并不是思想指导了所有的行为,就拿人类的运动来说,咱们的大脑产生了跑的意识后,左腿右腿就交替向前迈进。但跑起来之后,心脏会加速跳动,肺也加速了呼吸的频率,这并不是咱们主动控制的,这些器官的行为是由身体里的植物神经控制。也就是说,咱们在跑步时,虽然大脑思想上只负责跑步的动作,不用向身体发命令:心脏加速、呼吸加速等,但这些器官的行为确实存在着,而且是在生理一级上自动完成不受意识控制。

说这些就是想告诉大家,我们所写的代码仅仅是完成了某件事的一部分而已,也许是大部分,还有一部分是cpu硬件上负责的,这部分咱们不用管,由cpu自动完成。比如,调用一个函数时,cpu自动将返回地址压入栈;进入中断时,cpu除了压入返回地址、标志寄存器外,还要根据当前特权级决定是否压入当前栈段寄存器及指针……这样的例子太多了不再一一列举。

东扯西扯地说了这么多后,开始说下例子中内存管理的原理,内存段是怎样被换出的。

在保护模式下,段描述符是内存段的身份证。cpu在引用一个段时,都要先查看段描述符。很多时候,段描述符存在于描述符表中(GDT或LDT),但与此对应的段并不在内存中,也就是说,cpu允许在描述符表中已注册的段不在内存中存在,这就是它提供给软件使用的策略,我们利用它实现段式内存管理。如果该描述符中的P位为1,表示该段在内存中存在。访问过该段后,cpu将段描述符中的A位置1,表示近来刚访问过该段。相反,如果P位为0,说明内存中并不存在该段,这时候cpu将会抛出个NP(段不存在)异常,转而去执行中断描述符表中NP异常对应的中断处理程序,此中断处理程序是操作系统负责提供的,该程序的工作是将相应的段从外存(比如硬盘)中载入到内存,并将段描述符的P位置1,中断处理函数结束后返回,cpu重复执行这个检查,继续查看该段描述符的P位,此时已经为1了,在检查通过后,将段描述符的A位置1。

以上是cpu加载内存段的过程,内存段是何时移出到外存上的呢?

段描述符的A位是由cpu置1,但清0工作可是由操作系统来完成的。此位干吗用的呢?如果仅仅用来表示该段被访问过,这也意义不大啊。其实这正是软件和硬件相互配合的体现,操作系统每发现该位为1后就将该位清0,这样一来,在一个周期内统计该位为1的次数就知道该段的使用频率了,从而可以找出使用频率最低的段。当物理内存不足时,可以将使用频率最低的段换出到硬盘,以腾出内存空间给新的进程。当段被换出到硬盘后,操作系统将该段描述符的P位置0。当下次这个进程上cpu运行后,如果访问了这个段,这样程序流就回到了刚开始cpu检查出P位为0、紧接着抛出异常、执行操作系统中断处理程序、换入内存段的循环。

另外,内存中的数据是二进制的,段被换出到硬盘上也是以二进制形式存储,数据内容都是一样的,只是存储介质不同而已,不要因为陌生而觉得段的换入换出深不可测,这无非是一段二进制数据在内存和外存之间拷贝来拷贝去而已,其过程就像将一个txt文件读到内存中修改后再保存到硬盘一样。

第二个方法虽然解决了内存不足的问题,但也有缺陷。比如物理内存特别小,无法容纳任何一个进程的段,这就没法运行进程了,更没法做段的换入换出。也许有人会说,这是用户的问题,这么小的内存还拿出来用,这不是“逗比”吗。您还别说,一会介绍的内存分页机制,理论上只要4K内存就可以让程序运行下去。另外一种情况是,若进程的段比较大,换出时要将整个段全部搬到外存上,这种IO操作太多了机器响应奇慢无比,用户是无法接受的。还有没有更好的方法呢?

想一想,出现这种问题的原因是什么?问题的本质是,在目前只分段的情况下,cpu认为线性地址等于物理地址。而线性地址是由编译器编译出来的,它本身是连续的,所以物理地址也必须要连续才行,但我们可用的物理地址不连续。换句话说,如果线性地址连续,而物理地址可以不连续,不就解决了吗。

按照这种思路,我们首先要做的是解除线性地址与物理地址一一对应的关系,然后将它们的关系重新建立。通过某种映射关系,可以将线性地址映射到任意物理地址。

有很多实现映射的方法,比如可以写个哈希算法,将线性地址做key,而value是物理地址。不过,这都是软件实现的算法,时间复杂度再低,效率肯定不如硬件“短、平、快”,因为硬件中的操作更直接,并且已经在电路上做过优化,而软件的效率主要取决于代码的算法和编译器的优化能力,即使能产生出最优的机器码,也是被当做普通指令处理:先要到内存中取指、译码、再执行,不说别的,就光是取指这步就已经很慢了,毕竟内存在cpu眼里是低速设备。所以,对于地址转换这种实时性较高的需求,cpu已经给予了我们最大的硬件支持,在cpu实现中,这种映射关系是通过一张表来实现的,该表就是我们所说的页表,查找页表的工作也是由硬件完成的。这张表是什么样的呢?我们在下一节中给出答案

相关推荐

LangChain4j如何自定义文档转换器实现数据清洗?

LangChain4j提供了3种RAG(Retrieval-AugmentedGeneration,检索增强生成)实现,我们通常在原生或高级的RAG实现中,要对数据进行清洗,也就是将外接...

Java 8 Stream API 详解(java stream.)

Java8StreamAPI详解一、概述在Java8中,StreamAPI是一个重要的新特性。它为处理集合(如List、Set等)中的元素提供了一种高效且富有表现力的方式。Str...

Java修炼终极指南:185 使用 Stream 过滤嵌套集合

这是面试中的一个经典问题,通常从一个模型开始,如下所示(我们假设集合是一个List):publicclassAuthor{privatefinalStringname;pri...

java8的stream使用小示例(java stream())

据JetBrains发布的2021年开发者生态系统调查,Java8在java使用的版本中仍然是当前最流行的版本。72%的专业开发人员使用Java8作为其在java开发中主要编程语言版本。现...

Node.js Stream - 实战篇(node.js in action)

本文转自“美团点评技术团队”http://tech.meituan.com/stream-in-action.html背景前面两篇(基础篇和进阶篇)主要介绍流的基本用法和原理,本篇从应用的角度,介...

Java Stream:集合处理的api(java 集合操作)

JavaStream流:高效集合处理的函数式编程利器一、什么是JavaStream?Java8引入的StreamAPI是一套用于处理集合数据的流式编程接口,通过函数式风格(无副作用的...

去除 List 中的重复元素,你知道几种实现方法?

去除List中重复元素,这在实际编程或面试中经常遇到,每个人都有习惯的写法吧,这里抛砖引玉,汇总了一些实现方案,开拓思路。准备数据假设数组中有10个数据,可能有重复,需要将重复的数据从数组中去掉。pu...

Java开发者必看!Stream流式编程10个爆款技巧,让你代码优雅飞起

为什么你的Java代码总像拧巴的麻绳?掌握这10个Stream实战技巧,代码效率与优雅度将产生质的飞跃。以下案例均来自真实电商系统场景,带你感受流式编程的降维打击!一、过滤与映射组合拳(Filter...

leetcode每日一题之存在重复元素(存在重复元素 iii)

题:给定一个整数数组,判断是否存在重复元素。如果存在一值在数组中出现至少两次,函数返回true。如果数组中每个元素都不相同,则返回false。比如:输入:[1,2,3,1]输出:true...

告别for循环!揭秘Stream API如何让你的代码简洁度提升300%

一、当传统循环遇上现代需求真实场景复现:某电商平台需要处理10万条订单数据,要求:筛选出金额>500的订单提取用户ID并去重统计VIP用户数量传统实现方案://常规写法Set<Long...

Java中List去重的N种方法:从基础到优雅

Java中List去重的N种方法:从基础到优雅在日常的Java开发中,我们经常会遇到需要对List集合去重的情况。无论是为了清理重复的数据,还是为了优化算法性能,掌握多种去重方式都是一项非常实用的技能...

Java Stream流没用过?常用高频方法

概念Stream流是Java8添加的以一种链式调用的方法处理数据,主要侧重于计算。具有以下相关特点代码简洁链式调用Stream常用方法1.将数组变为当作List操作String[]strArr=...

核医学专业名词索引(M-R)(核医学重点归纳)

M吗啡(morphia)埋藏式心律转复除颤器(implantablecardioverterdefibrillator,ICD)麦角骨化醇(VD2,calciferol)脉冲堆积(pulsepi...

CodeMeter 新版发布(codesigner下载)

威步于2022年8月4日发布CodeMeter7.50及CodeMeter软件保护套装11.10,以下为新版内容。CodeMeterRuntime7.50StreamingSIMDExten...

世界上最小的五轴铣床Pocket NC(最小的五轴加工中心)

PocketNC,由MIT学生研制,还有说法是这款产品的设计者是来自美国蒙大拿州的一对极客夫妻。目前主要有两款产品:PocketNCV2-50,9000美元;PocketNCV2-10,60...