百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

从 Python 列表的特性来探究其底层实现机制

bigegpt 2024-08-23 11:37 2 浏览

列表(list)是 Python 中一个非常重要且常见的数据结构,它有很多易用的特性:可索引([index]),可切片([start, end, step]),能对其中的元素进行增(append、insert、extend)删(pop、remove)改操作。


如果你同时熟悉其他编程语言,比如 C++,你会觉得 Python 列表和 C++ STL 提供的 list 在操作上有些相似。

是的,它们都支持元素的增删改,在代码编写方面,C++ 的 list 不如 Python 列表开发效率高。C++ 中,你可能需要手动对 list 进行迭代,找到合适的元素或位置,然后执行操作。而 Python 中几乎所有操作都可以通过索引或切片来完成。

这样看来,二者底层实现机制应是有所区别的。事实正是如此。


C++ 的 list 是一个双向链表,链表中的节点是动态分配的,节点之间通过指针彼此相连。

这种结构的好处是,通过修改指针的指向,可以高效地在指定位置插入新的元素或删除指定的元素,而基本不影响其他节点。

其弊端就是无法随机访问 list 中的元素。在 list 中查找某个元素时需要从头开始遍历,时间复杂度为 O(n)。


那么,Python 是如何实现 list 数据结构的呢?


Python 3.9.2 FAQ 专门对 list 在 CPython 中的实现进行了简短的回答:

CPython's lists are really variable-length arrays, not Lisp-style linked lists. The implementation uses a contiguous array of references to other objects, and keeps a pointer to this array and the array's length in a list head structure

意思是说,CPython 中的 list 其实是一个变长数组,而非链表。变长数组中保存的是其他对象的引用。

使用这样一种数据结构的好处是,在 list 上执行索引操作所耗费的成本和 list 的尺寸或索引值的大小无关,即复杂度接近常量级。这是很显然的事情,因为这就是 C 或 C++ 中数组的下标访问。


FAQ 中还进一步介绍了该数据结构可能会产生的额外开销:

When items are appended or inserted, the array of references is resized. Some cleverness is applied to improve the performance of appending items repeatedly; when the array must be grown, some extra space is allocated so the next few times don't require an actual resize.

这个开销是在变长数组 resize 的时候产生的。当我们向 list 中插入或追加元素时,变长数组会根据需要来调整对象指针在数组中的位置,还会对数组大小进行扩充,以容纳更多的指针。


下面我们从代码层面来确认一下 Python 中 list 的实现方式。


在 Python 3.9.2 中,每个 list 对象都是一个 PyListObject 类的实例。

可以看到,PyListObject 中包含了一个 ob_item 的成员,它就是上文所说的变长数组,或者说它指向了那个存放着 PyObject 对象的指针的数组。list 的索引操作就是在这个数组上的随机访问,效率当然高了。


我们再通过 list 的插入操作看一下如何使用这个变长数组。


list_insert() 就是实现插入操作的入口函数。在对入参进行检查后,list_insert 调用了 list_insert_impl()。可以看到,list_insert_impl() 接收的就是插入位置和插入对象两个参数,这和我们之前介绍的 list 的 insert(<index>, <obj>) 方法保持一致。


list_insert_impl() 进一步调用 ins1() 来实现插入逻辑。


ins1() 首先对变长数组的当前空间进行检查,根据需要 resize 变长数组的大小。然后计算实际的插入位置 where。

之后,ins1() 将 obj_item 中 where 后边的元素逐个后移,将新元素 v (是一个指向待插入对象的指针)保存到 where 位置。同时将 v 的引用计数加 1.


使用变长数组这一数据结构,既提升了访问 list 元素的速度,又不显著影响插入或删除元素的速度,在时间和空间利用上做了很好的平衡。


至此,list 的实现方式已基本可以搞清楚了。


大家都知道 Python 开发效率高,而这种高效率凝结了 Python 设计者的聪明智慧。我们享受便利的时候更应该向他们致敬!

相关推荐

悠悠万事,吃饭为大(悠悠万事吃饭为大,什么意思)

新媒体编辑:杜岷赵蕾初审:程秀娟审核:汤小俊审签:周星...

高铁扒门事件升级版!婚宴上‘冲喜’老人团:我们抢的是社会资源

凌晨两点改方案时,突然收到婚庆团队发来的视频——胶东某酒店宴会厅,三个穿大红棉袄的中年妇女跟敢死队似的往前冲,眼瞅着就要扑到新娘的高额钻石项链上。要不是门口小伙及时阻拦,这婚礼造型团队熬了三个月的方案...

微服务架构实战:商家管理后台与sso设计,SSO客户端设计

SSO客户端设计下面通过模块merchant-security对SSO客户端安全认证部分的实现进行封装,以便各个接入SSO的客户端应用进行引用。安全认证的项目管理配置SSO客户端安全认证的项目管理使...

还在为 Spring Boot 配置类加载机制困惑?一文为你彻底解惑

在当今微服务架构盛行、项目复杂度不断攀升的开发环境下,SpringBoot作为Java后端开发的主流框架,无疑是我们手中的得力武器。然而,当我们在享受其自动配置带来的便捷时,是否曾被配置类加载...

Seata源码—6.Seata AT模式的数据源代理二

大纲1.Seata的Resource资源接口源码2.Seata数据源连接池代理的实现源码3.Client向Server发起注册RM的源码4.Client向Server注册RM时的交互源码5.数据源连接...

30分钟了解K8S(30分钟了解微积分)

微服务演进方向o面向分布式设计(Distribution):容器、微服务、API驱动的开发;o面向配置设计(Configuration):一个镜像,多个环境配置;o面向韧性设计(Resista...

SpringBoot条件化配置(@Conditional)全面解析与实战指南

一、条件化配置基础概念1.1什么是条件化配置条件化配置是Spring框架提供的一种基于特定条件来决定是否注册Bean或加载配置的机制。在SpringBoot中,这一机制通过@Conditional...

一招解决所有依赖冲突(克服依赖)

背景介绍最近遇到了这样一个问题,我们有一个jar包common-tool,作为基础工具包,被各个项目在引用。突然某一天发现日志很多报错。一看是NoSuchMethodError,意思是Dis...

你读过Mybatis的源码?说说它用到了几种设计模式

学习设计模式时,很多人都有类似的困扰——明明概念背得滚瓜烂熟,一到写代码就完全想不起来怎么用。就像学了一堆游泳技巧,却从没下过水实践,很难真正掌握。其实理解一个知识点,就像看立体模型,单角度观察总...

golang对接阿里云私有Bucket上传图片、授权访问图片

1、为什么要设置私有bucket公共读写:互联网上任何用户都可以对该Bucket内的文件进行访问,并且向该Bucket写入数据。这有可能造成您数据的外泄以及费用激增,若被人恶意写入违法信息还可...

spring中的资源的加载(spring加载原理)

最近在网上看到有人问@ContextConfiguration("classpath:/bean.xml")中除了classpath这种还有其他的写法么,看他的意思是想从本地文件...

Android资源使用(android资源文件)

Android资源管理机制在Android的开发中,需要使用到各式各样的资源,这些资源往往是一些静态资源,比如位图,颜色,布局定义,用户界面使用到的字符串,动画等。这些资源统统放在项目的res/独立子...

如何深度理解mybatis?(如何深度理解康乐服务质量管理的5个维度)

深度自定义mybatis回顾mybatis的操作的核心步骤编写核心类SqlSessionFacotryBuild进行解析配置文件深度分析解析SqlSessionFacotryBuild干的核心工作编写...

@Autowired与@Resource原理知识点详解

springIOCAOP的不多做赘述了,说下IOC:SpringIOC解决的是对象管理和对象依赖的问题,IOC容器可以理解为一个对象工厂,我们都把该对象交给工厂,工厂管理这些对象的创建以及依赖关系...

java的redis连接工具篇(java redis client)

在Java里,有不少用于连接Redis的工具,下面为你介绍一些主流的工具及其特点:JedisJedis是Redis官方推荐的Java连接工具,它提供了全面的Redis命令支持,且...