百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

python数据处理,pandas也有Excel Vlookup 模糊查找功能

bigegpt 2024-09-10 11:17 33 浏览



此系列文章收录在公众号中:数据大宇宙 > 数据处理 > E-pd

转发本文并私信我"python",即可获得Python资料以及更多系列文章(持续更新的)

经常听别人说 Python 在数据领域有多厉害,结果学了很长时间,连数据处理都麻烦得要死。后来才发现,原来不是 Python 数据处理厉害,而是他有数据分析神器—— pandas

前言

Excel 中的 vlookup 函数有一个模糊查找选项,其内在原理为二分法查找,在 pandas 中同样有一样功能的方法。


场景

如下某物资取货记录:

  • 左表为取货登记,有登记时间和数量
  • 右表为批次库存数量
  • 出库规则为按批次从小到大优先出库,也就是说,批次1被取完,才会取批次2,以此类推
  • 现在希望把左表每个人取货记录标记是哪个批次

问题类似匹配查找,是一种模糊匹配,比如 30 不是直接匹配 30 对应的记录,而是匹配到高于30最近的点(批次表的第一个点50)




Excel解决方法

首先要知道每个人取货之前已经累计被拿了多少数量:

  • 通过简单的固定地址,直接使用 sum 函数即可
  • 第一行的记录比较特殊,这里简单处理,直接手工填充0(复杂处理就会sum公式变复杂一点)

同样道理,处理批次表:

  • 注意把公式写在表的左方,方便后续处理(别跟我说 vlookup 配合数组公式可以右往左匹配,非常讨厌无关逻辑嵌套一起的东西)

现在可以直接使用 vlookup 了:

  • 注意最后一个参数是1,模糊查找
  • 这里有个前提是,右表的数值列必须为升序,否则结果可能出乎意料



pandas解决方法

pandas 中的做法基本上每一句代码就对应 Excel 中的一个操作:

  • 行1、2:加载数据,不多说
  • 行4、5:对2个表排序。这其实是很关键一步,上面 Excel 操作中省去了这2个操作
  • 行7、8:对应 Excel 中的求出"累计列"的操作
  • 行10:pd.cut 相当于模糊查找的 vlookup 。但是这方法比 vlookup 麻烦,每个区间的分割点必需比区间要多1个数量(这符合数据分段逻辑,但不方便数据表操作)
  • 所以在参数 bins 里面,我们特意添加一个比较大的数 1000 上去
  • 参数 right=False ,是让边界值归左边界处理。比如数量50,是属于批次1,而不是批次2

针对上述说的 pd.cut 的缺点,我们可以自定义一个函数,简化操作:

  • 把数据源(参数 x)的总和添加到分段点(参数 bins)中即可
  • 为了让其行为默认与 Excel vlookup 一致,把参数 right 默认值设置为 False

现在调用就清晰很多了:

有没有想过直接往 pandas 库中添加一个属于自己的方法 vlookup 呢?真的可以做到,在我的 pandas 专栏后期将会详细讲解工程化扩展,想打造属于自己的 pandas 不是问题。



问题

不知道你有没有注意到,此案例存在有些人的取货是跨越了2个批次(比如A4这个人)。

怎么可以把跨越2个批次的人标记出来?这个问题留待下次探讨,大家不妨从 Excel 的操作角度想一下,可能一下子就能知道 pandas 中是如何解决


总结

本文重点:

  • pd.cut 类比 Excel vlookup 模糊查找

需要源码的小伙伴请转发本文并私信我"python"


如果希望从零开始学习 pandas ,那么可以看看我的 pandas 专栏。

相关推荐

Go语言泛型-泛型约束与实践(go1.7泛型)

来源:械说在Go语言中,Go泛型-泛型约束与实践部分主要探讨如何定义和使用泛型约束(Constraints),以及如何在实际开发中利用泛型进行更灵活的编程。以下是详细内容:一、什么是泛型约束?**泛型...

golang总结(golang实战教程)

基础部分Go语言有哪些优势?1简单易学:语法简洁,减少了代码的冗余。高效并发:内置强大的goroutine和channel,使并发编程更加高效且易于管理。内存管理:拥有自动垃圾回收机制,减少内...

Go 官宣:新版 Protobuf API(go pro版本)

原文作者:JoeTsai,DamienNeil和HerbieOng原文链接:https://blog.golang.org/a-new-go-api-for-protocol-buffer...

Golang开发的一些注意事项(一)(golang入门项目)

1.channel关闭后读的问题当channel关闭之后再去读取它,虽然不会引发panic,但会直接得到零值,而且ok的值为false。packagemainimport"...

golang 托盘菜单应用及打开系统默认浏览器

之前看到一个应用,用go语言编写,说是某某程序的windows图形化客户端,体验一下发现只是一个托盘,然后托盘菜单的控制面板功能直接打开本地浏览器访问程序启动的webserver网页完成gui相关功...

golang标准库每日一库之 io/ioutil

一、核心函数概览函数作用描述替代方案(Go1.16+)ioutil.ReadFile(filename)一次性读取整个文件内容(返回[]byte)os.ReadFileioutil.WriteFi...

文件类型更改器——GoLang 中的 CLI 工具

我是如何为一项琐碎的工作任务创建一个简单的工具的,你也可以上周我开始玩GoLang,它是一种由Google制作的类C编译语言,非常轻量和快速,事实上它经常在Techempower的基准测...

Go (Golang) 中的 Channels 简介(golang channel长度和容量)

这篇文章重点介绍Channels(通道)在Go中的工作方式,以及如何在代码中使用它们。在Go中,Channels是一种编程结构,它允许我们在代码的不同部分之间移动数据,通常来自不同的goro...

Golang引入泛型:Go将Interface「」替换为“Any”

现在Go将拥有泛型:Go将Interface{}替换为“Any”,这是一个类型别名:typeany=interface{}这会引入了泛型作好准备,实际上,带有泛型的Go1.18Beta...

一文带你看懂Golang最新特性(golang2.0特性)

作者:腾讯PCG代码委员会经过十余年的迭代,Go语言逐渐成为云计算时代主流的编程语言。下到云计算基础设施,上到微服务,越来越多的流行产品使用Go语言编写。可见其影响力已经非常强大。一、Go语言发展历史...

Go 每日一库之 java 转 go 遇到 Apollo?让 agollo 来平滑迁移

以下文章来源于GoOfficialBlog,作者GoOfficialBlogIntroductionagollo是Apollo的Golang客户端Apollo(阿波罗)是携程框架部门研...

Golang使用grpc详解(golang gcc)

gRPC是Google开源的一种高性能、跨语言的远程过程调用(RPC)框架,它使用ProtocolBuffers作为序列化工具,支持多种编程语言,如C++,Java,Python,Go等。gR...

Etcd服务注册与发现封装实现--golang

服务注册register.gopackageregisterimport("fmt""time"etcd3"github.com/cor...

Golang:将日志以Json格式输出到Kafka

在上一篇文章中我实现了一个支持Debug、Info、Error等多个级别的日志库,并将日志写到了磁盘文件中,代码比较简单,适合练手。有兴趣的可以通过这个链接前往:https://github.com/...

如何从 PHP 过渡到 Golang?(php转golang)

我是PHP开发者,转Go两个月了吧,记录一下使用Golang怎么一步步开发新项目。本着有坑填坑,有错改错的宗旨,从零开始,开始学习。因为我司没有专门的Golang大牛,所以我也只能一步步自己去...