百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

从Sql角度,对比学习Python数据处理包pandas

bigegpt 2024-12-05 09:44 4 浏览



此系列文章收录在公众号中:数据大宇宙 > 数据处理 > pd

转发本文并私信我"python",即可获得Python资料以及更多系列文章(持续更新的)

经常听别人说 Python 在数据领域有多厉害,结果学了很长时间,连数据处理都麻烦得要死。后来才发现,原来不是 Python 数据处理厉害,而是他有数据分析神器—— pandas



前言

有不少小伙伴向我反映 pandas 专栏缺少练习题,因此这里我使用一套 sql 的题目,作为 pandas 专栏的课后练习题。本文大部分的解题过程尽可能使用 pandas 中最基础的入门操作完成,涉及的知识点基本在专栏中的前15节内容中有详尽讲解。

本文案例是一个关于学生科目考试成绩作为背景的数据,数据的准备过程上一篇已经有讲解,这里不多说,直接做题!


上一篇文章:

Python解决Sql题目,pandas其他思路解法,原来这么简单



题目

与"赵雷"同学报读课程至少有一门相同的学生信息:

解读:

  1. 行5:首先,找到"赵雷"的课程记录(df_wd.query(tg_query)[cols]) ,因为只有一行(.iloc[0]) ,看看哪些是缺考的(.isna())
  2. 行6:同上的逻辑,只是这次的条件是其他的同学
  3. 行8:用前2步的结果对比(tg_cond == other_cond) ,相当于知道每个同学的报考科目与"赵雷"一样有哪些,科目相同的是1,不同的是0,那么只需要数一下相同的(.sum(axis=1)) ,然后看结果是否多于一门即可(>=1)

这次,我们来详细对比一下 Sql 的实现:

  • Sql 相对来说比较简单,但是不"简洁",因为他的执行顺序是从内到外,一般不能一下子看出来其中的逻辑。下来大概说下他的执行顺序
  • 行5,6:从成绩表(sc)查出"赵雷"的考试科目(cid),为啥这里用 sid ?因为成绩表没有学生的名字!
  • 行3,4:再次从成绩表(sc)找出与"赵雷"的科目(上一步结果)有一样的成绩记录出来。为啥最终结果包含了"赵雷"本身,因为这一步没有过滤"赵雷"的记录!
  • 行1,2:结果需要大部分学生信息都在学生表(student),因此从学生表找到上一步结果的那些学生出来。为啥最终结果没有学生成绩的信息?因为学生表就没有这些信息!
  • 整个 Sql 的关键是 in 的使用
  • 使用 CTE(表达式) 可以让 Sql 的逻辑更加清晰,但是每个数据库的支持程度不太一样
  • 如果需求变成是,至少有2门一样的学生,那么以上思路完全不行了!

pandas 也能按这种思路完成:

  • pandas 中的 isin 对应 Sql 的 in
  • A列.isin(B列),得到的结果是一个长度与A列一样的 bool值的列,每个 bool 值表示 A列对应的值是否在 B列存在



与"赵雷"同学报读课程完全相同的学生信息:

  • 你会发现,这完全与之前的需求一样,只是上图红线处的判断数量的逻辑不一样而已

但是,如果我们使用之前的 Sql 思路,在这个需求上就完全不能使用,正确的 Sql 做法请看源码吧


没学过"张三"老师讲授的任一门课程的学生姓名:

  • 行4:所有(all)课程教师都不是"张三"(df_wd[cols]!=tc)的



两门及其以上不及格课程的同学的学号,姓名及其平均成绩:

  • 行3:少于60分的科目(df_wd[cols]<60)的数量(.sum(axis=1))多于或等于2门的(>=2)
  • 行5:平均成绩(df_wd[cols].mean(axis=1))

检索"语文 "课程分数小于 60,按分数降序排列的学生信息:

  • 行3:语文成绩小于60分(df_wd[cols]<60)
  • 行5:按分数降序排列(.sort_values(cols,ascending=False))

按平均成绩从高到低显示所有学生的所有课程的成绩以及平均成绩:

  • 行4:求出平均成绩
  • 行5:有平均成绩的学生
  • 行6:排序

需要源码的小伙伴请转发本文并私信我"python"

如果希望从零开始学习 pandas ,那么可以看看我的 pandas 专栏。

相关推荐

悠悠万事,吃饭为大(悠悠万事吃饭为大,什么意思)

新媒体编辑:杜岷赵蕾初审:程秀娟审核:汤小俊审签:周星...

高铁扒门事件升级版!婚宴上‘冲喜’老人团:我们抢的是社会资源

凌晨两点改方案时,突然收到婚庆团队发来的视频——胶东某酒店宴会厅,三个穿大红棉袄的中年妇女跟敢死队似的往前冲,眼瞅着就要扑到新娘的高额钻石项链上。要不是门口小伙及时阻拦,这婚礼造型团队熬了三个月的方案...

微服务架构实战:商家管理后台与sso设计,SSO客户端设计

SSO客户端设计下面通过模块merchant-security对SSO客户端安全认证部分的实现进行封装,以便各个接入SSO的客户端应用进行引用。安全认证的项目管理配置SSO客户端安全认证的项目管理使...

还在为 Spring Boot 配置类加载机制困惑?一文为你彻底解惑

在当今微服务架构盛行、项目复杂度不断攀升的开发环境下,SpringBoot作为Java后端开发的主流框架,无疑是我们手中的得力武器。然而,当我们在享受其自动配置带来的便捷时,是否曾被配置类加载...

Seata源码—6.Seata AT模式的数据源代理二

大纲1.Seata的Resource资源接口源码2.Seata数据源连接池代理的实现源码3.Client向Server发起注册RM的源码4.Client向Server注册RM时的交互源码5.数据源连接...

30分钟了解K8S(30分钟了解微积分)

微服务演进方向o面向分布式设计(Distribution):容器、微服务、API驱动的开发;o面向配置设计(Configuration):一个镜像,多个环境配置;o面向韧性设计(Resista...

SpringBoot条件化配置(@Conditional)全面解析与实战指南

一、条件化配置基础概念1.1什么是条件化配置条件化配置是Spring框架提供的一种基于特定条件来决定是否注册Bean或加载配置的机制。在SpringBoot中,这一机制通过@Conditional...

一招解决所有依赖冲突(克服依赖)

背景介绍最近遇到了这样一个问题,我们有一个jar包common-tool,作为基础工具包,被各个项目在引用。突然某一天发现日志很多报错。一看是NoSuchMethodError,意思是Dis...

你读过Mybatis的源码?说说它用到了几种设计模式

学习设计模式时,很多人都有类似的困扰——明明概念背得滚瓜烂熟,一到写代码就完全想不起来怎么用。就像学了一堆游泳技巧,却从没下过水实践,很难真正掌握。其实理解一个知识点,就像看立体模型,单角度观察总...

golang对接阿里云私有Bucket上传图片、授权访问图片

1、为什么要设置私有bucket公共读写:互联网上任何用户都可以对该Bucket内的文件进行访问,并且向该Bucket写入数据。这有可能造成您数据的外泄以及费用激增,若被人恶意写入违法信息还可...

spring中的资源的加载(spring加载原理)

最近在网上看到有人问@ContextConfiguration("classpath:/bean.xml")中除了classpath这种还有其他的写法么,看他的意思是想从本地文件...

Android资源使用(android资源文件)

Android资源管理机制在Android的开发中,需要使用到各式各样的资源,这些资源往往是一些静态资源,比如位图,颜色,布局定义,用户界面使用到的字符串,动画等。这些资源统统放在项目的res/独立子...

如何深度理解mybatis?(如何深度理解康乐服务质量管理的5个维度)

深度自定义mybatis回顾mybatis的操作的核心步骤编写核心类SqlSessionFacotryBuild进行解析配置文件深度分析解析SqlSessionFacotryBuild干的核心工作编写...

@Autowired与@Resource原理知识点详解

springIOCAOP的不多做赘述了,说下IOC:SpringIOC解决的是对象管理和对象依赖的问题,IOC容器可以理解为一个对象工厂,我们都把该对象交给工厂,工厂管理这些对象的创建以及依赖关系...

java的redis连接工具篇(java redis client)

在Java里,有不少用于连接Redis的工具,下面为你介绍一些主流的工具及其特点:JedisJedis是Redis官方推荐的Java连接工具,它提供了全面的Redis命令支持,且...