百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

教你快速掌握Python描述统计

bigegpt 2024-08-04 11:33 4 浏览

在学习描述统计之前,我们有必要了解一下数据的类型。有很多种对数据分类的方法,在这里,我们会将数据分为定性数据和定量数据。

其中,定性数据是对事物性质进行描述的数据,通常只有有限个离散取值,往往用于描述类别;定量数据则是呈现事物数量特征的数据,这些数据的大小往往是有意义的,它们可以相加、相减、相除甚至相乘,得到的结果往往是有意义的。

描述统计往往对应着数据探索的过程,我们在进行描述统计的时候,一般会从三个方面来完成:

  1. 图表
  2. 集中趋势的度量
  3. 离散趋势的度量

那么接下来我们就演示下如何使用Python来完成这些工作。

一、图表

我们经常会使用直方图、饼图、条形图、折线图、散点图等来描述数据的分布、趋势、变量间的相互关系等。

好的图表对于数据探索来说尤其重要,它们能帮我们节省大量的时间。关于可视化这一部分,我在前边写了一些文章:《从零开始学Python可视化》系列以及《7天学会Python最佳可视化工具Seaborn》系列,感兴趣的可以看一下我的历史文章,在这里我们就不赘述了。

二、集中趋势的度量

在分析数据的时候,我们往往最先想要关注的就是数据的集中分布情况,即这些数据主要分布在什么位置附近。

在统计学中,有许多专门用于描述数据集中趋势的统计量。常用的有算术平均值、几何平均值、中位数、众数、百分数等,接下来我们就用Python显示一下如何计算这些指标。

获取数据

首先,我们获取上证指数的历史行情数据,用于我们的学习。

import tushare as ts
pro = ts.pro_api()
df = pro.index_daily(ts_code='000001.SH')
df.head()

算数平均数

算数平均数可能是我们最熟悉的指标了,它就是我们常说的一组数据的平均值。计算方法很简单,先求得这组数据的和,然后除以这组数据的长度即可。

我们看下上证指数的历史收盘价的均值是多少:

df.close.mean()

输出为:

1916.2117831752516

在这里,我们使用了pandas内置的方法,直接得出了均值。但我们还有其他的备选方法,用于针对不同的数据格式:

# 使用numpy
import numpy as np
x = [1, 2, 3, 4]
mean = np.mean(x)
# 使用Python内置函数`sum`和`len`
mean = sum(x) / len(x)

几何平均数

几何平均数与算数平均数不同,它是将所有数据的乘积进行开方。比如我们有四个数据,那我们就需要先求得它们四个的乘积,然后对结果开四次方。

几何平均值特别适合用于收益率的数据分析,在我们的案例中,每天的收益数据就特别适合使用几何平均值来分析。

那我们就先来看下上证指数过去7天的年复合收益率是多少。

# 使用scipy
from scipy.stats import gmean
x = df.pct_chg[:7].map(lambda x: x/100+1)
g_mean = gmean(x)
# 使用Python自带工具
from functools import reduce
multi = reduce(lambda a, b: a * b, x)
g_mean = multi ** (1/len(x))
g_mean

输出为:

0.9950290138635192

嗯。。平均每天亏0.5个百分点,很像是A股的情况。

中位数

中位数的一个好处是对于离群点(异常值)不太敏感,而算数平均值很容易受到离群点的影响,比如有99个1,有1个101。它们的中位数肯定是1,这个很符合他们的分布情况;但是它们的算数平均值为2,这个就有些失真了。

我们看下如何计算他们的中位数。

# 使用pandas
df.pct_chg.median()
# 使用numpy
np.median(df.pct_chg)

输出为:

0.0664

哈哈哈,没想到吧,大多数的日子里,我们A股是涨的!

众数

众数代表了一组数据中出现次数最多的数值,它也不太容易受到极端值的影响,不过实际的数据分析过程中,我们用它的次数比较少。

from scipy.stats import mode
x = [1, 2, 3, 3, 3, 4, 4]
mode(x)[0][0]

输出为3。

百分位数

中位数就是一个特殊的百分位数——50分位数。另外两个常用的分位数是上下四分位数,它们分别代表了数据中按大小增序排列第75%和25%的位置的数字。

quantiles = [df.close.quantile(i) for i in [0.1, 0.25, 0.75, 0.9]]
quantiles

输出为:

[649.6120000000001, 1155.042, 2706.361, 3253.4112999999998]

可以看到,650高于10%的收盘价,1155高于25%的收盘价,2706高于75%的收盘价,3253则高于90%的收盘价。

三、离散趋势的度量

数据的集中分布仅仅是一个角度,想要全面的了解数据,还需要知道它们的变异性。统计学中有一系列的统计指标用于衡量数据的偏离程度,常用的有极差、平均绝对偏差、方差、标准差等。

极差

极差非常好理解,就是最大值与最小值之间的差。

# 使用pandas
df.close.max() - df.close.min()
# 使用numpy
np.max(df.close) - np.min(df.close)
# 使用Python自带工具
max(df.close) - min(df.close)

输出为5992.077。

平均绝对偏差(MAD)

我们可以用一组数据与它们的均值的偏差来度量数据的离散程度。很容易想到,它们与均值的偏差的和为0,因为他们是均匀分布在均值两侧的。因此我们不能使用偏差的和来度量离散程度,但是我们可以用偏差的绝对值的均值来完成这一任务。它代表了平均每个样本与其均值的偏差程度。

# 使用pandas

df.pct_chg.mad()

输出为:1.322715762398073

方差和标准差

这两个就常见许多了,对于方差的计算相当于把MAD的计算中“差值的绝对值”这一过程改成了“差值的平方”,而标准差则是方差的平方根。

# 使用pandas
# 方差
df.pct_chg.var() 
# 标准差
df.pct_chg.std() 
# 使用numpy
# 方差
np.var(df.pct_chg)
# 标准差
np.std(df.pct_chg)

方差输出为6.262636777426539,标准差输出为2.502526079270012。

好了,今天我们学习了常见的数据的描述统计并且使用Python模拟了计算过程,你学会了吗?

相关推荐

科氪 | 华硕天选6系列正式发布,搭载满功耗RTX 5060实际到手5999元起

5月19日晚,华硕旗下潮玩新次元游戏本天选6系列正式发布。作为Z世代青年的潮酷游戏装备,天选6系列再一次印证了其出色的综合实力。搭载满功耗RTX5060笔记本电脑GPU的天选6Pro以及天选6皆...

最新历史最低价显卡汇总!低端高端一网打尽

文|宋金戈责编|吕东兴总编|唐迪近期开展的618大促,各个品类尤其是数码科技好物的产品优惠都诚意满满,而作为消费者最关心的大类之一,显卡在最近同样表现不俗——华硕、技嘉等多个品牌,从1660s...

DNF:南山必胜客“败诉”,TX被DD373实锤,谁说玩家只有使用权?

TX和DD373的官司终于落下帷幕,南山必胜客终于中断了传奇。TX这一次被判定败诉。其中关于游戏账号和虚拟财产的问题,最受玩家关注。之前TX所说的:游戏账号不是玩家私有财产,游戏币更不是,只有使用权!...

Switch最新SX OS破解系统发布:可运行国行卡带xci镜像了

本周,TX团队(Team-Xecuter)发布了SXOS自制系统的最新版本,v2.9.5Beta,该版本支持了任天堂最新的V10.0.0和v10.0.1固件,同时改善了兼容性,优化了本地联机的稳定...

神舟战神TX8R5 QHD游戏本电脑今晚开售:2.5K屏+RTX4060,6999元

IT之家4月9日消息,神舟战神TX8R5QHD游戏本电脑今晚12点正式开售,仅有16GB+512GB一个版本可选,售价6999元。神舟战神TX8R5QHD搭载13代酷...

开创第三代手游商业模式《武极天下》推无商城玩法

翻阅游戏论坛与贴吧,大家对网络游戏的一些“坑爹”的设定抱怨不已,不是游戏职业设定不合理,就是游戏太烧钱,在游戏中被碾压的抬不起头,最后从玩游戏变成了被游戏玩,俨然游戏本质完全变味。由巨人移动自主研发并...

真满血Gen5电竞存储神装!佰维X570 Pro天启高速固态硬盘测评

2025一开年,对于存储行业来说,就是速度狂飙的开局。各固态硬盘品牌PCIe5.0SSD纷纷亮相,开启了新一轮的性能PK。在2024年异常活跃的佰维科技,也于CES期间推出了佰维X570PRO...

Kingston FURY Renegade G5评测 最速PCIe5.0固态硬盘诞生

【ZOL中关村在线原创评测】说起KingstonFURYRenegade叛逆者的大名,相信PCDIY玩家都知道这是金士顿高端存储的代名词,尤其是内存产品给人印象尤为深刻。实际上它还有固态硬盘系列...

《武极天下》力挺苹果TestFlight创业界先河

关于革旧鼎新,有人说就像是摸石头过河,在摸索中前行。一场正真的创新改革会带来什么?在数字行业,苹果公司的每一个产品都代表着一个时代的开启,它独立的操作系统、顺应用户需求的体验设计,在十几年时间内收获了...

闪迪至尊超极速移动固态硬盘USB4版评测 超越SSD的三防猛兽

移动固态硬盘,凭借TB级的容量和远超传统移动机械硬盘几倍、十几倍的速度,当仁不让地成为高效移动存储的代名词,为4K/8K超高清内容创作、海量文件备份带来了超乎想象的效率提升。国际知名品牌SanDisk...

RTX5070笔记本有哪些:游戏笔记本电脑哪个牌子好?

RTX5070游戏本,个人其实不是很喜欢,对于新款显卡,要不就考虑RTX5060,要不就考虑12GB显存的RTX5070Ti这样好一些,从RTX5070显卡的游戏本的量,也能看出来,估计5060会更多...

破军天下安装指南详解 游戏安装方法介绍

破军天下游戏怎么正确安装?破军天下安装方法是什么?对于破军天下中的安装问题,今天安趣网小编就为各位玩家小伙伴来好好的讲解下,让我们一起来看看,破军天下怎么正确安装游戏的吧!希望大家喜欢!安卓系统(An...

从高性能轻薄本到硬核电竞本 华硕天选新品解锁全场景体验

来源:环球网【环球网科技综合报道】5月19日,华硕天选多款笔记本新品正式发布。其中,14英寸轻薄全能本标杆华硕天选Air2025正式发布,显卡升级至GeForceRTX5060笔记本电脑GPU...

笔记本无线网卡有哪几种 有必要对其升级吗?

无线网卡是很多朋友购买笔记本时容易忽视的部分,相比较处理器、内存、显卡和硬盘,无线网卡几乎不可选,而且很少有厂商提到自家产品采用的无线网卡型号。大家可能遇到过这种情况:为什么手机可以连接到5Ghz,而...

下班了才发现,你的手机里藏着5个定时炸弹!

各位打工人累了一天终于可以躺平刷手机了吧?且慢!工信部最新通知,有些App比加班还可怕!它们可能正在偷偷收集你的信息,比你的老板还要了解你!今天就让我们一起来扒一扒这些“职场内鬼“,看看你的手机里有没...