百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

数据分析、数据可视化以及R语言的支持 + 机器学习PAC理论

bigegpt 2024-09-17 12:33 3 浏览

R语言是进行数学分析非常好的工具,所以对R语言介绍前,首先对数据分析进行一些思路的梳理:

数据分析流程:

1. 定义研究问题

定义理想的数据集

确定能够获取什么数据

获取数据

清理数据

2. 探索性分析(数据可视化)

统计分析、建模(机器学习)等

3. 解释/交流结果(数据可视化)

挑战结果

书写报告

数据分析的根本在于数据,而探索性分析是我们当今研究的重点,其多涉及机器学习的理论部分。

就数据来说,数据变量类型分为两种:

数值(quantitative): 连续、离散 -> 运算

分类(qualitative): 无序、有序 -> 非运算

基于数据我们的分析过程多是基于数据间的关系(当然也会有像序列分析这样貌似没关系的),根据数据类型划分,一般会根据实际分析场景,看是两个数值变量、或两个分类变量、或一数值变量一分类变量间的关系来选取分析方法。

数据可视化在分析过程中起着非常重要的作用,它让数据更直观地展示出来,从而引导研究者的猜测和实验过程。

1.数值变量的特征和可视化

数据集中趋势的测量

均值(mean)、中位数(median)、众数(mode)

数据分散趋势的测量

值域(range:max-min)、方差(variance)、标准差(standard variance)、四位分距(interquartile range)

稳健统计量(robust statistics)受极端值影响小

是: 中位数、四分位差

否: 均值、标准差、值域

一个变量的可视化

柱状图(histogram)、点图(dot plot)、箱图(box plot)

两个变量的关系(可视化)

散点图(scatter plot)

2.分类变量的特征和可视化

一个变量的可视化

频率表(frequency table)、条形图(bar plot)

两个变量的关系(可视化)

关联表(contingency table)、相对频率表(relative frequencies)

分段条形图、相对频率分段条形图

马赛克图(mosaicplot)

3.另:

一个分类变量、一个数值变量的关系(可视化)

并排箱图(side-by-side box plot)

R语言是一个免费开源的用于统计计算和统计绘图的优秀工具。在windows环境下进行R语言的开发,RStudio是一个非常简约好用的工具。R语言对数据可视化的支持非常好,它有三大绘图系统:基本绘图系统,Lattice绘图系统,ggplot2绘图系统。

1.基本绘图系统

绘图函数(graphics包):plot/hist/boxplot/points/lines/text/title/axis

plot()

plot(x, y, ...)

重要参数:xlab/ylab/lmd/lty/pch/col

par()

用于设置全局参数(作用于R中所有plot绘图)

bg/mar/las/mfrow/mfcol

这些参数可以在每次plot之前进行修改

2.lattice绘图系统

绘图函数

lattice包:xyplot/bwplot/histogram/stripplot/dotplot/splom/levelplot/contourplot

xyplot(y~x|f*g, data)

panel函数,用于控制每个面板内的绘图

grid包

实现了独立于base的绘图系统

lattice包是基于grid创建的;很少直接从grid包调用函数

lattice与base的重要区别

base绘图函数直接在图形设备上绘图

lattice绘图函数返回trellis类对象,打印函数真正执行了设备上的绘图

3.ggplot2绘图系统

绘图函数

qplot()

ggplot() //核心

PAC理论:

机器学习理论中主要涉及的计算学习理论有两种:PAC理论和VC维,它们的目的是为了分析学系任务的困难本质,为学习算法提供理论保证,并根据分析结果知道算法设计的。

这里面VC维较PAC理论的来说深度更深,且涉及数学基础要特别好,之后有机会我会进行一篇文章的介绍。

PAC理论指“概率近似正确”学习理论,Probably Approximately Correct。

定义“概念”为样本空间X到标记空间Y的映射(可以理解为一个函数关系)。如果概念c对于任何样本(x, y)都满足了c(x) = y,那么c就是一个“目标概念”。我们希望学到的目标概念的集合,称为“概念类”。

而对于给定的学习算法,它的输入除了数据外,还要给其设定“假设空间”,“假设空间”指的是学习算法会考虑的所有概念的集合。而学习算法的目的或行为,就是从假设空间中提取出近似概念类的集合。

为什么说是“近似”呢?当然是机器学习就是有其自身的限制,哪怕是单单给定训练集的大小不同,训练结果都可能差距很大。那么PAC理论所提及的就是“希望有比较大的把握可以学到比较好的模型”,也可以说在满足了能接受的误差的基础上,学到好的模型的概率达到一定程度。

PAC辨识:对于给定的误差上限a和置信概率b,有P(假设类的泛化误差<=a)>=1-b

PAC可学习:对于给定的误差上限a和置信概率b,数据本身的福在读size(x),目标概念的复杂度size(c),给定的训练集样本数量m要大于poly(1/a,1/b,size(x),size(c))

PAC学习算法指满足PAC可学习的基础上,学习算法运行时间也满足poly(1/a,1/b,size(x),size(c))同阶

一般来说,size(x)越大,学习越准,size(c)越大,学习越慢,二者又同时与学习计算时间相关,PAC理论给我们的启示在于,如何能再设计算法时恰好的到“恰PAC可学习”,这是一门非常大的学问,以至于计算过程不需要完全依赖于机器。

之后希望有一篇文章能写好VC维的理论,它直接从数学角度分析了学习过程的复杂程度等问题,希望对大家有用。

相关推荐

方差分析简介(方差分析通俗理解)

介绍方差分析(ANOVA,AnalysisofVariance)是一种广泛使用的统计方法,用于比较两个或多个组之间的均值。单因素方差分析是方差分析的一种变体,旨在检测三个或更多分类组的均值是否存在...

正如404页面所预示,猴子正成为断网元凶--吧嗒吧嗒真好吃

吧嗒吧嗒,绘图:MakiNaro你可以通过加热、冰冻、水淹、模塑、甚至压溃压力来使网络光缆硬化。但用猴子显然是不行的。光缆那新挤压成型的塑料外皮太尼玛诱人了,无法阻挡一场试吃盛宴的举行。印度政府正...

Python数据可视化:箱线图多种库画法

概念箱线图通过数据的四分位数来展示数据的分布情况。例如:数据的中心位置,数据间的离散程度,是否有异常值等。把数据从小到大进行排列并等分成四份,第一分位数(Q1),第二分位数(Q2)和第三分位数(Q3)...

多组独立(完全随机设计)样本秩和检验的SPSS操作教程及结果解读

作者/风仕在上一期,我们已经讲完了两组独立样本秩和检验的SPSS操作教程及结果解读,这期开始讲多组独立样本秩和检验,我们主要从多组独立样本秩和检验介绍、两组独立样本秩和检验使用条件及案例的SPSS操作...

方差分析 in R语言 and Excel(方差分析r语言例题)

今天来写一篇实际中比较实用的分析方法,方差分析。通过方差分析,我们可以确定组别之间的差异是否超出了由于随机因素引起的差异范围。方差分析分为单因素方差分析和多因素方差分析,这一篇先介绍一下单因素方差分析...

可视化:前端数据可视化插件大盘点 图表/图谱/地图/关系图

前端数据可视化插件大盘点图表/图谱/地图/关系图全有在大数据时代,很多时候我们需要在网页中显示数据统计报表,从而能很直观地了解数据的走向,开发人员很多时候需要使用图表来表现一些数据。随着Web技术的...

matplotlib 必知的 15 个图(matplotlib各种图)

施工专题,我已完成20篇,施工系列几乎覆盖Python完整技术栈,目标只总结实践中最实用的东西,直击问题本质,快速帮助读者们入门和进阶:1我的施工计划2数字专题3字符串专题4列表专题5流程控制专题6编...

R ggplot2常用图表绘制指南(ggplot2绘制折线图)

ggplot2是R语言中强大的数据可视化包,基于“图形语法”(GrammarofGraphics),通过分层方式构建图表。以下是常用图表命令的详细指南,涵盖基本语法、常见图表类型及示例,适合...

Python数据可视化:从Pandas基础到Seaborn高级应用

数据可视化是数据分析中不可或缺的一环,它能帮助我们直观理解数据模式和趋势。本文将全面介绍Python中最常用的三种可视化方法。Pandas内置绘图功能Pandas基于Matplotlib提供了简洁的绘...

Python 数据可视化常用命令备忘录

本文提供了一个全面的Python数据可视化备忘单,适用于探索性数据分析(EDA)。该备忘单涵盖了单变量分析、双变量分析、多变量分析、时间序列分析、文本数据分析、可视化定制以及保存与显示等内容。所...

统计图的种类(统计图的种类及特点图片)

统计图是利用几何图形或具体事物的形象和地图等形式来表现社会经济现象数量特征和数量关系的图形。以下是几种常见的统计图类型及其适用场景:1.条形图(BarChart)条形图是用矩形条的高度或长度来表示...

实测,大模型谁更懂数据可视化?(数据可视化和可视化分析的主要模型)

大家好,我是Ai学习的老章看论文时,经常看到漂亮的图表,很多不知道是用什么工具绘制的,或者很想复刻类似图表。实测,大模型LaTeX公式识别,出乎预料前文,我用Kimi、Qwen-3-235B...

通过AI提示词让Deepseek快速生成各种类型的图表制作

在数据分析和可视化领域,图表是传达信息的重要工具。然而,传统图表制作往往需要专业的软件和一定的技术知识。本文将介绍如何通过AI提示词,利用Deepseek快速生成各种类型的图表,包括柱状图、折线图、饼...

数据可视化:解析箱线图(box plot)

箱线图/盒须图(boxplot)是数据分布的图形表示,由五个摘要组成:最小值、第一四分位数(25th百分位数)、中位数、第三四分位数(75th百分位数)和最大值。箱子代表四分位距(IQR)。IQR是...

[seaborn] seaborn学习笔记1-箱形图Boxplot

1箱形图Boxplot(代码下载)Boxplot可能是最常见的图形类型之一。它能够很好表示数据中的分布规律。箱型图方框的末尾显示了上下四分位数。极线显示最高和最低值,不包括异常值。seaborn中...