教你用Python定时采集文件数据实例详解(附程序)

各位同学，大家好。数据采集是可视化展示的第一步，文件数据是比较常见的数据形式。本次课程给大家带来使用Python进行文件数据采集的方法，包括了使用定时任务，从CSV、JSON等不同文件采集数据的方法。

01 Python定时采集文件数据理论介绍。

1.文件读取。

文件读取过程包括了：一是打开文件。二是读取文件。三是数据处理和保存。

打开文件：

一般会使用下面方法来打开文件：

with open是一种常用的文件操作方式，可以用于读写各种格式的文件，包括文本文件（.txt、.csv、.log）、图像文件（.jpg、.png、.bmp 等）、二进制文件。它可以在文件操作完成后自动关闭文件，无需手动调用 file.close() 方法。

文件路径：

在上面的方法中，data_file_dir参数对应了文件的路径。

这里的路径包括了相对路径和绝对路径两个格式。

相对路径：表示相对于工程目录的文件路径。相对路径是我们在服务器部署系统常用的方法。

比如：data_file_dir=’1.txt’，就表示当前工程文件夹中的1.txt文件。

注意：

相对路径使用“/”字符作为目录的分隔字符；

以./开头，代表当前目录和文件目录在同一个目录里，./也可以省略不写；

以../开头：向上走一级，代表目标文件在当前文件所在的上一级目录；

以../../开头：向上走两级，代表父级的父级目录，也就是上上级目录，再说明白点，就是上一级目录的上一级目录。

有关相对路径还有一个比较特殊的表示：“相对虚拟目录”。请看下面的例子：

data_file_dir= “/img/bg.jpg”， 注意在“img”前有一个“/”字符。这个“/”代表的是虚拟目录的根目录。相对虚拟目录不一定是当前工程目录，可以自行定义。

绝对路径：表示在电脑系统中的路径。

比如：data_file_dir=r’d:\ 1.txt’，就表示D盘下的1.txt文件。

注意：在windows系统中，有时候可以正确读取斜杠/表示的路径，但可能读取失败。如果失败，就要使用反斜杠\。在编程中反斜杠是转义字符，可能造成路径表示错误。为了确保成功，建议在路径的引号前面加上r，就能保证正确的路径。也可以使用双斜杠//，避免转义。

我们一般不会使用绝对路径，因为开发环境的路径和投产部署的生产环境可能不一样，这样会造成读取文件错误。

指定编码

接下来encoding参数对应了编码格式。如果文件数据中有中文，这里读取数据可能出现乱码。一般来说，编码格式使用utf-8就可以保证读取中文数据正常。

Json文件读取

JSON是JavaScript object notation的缩写，是一种轻量级的数据交换格式。

JSON格式的结构

JSON格式的构建主要为两种结构：

1.‘名称/值’对的集合。

JSON格式中的"名称/值"对的集合是一个无序的"'名称/值'对"集合。一个对象以 (左括号)开始， (右括号)结束。每个"名称"后跟一个 (冒号);"'名称/值'对"之间使用 (逗号)分隔。

就像这样的：

2.值的有序列表。JSON格式中的值的有序列表是值(value)的有序集合。一个数组以(左中括号)开始，(右中括号)结束。值之间使用(逗号)分隔。

就像这样的：

Json文件的读取：

Json文件的读取的过程是这样的，首先使用json.load()函数读取Json文件内容。

然后使用json.dumps()将字典列表数据转换为json格式数据。

局部程序是这样的：

CSV文件读取

CSV是一种常见的文件格式，通常用于存储表格数据，每行数据由逗号分隔，每个字段可以用引号括起来。我们经常使用的Excel数据就可以很方便的保存为CSV格式。比如像下面的数据：

为了后续可视化展示过程数据统一性，我们将数据处理为Json格式。

我们首先使用：csv.DictReader()这个函数，创建一个类似于reader的对象，每行内容会映射到一个字典中。

再使用list()函数，将数据字典转换为字典列表。

最后使用json.dumps()将字典列表转换为json格式数据。

局部程序是这样的：

一般来说，CSV的分隔符默认使用逗号，但是如果数据中含有逗号，我们就需要另外指定分隔符号了。比如像下面的程序：

就使用了美元符号来进行分隔。

2.定时任务。

为了让python自动调度程序开展采集任务，我们使用了BlockingScheduler模块。

使用方法是这样的：

第一步：建立一个调度器。

第二步：增加一个定时任务

这里第一个参数是调用的函数。

第二个参数‘interval’是间隔触发器。任务将按照指定的时间间隔重复执行。你可以使用seconds、minutes、hours、days等参数指定时间间隔。

第三步：启动定时任务。

02 实例讲解。

接下来，我们给大家进行实例的讲解。

未完待续。

我是源动君，带领大家一起进步，谢谢观看。