第七章 文件和数据格式化
文件的使用
文件是数据的抽象和集合
- 文件是存储在辅助存储器上的数据序列
- 文件是数据存储的一种形式
- 文件展现形态：文本文件和二进制文件
文本文件
- 由单一特定编码组成的文件，如UTF-8编码
- 由于存在编码，也被看成是存储着的长字符串
- 适用于例如：.txt文件、.py文件等
二进制文件
- 直接由比特0和1组成，没有统一字符编码
- 一般存在二进制0和1的组织结构，即文件格式
- 适用于例如：.png文件、.avi文件等
文件的打开和关闭
文件处理的步骤: 打开-操作-关闭
文件的打开 = open(, ) 打开模式| 文件的打开模式 | 描述 |
|---|---|
| 'r' | 只读模式，默认值，如果文件不存在，返回FileNotFoundError |
| 'w' | 覆盖写模式，文件不存在则创建，存在则完全覆盖 |
| 'x' | 创建写模式，文件不存在则创建，存在则返回FileExistsError |
| 'a' | 追加写模式，文件不存在则创建，存在则在文件最后追加内容 |
| 'b' | 二进制文件模式 |
| 't' | 文本文件模式，默认值 |
| '+' | 与r/w/x/a一同使用，在原功能基础上增加同时读写功能 |
文件的关闭
.close()文件使用
文本形式打开文件tf = open("f.txt", "rt")print(tf.readline())tf.close() 二进制形式打开文件
bf = open("f.txt", "rb")print(bf.readline())bf.close() 文件内容的读取
| 操作方法 | 描述 |
|---|---|
| .read(size=-1) | 读入全部内容，如果给出参数，读入前size长度 |
| .readline(size=-1) | 读入一行内容，如果给出参数，读入该行前size长度 |
| .readlines(hint=-1) | 读入文件所有行，以每行为元素形成列表 ,如果给出参数，读入前hint行 |
文件的全文本操作
方法一:一次读入，统一处理
fname = input("请输入要打开的文件名称:")fo = open(fname,"r")txt = fo.read()#对全文txt进行处理fo.close() 方法二：按数量读入，逐步处理
fname = input("请输入要打开的文件名称:")fo = open(fname,"r")txt = fo.read(2)while txt != "": #对txt进行处理 txt = fo.read(2)fo.close() 文件的逐行操作
方法一：一次读入，分行处理
fname = input("请输入要打开的文件名称:")fo = open(fname,"r")for line in fo.readlines(): print(line)fo.close() 方法二：分行读入，逐行处理
fname = input("请输入要打开的文件名称:")fo = open(fname,"r")for line in fo: print(line)fo.close() 数据的文件写入
| 操作方法 | 描述 |
|---|---|
| .write(s) | 向文件写入一个字符串或字节流 |
| .writelines(lines) | 将一个元素全为字符串的列表写入文件 |
| .seek(offset) | 改变当前文件操作指针的位置，offset含义如下：0 – 文件开头； 1 – 当前位置； 2 – 文件结尾 |
e.g.
写入一个字符串列表fo = open("output.txt","w+")ls = ["中国","法国","美国"]fo.writelines(ls)for line in fo: print(line)fo.close() 注：上一个程序没有任何输出
fo = open("output.txt","w+")ls = ["中国","法国","美国"]fo.writelines(ls)fo.seek(0)for line in fo: print(line)fo.close() 注：上一个程序会输出：中国法国美国
fo.seek(0)起到了关键作用实例11: 自动轨迹绘制
问题分析
自动轨迹绘制- 需求：根据脚本来绘制图形？
- 不通过写代码而通过写数据绘制轨迹
- 数据脚本是自动化最重要的第一步
基本思路
- 步骤1：定义数据文件格式（接口）
- 步骤2：编写程序，根据文件接口解析参数绘制图形
- 步骤3：编制数据文件
#AutoTraceDraw.py import turtle as t t.title('自动轨迹绘制') t.setup(800, 600, 0, 0) t.pencolor("red") t.pensize(5) #数据读取 datals = [] f = open("data.txt") for line in f: line = line.replace("\n","") datals.append(list(map(eval, line.split(",")))) f.close() #自动绘制 for i in range(len(datals)): t.pencolor(datals[i][3],datals[i][4],datals[i][5]) t.fd(datals[i][0]) if datals[i][1]: t.rt(datals[i][2]) else: t.lt(datals[i][2]) 一维数据的格式化和处理
维度：一组数据的组织形式
一维数据的表示
如果数据间有序：使用列表类型
ls = [3.1398, 3.1349, 3.1376]- 列表类型可以表达一维有序数据
- for循环可以遍历数据，进而对每个数据进行处理
如果数据间无序：使用集合类型
st = {3.1398, 3.1349, 3.1376}- 集合类型可以表达一维无序数据
- for循环可以遍历数据，进而对每个数据进行处理
一维数据的存储
存储方式一：空格分隔
中国 美国 日本 德国 法国 英国 意大利- 使用一个或多个空格分隔进行存储，不换行
- 缺点：数据中不能存在空格
存储方式二：逗号分隔
中国,美国,日本,德国,法国,英国,意大利- 使用英文半角逗号分隔数据进行存储，不换行
- 缺点：数据中不能有英文逗号
存储方式三：其他方式
中国$美国$日本$德国$法国$英国$意大利- 使用其他符号或符号组合分隔，建议采用特殊符号
- 缺点：需要根据数据特点定义，通用性较差
一维数据的处理
数据的处理：存储 <-> 表示
- 将存储的数据读入程序
- 将程序表示的数据写入文件
一维数据的读入处理
从空格分隔的文件中读入数据
中国 美国 日本 德国 法国 英国 意大利txt = open(fname).read()ls = txt.split()f.close()>>> ls['中国', '美国', '日本', '德国', '法国', '英国', '意大利']
从特殊符号分隔的文件中读入数据
中国$美国$日本$德国$法国$英国$意大利txt = open(fname).read()ls = txt.split("$")f.close()>>> ls['中国', '美国', '日本', '德国', '法国', '英国', '意大利'] 一维数据的写入处理
采用空格分隔方式将数据写入文件
ls = ['中国','美国','日本']f = open(fname, 'w')f.write(' '.join(ls))f.close() 采用特殊分隔方式将数据写入文件
ls = ['中国','美国','日本']f = open(fname, 'w')f.write('$'.join(ls)) f.close() 二维数据的格式化和处理
二维数据的表示
使用列表类型
- 列表类型可以表达二维数据
- 使用二维列表
[ [3.1398, 3.1349, 3.1376], [3.1413, 3.1404, 3.1401] ]
- 使用两层for循环遍历每个元素
- 外层列表中每个元素可以对应一行，也可以对应一列
一二维数据的Python表示
数据维度是数据的组织形式
- 一维数据：列表和集合类型 [3.1398, 3.1349, 3.1376] 数据间有序 {3.1398, 3.1349, 3.1376} 数据间无序
- 二维数据：列表类型 [ [3.1398, 3.1349, 3.1376], [3.1413, 3.1404, 3.1401] ]
CSV格式与二维数据存储
CSV数据存储格式
CSV: Comma-Separated Values
- 国际通用的一二维数据存储格式，一般.csv扩展名
- 每行一个一维数据，采用逗号分隔，无空行
- Excel和一般编辑软件都可以读入或另存为csv文件
- 如果某个元素缺失，逗号仍要保留
- 二维数据的表头可以作为数据存储，也可以另行存储
- 逗号为英文半角逗号，逗号与数据之间无额外空格
二维数据的存储
按行存？按列存？
- 按行存或者按列存都可以，具体由程序决定
- 一般索引习惯：ls[row][column]，先行后列
- 根据一般习惯，外层列表每个元素是一行，按行存
二维数据的处理
二维数据的读入处理
从CSV格式的文件中读入数据
fo = open(fname)ls = []for line in fo: line = line.replace("\n","") ls.append(line.split(",")) fo.close() 二维数据的写入处理
将数据写入CSV格式的文件
ls = [[], [], []] #二维列表f = open(fname, 'w')for item in ls: f.write(','.join(item) + '\n') f.close() 二维数据的逐一处理
采用二层循环
ls = [[], [], []] #二维列表for row in ls: for column in row: print(ls[row][column])
模块6: wordcloud库的使用
wordcloud库概述
wordcloud是优秀的词云展示第三方库
- 词云以词语为基本单位，更加直观和艺术地展示文本
wordcloud库的安装
(cmd命令行) pip install wordcloud
wordcloud库使用说明
wordcloud库基本使用
wordcloud库把词云当作一个WordCloud对象- wordcloud.WordCloud()代表一个文本对应的词云
- 可以根据文本中词语出现的频率等参数绘制词云
- 词云的绘制形状、尺寸和颜色都可以设定
wordcloud库常规方法
w = wordcloud.WordCloud()
- 以WordCloud对象为基础
- 配置参数、加载文本、输出文件
| 方法 | 描述 |
|---|---|
| w.generate(txt) | 向WordCloud对象w中加载文本txt >>>w.generate("Python and WordCloud") |
| w.to_file(filename) | 将词云输出为图像文件，.png或.jpg格式 >>>w.to_file("outfile.png") |
import wordcloudc = wordcloud.WordCloud()c.generate("wordcloud by Python")c.to_file("pywordcloud.png") - 步骤1：配置对象参数
- 步骤2：加载词云文本
- 步骤3：输出词云文件
配置对象参数
w = wordcloud.WordCloud()
| 参数 | 描述 |
|---|---|
| width | 指定词云对象生成图片的宽度，默认400像素 |
| height | 指定词云对象生成图片的高度，默认200像素 |
| min_font_size | 指定词云中字体的最小字号，默认4号 |
| max_font_size | 指定词云中字体的最大字号，根据高度自动调节 |
| font_step | 指定词云中字体字号的步进间隔，默认为1 |
| font_path | 指定字体文件的路径，默认None |
| max_words | 指定词云显示的最大单词数量，默认200 |
| stop_words | 指定词云的排除词列表，即不显示的单词列表 |
| mask | 指定词云形状，默认为长方形，需要引用imread()函数 |
| background_color | 指定词云图片的背景颜色，默认为黑色 |
wordcloud应用实例
import wordcloudtxt = "life is short, you need python"w = wordcloud.WordCloud( \ background_color = "white")w.generate(txt)w.to_file("pywcloud.png") 实例12: 政府工作报告词云
"政府工作报告词云"问题分析
直观理解政策文件
- 需求：对于政府工作报告等政策文件，如何直观理解？
- 体会直观的价值：生成词云 & 优化词云 政府工作报告等文件 ->有效展示的词云
#GovRptWordCloudv2.py import jieba import wordcloud from scipy.misc import imread mask = imread("chinamap.jpg") excludes = { } f = open("新时代中国特色社会主义.txt", "r", encoding="utf-8") t = f.read() f.close() ls = jieba.lcut(t) txt = " ".join(ls) w = wordcloud.WordCloud(\ width = 1000, height = 700,\ background_color = "white", font_path = "msyh.ttc", mask = mask ) w.generate(txt) w.to_file("grwordcloudm.png")