(Windows)Python 2.7 学习笔记 四十九 IO编程 — 序列化-JSON-JSON进阶

2019071622240

序列化

在程序运行的过程中,所有的变量都是在内存中,比如,定义一个 dict

d = dict(name = 'Bob', age = 20, score = 88)

可以随时修改变量,比如把 name 改成 ‘Bill‘,但是一旦程序结束,变量所占用的内存就被操作系统全部回收。如果没有把修改后的 ‘Bill‘ 存储到磁盘上,下次重新运行程序,变量又被初始化为 ‘Bob‘。

我们把变量从内存中变成可存储或传输的过程称之为序列化,再 Python 中叫 picking,再其它语言中也被称之为 serializationmarshallingflattening 等等,都是一个意思。

序列化之后,就可以把序列化后的内容写入磁盘,或者通过网络传输到别的机器上。

反过来,把变量内容从序列化的对象重新读到内存里称之为反序列化,即 unpickling

Python 提供两个模块来实现序列化:cPicklepickle。这两个模块功能是一样的,区别在于 cPickleC 语言写的,速度快,pickle 是纯 Python 写的,速度慢,跟 cStringIOStringIO 一个道理。用的时候,先尝试导入 cPickle,如果失败,再导入 pickle

首先,我们尝试把一个对象序列化并写入文件:

pickle.dumps() 方法把任意对象序列化成一个 str,然后,就可以把这个 str 写入文件。或者用另一个方法 pickle.dump() 直接把对象序列化后写入一个 file-like Object

dump.txt 不用提前创建

看看写入的 dump.txt 文件,一堆乱七八糟的内容,这些都是 Python 保存的对象内部信息。

当我们要把对象从磁盘读到内存时,可以先把内容读到一个 str,然后用 pickle.loads() 方法反序列化出对象,也可以直接用 pickle.load() 方法从一个 file-like Object 中直接反序列化出对象。我们打开另一个 Python 命令行来反序列化刚才保存的对象:

变量的内容又回来了!

当然,这个变量和原来的变量是完全不相干的对象,它们只是内容相同而已。

Pickle 的问题和所有其它编程语言特有的序列化问题一样,就是它只能用于 Python,并且可能不同版本的 Python 彼此都不兼容,因此,只能用 Pickle 保存哪些不重要的数据,不能成功地反序列化也没关系。



JSON

如果我们要在不同地编程语言之间传递对象,就必须把对象序列化为标准格式,比如 XML,但更好的方法是序列化为 JSON,因为 JSON 表示出来就是一个字符串,可以被所有语言读取,也可以方便地存储到磁盘或者通过网络传输。JSON 不仅是标准格式,并且比 XML 更快,而且可以直接再 Web 页面中读取,非常方便。

JSON 表示的对象就是标准的 JavaScript 语言的对象,JSONPython 内置的数据类型对应如下:

JSON 类型        Python 类型
{}               dict
[]               list
"string"         'str' 或 u'unicode'
1234.56          int 或 float
true/false       True/False
null             None

Python 内置的 json 模块提供了非常完善的 Python 对象到 JSON 格式的转换。我们先看看如何把 Python 对象变成一个 JSON:

dumps() 方法返回一个 str,内容就是标准的 JSON。类似的,dump() 方法可以直接把 JSON 写入一个 file-like Object

要把 JSON 反序列化为 Python 对象,用 loads() 或者对应的 load() 方法,前者把 JSON 的字符串反序列化,后者从 file-like Object 中读取字符串并反序列化:

有一点需要注意,就是反序列化得到的所有字符串对象默认都是 unicode 而不是 str。由于 JSON 标准规定 JSON 编码是 UTF-8,所以我们总是能正确地在 PythonstrunicodeJSON 的字符串之间转换。



JSON 进阶

Pythondict 对象可以直接序列化为 JSON{},不过,很多时候,我们更喜欢用 class 对象,比如定义 Student 类,然后序列化:

错误的原因是 Student 对象不是一个可序列化为 JSON 的对象。

如果连 class 的实例对象都无法序列化为 JSON,这肯定不合理!

看看 dumps() 方法的参数列表,https://docs.python.org/2/library/json.html#json.dumps

可以发现,除了第一个必须的 obj 参数外,dumps() 方法还提供了一大堆的可选参数:

这些可选参数就是让我们来定制 JSON 序列化。前面的代码之所以无法把 Student 类实例序列化为 JSON,是因为默认情况下,dumps() 方法不知道如何讲 Student 实例变为一个 JSON{} 对象。

可选参数 default 就是把任意一个对象变成一个可序列为 JSON 的对象,我们只需要为 Student 专门写一个转换函数,再把函数传进去即可:

这样,Student 实例首先被 student2dict() 函数转换成 dict,然后再被顺利序列化为 JSON

不过,下次如果遇到一个 Teacher 类的实例,照样无法序列化为 JSON。我们可以偷个懒,把任意 class 的实例变为 dict

因为通常 class 的实例都有一个 __dict__ 属性,它就是一个 dict,用来存储实例变量。也有少数例外,比如定义了 __slots__class

同样的道理,如果我们要把 JSON 反序列化为一个 Student 对象实例,loads() 方法首先转换出一个 dict 对象,然后,我们传入的 object_hook 函数负责把 dict 转换为 Student 实例:

打印出来的是反序列化的 Student 实例对象。

======================

Python 语言特定的序列化模块是 pickle,但如果要把序列化搞得更通用、更符合 Web 标准,就可以使用 json 模块。

json 模块的 dumps()loads() 函数是定义的非常好的接口的典范。当我们使用时,只需要传入一个必须的参数。但是,当默认的序列化或反序列机制不满足我们的要求时,我们又可以传入更多的参数来定制序列化或反序列化的规则,既做到了接口简单易用,又做到了充分的扩展性和灵活性。

发表评论

zh_CNChinese
zh_CNChinese