Skip to main content
 首页 » 编程设计

python之将 zlib 压缩的 utf8 数据写入文件

2025年05月04日7zhengyun_ustc

我有一个包含以 utf-8 编码的数据的文件。我想读取数据,删除空格,用换行符分隔单词,压缩整个内容并将它们写入文件。这就是我想要做的:

with codecs.open('1020104_4.utf8', encoding='utf8', mode='r') as fr : 
    data = re.split(r'\s+',fr.read().encode('utf8')) 
    #with codecs.open('out2', encoding='utf8', mode='w') as fw2 : 
        data2 = ('\n'.join(data)).decode('utf8') 
        data3 = zlib.compress(data2) 
        #fw2.write(data3) 

但是我得到一个错误:

Traceback (most recent call last): 
    File "tmp2.py", line 17, in <module> 
        data3 = zlib.compress(data2) 
UnicodeEncodeError: 'ascii' codec can't encode characters in position 47-48: ordinal not in range(128) 

如何将这些数据写入文件?

请您参考如下方法:

我认为你的 encoding-foo 是错误的方式,在 Python 3 中这会更清楚 ☺。

首先,在拆分时,您希望对解码 数据执行此操作,即在 Unicode 字符串上执行此操作,因为您正在使用 codecs,因此您已经从 read 获得了这些字符串。打开,所以第一行应该是

data = re.split(r'\s+', fr.read()) 

因此,在将数据传递给 zlib 之前,您需要通过编码将其转换为 bytes:

data2 = ('\n'.join(data)).encode('utf8') 
data3 = zlib.compress(data2) 

在最后一步中,您要将其写入二进制 文件句柄:

with open("output", "wb") as fw: 
    fw.write(data3) 

您可以使用 gzip 模块来缩短它:

with codecs.open('1020104_4.utf8', encoding='utf8', mode='r') as fr: 
    data = re.split(r'\s+', fr.read()) 
    with gzip.open('out2', mode='wb') as fw2 : 
        data2 = ('\n'.join(data)).encode('utf8') 
        fw2.write(data2)