我有一个包含以 utf-8 编码的数据的文件。我想读取数据,删除空格,用换行符分隔单词,压缩整个内容并将它们写入文件。这就是我想要做的:
with codecs.open('1020104_4.utf8', encoding='utf8', mode='r') as fr :
data = re.split(r'\s+',fr.read().encode('utf8'))
#with codecs.open('out2', encoding='utf8', mode='w') as fw2 :
data2 = ('\n'.join(data)).decode('utf8')
data3 = zlib.compress(data2)
#fw2.write(data3)
但是我得到一个错误:
Traceback (most recent call last):
File "tmp2.py", line 17, in <module>
data3 = zlib.compress(data2)
UnicodeEncodeError: 'ascii' codec can't encode characters in position 47-48: ordinal not in range(128)
如何将这些数据写入文件?
请您参考如下方法:
我认为你的 encoding-foo 是错误的方式,在 Python 3 中这会更清楚 ☺。
首先,在拆分时,您希望对解码 数据执行此操作,即在 Unicode 字符串上执行此操作,因为您正在使用 codecs,因此您已经从 ,所以第一行应该是read 获得了这些字符串。打开
data = re.split(r'\s+', fr.read())
因此,在将数据传递给 zlib 之前,您需要通过编码将其转换为 bytes:
data2 = ('\n'.join(data)).encode('utf8')
data3 = zlib.compress(data2)
在最后一步中,您要将其写入二进制 文件句柄:
with open("output", "wb") as fw:
fw.write(data3)
您可以使用 gzip 模块来缩短它:
with codecs.open('1020104_4.utf8', encoding='utf8', mode='r') as fr:
data = re.split(r'\s+', fr.read())
with gzip.open('out2', mode='wb') as fw2 :
data2 = ('\n'.join(data)).encode('utf8')
fw2.write(data2)
