我在将字符串编码/解码为特定字符集 (UTF-8) 时遇到了一些实际问题。
我的 Unicode 对象是:
>> u'Valor Econ\xf4mico - Opini\xe3o'
当我从 python 调用 print 时,它返回:
>> Valor Econômico - Opinião
当我从我的 unicode 对象调用 .encode("utf-8") 将其写入 JSON 时,它返回:
>> 'Valor Econ\xc3\xb4mico - Opini\xc3\xa3o'
我做错了什么? print() 到底在做什么而我没有做?
观察:我正在从文件的一行创建这个 unicode 对象。
import codecs
with codecs.open(path, 'r') as local_file:
for line in local_file:
obj = unicode((line.replace(codecs.BOM_UTF8, '')).replace('\n', ''), 'utf-8')
请您参考如下方法:
Valor Econ\xc3\xb4mico - Opini\xc3\xa3o 是为非 UTF-8 终端准备的 UTF-8 表示,可能在交互式 shell 中。如果您将其写入文件 (open("myfile", "wb").write("Valor Econ\xc3\xb4mico - Opini\xc3\xa3o") 那么您将拥有一个有效的 UTF-8 文件。
要从文件创建 Unicode 字符串,您可以在 io 模块中使用自动解码(Codecs.open() 已被弃用)。 BOM 将自动删除:
import io
with io.open(path, "r", encoding="utf-8") as local_file:
for line in local_file:
unicode_obj = line.strip()
在创建 JSON 响应时,使用 json.dumps(my_object) 的结果。它将返回一个 str,其中包含使用 Unicode 代码点编码的所有非 ASCII 字符。
