Skip to main content
 首页 » 编程设计

python之在 Python 中从同一个文件中读取二进制文件和文本

2025年05月04日26zhoujg

如何在 Python 中从同一个文件中读取二进制文件和文本?我知道如何分别做每一个,并且可以想象非常仔细地做这两个,但不是直接使用内置 IO 库。

所以我有一个文件,其格式包含大块 UTF-8 文本,其中散布着二进制数据。文本前面没有写入长度,也没有像“\0”这样的特殊字符将其从二进制数据中划出,当解析时有大部分文本接近末尾,表示“我们即将结束”。

最佳解决方案是让内置文件读取类具有“read(n)”和“read_char(n)”方法,但遗憾的是它们没有。我什至不能两次打开文件,一次是文本,一次是二进制,因为 tell() 在文本上的返回值不能以任何有意义的方式与二进制文件一起使用。

所以我的第一个想法是将整个文件以二进制形式打开,当我到达一段文本时,“逐字符”读取它,直到我意识到文本结束,然后返回以二进制形式读取它。然而,这意味着我必须逐字节读取并自己对 UTF-8 字符进行解码(在使用该字符之前,我是否需要读取该字符的另一个字节?)。如果它是固定宽度的字符编码,我每次只读取那么多字节。最后,我还想要 Python 文本阅读器支持的通用行结尾,但在逐字节阅读时实现起来会更加困难。

另一个更简单的解决方案是,如果我可以询问文本文件对象它在文件中的实际偏移量。仅此一项就可以解决我所有的问题。

请您参考如下方法:

一种方法可能是使用 Hachoir定义文件解析协议(protocol)。

简单的替代方法是以二进制模式打开文件并手动初始化缓冲区和围绕它的文本包装器。然后,您可以非常巧妙地切换进出二进制文件:

my_file = io.open("myfile.txt", "rb") 
my_file_buffer = io.BufferedReader(my_file, buffer_size=1) # Not as performant but a larger buffer will "eat" into the binary data  
my_file_text_reader = io.TextIOWrapper(my_file_buffer, encoding="utf-8") 
string_buffer = "" 
 
while True: 
    while "near the end" not in string_buffer: 
        string_buffer += my_file_text_reader.read(1) # read one Unicode char at a time 
 
    # binary data must be next. Where do we get the binary length from? 
    print string_buffer 
    data = my_file_buffer.read(3) 
 
    print data 
    string_buffer = "" 

一种更快、不太可扩展的方法可能是使用您在问题中建议的方法,通过智能地解析文本部分,一次读取每个 UTF-8 字节序列。以下代码(来自 http://rosettacode.org/wiki/Read_a_file_character_by_character/UTF8#Python)似乎是一种将 UTF-8 字节保守地读入二进制文件中的字符的巧妙方法:

 def get_next_character(f): 
     # note: assumes valid utf-8 
     c = f.read(1) 
     while c: 
         while True: 
             try: 
                 yield c.decode('utf-8') 
             except UnicodeDecodeError: 
                 # we've encountered a multibyte character 
                 # read another byte and try again 
                 c += f.read(1) 
             else: 
                 # c was a valid char, and was yielded, continue 
                 c = f.read(1) 
                 break 
 
# Usage: 
with open("input.txt","rb") as f: 
    my_unicode_str = "" 
    for c in get_next_character(f): 
        my_unicode_str += c