Skip to main content
 首页 » 编程设计

python之在一个巨大的字符串文件中查找一个字符串

2025年05月04日25arxive

我必须在 txt.file 中找到一个字符串列表

文件有 200k+ 行

这是我的代码:

with open(txtfile, 'rU') as csvfile: 
    tp = pd.read_csv(csvfile, iterator=True, chunksize=6000, error_bad_lines=False, 
                     header=None, skip_blank_lines=True, lineterminator="\n") 
    for chunk in tp: 
        if string_to_find in chunk: 
            print "hurrà" 

问题 是这段代码只分析了前 9k 行。 为什么?

请您参考如下方法:

您真的需要先打开文件然后再使用 pandas 吗?如果这是一个选项,您可以只使用 pandas 阅读 concatenate .

要做到这一点,只需使用 read_csv,concat 文件,然后循环遍历它们。

import pandas as pd 
 
df = pd.read_csv('data.csv', iterator=True, chunksize=6000, error_bad_lines=False, 
                 header=None, skip_blank_lines=True) 
df = pd.concat(df) 
 
# start the for loop 

这取决于您的 for 循环,pandas 很可能会有一个您不需要循环的函数,因为它处理大数据的速度较慢。