Skip to main content
 首页 » 编程设计

python之多处理中的有序状态打印

2025年01月19日9EasonJim

我有一个程序,我必须在我的程序执行的每个成功步骤后打印给用户,我尝试使用 Lock 但它确实减慢了我的程序。

基本上我想做的是向用户打印(有序)每一个成功的操作,就像我有一些代码可以执行发布到某些页面并且我打印 X 已经以有序方式完成的操作

一个显示我正在尝试做的事情的例子:(它似乎有效)但它确实减慢了任务:

lock = Lock() 
 
def run(u): 
    lock.acquire() 
    buff = [] 
    e = requests.post('#personal_url', data=mydata) 
    buff.append(e.text) 
    buff.append('----------------') 
    f = requests.get('#personal_urlx') 
    buff.append(u + ' --> ' f.text) 
    print('\n'.join(buff)) 
    lock.release() 
 
p = Pool(4) 
p.map(run, uu) 
p.close() 
p.join() 

非常感谢任何帮助,谢谢。

请您参考如下方法:

可能减慢您的程序的是您的锁定策略。锁应该只用于保护所谓的关键代码部分,这些代码包含共享资源,如果保护不当,这些共享资源可能包含无效状态。

所以我的建议是,如果您唯一关心的是在您的标准输出上有有效的输出(意味着您的打印不会中断并且打印整行),请尝试通过编写一种扩展打印功能来保护您的标准输出,并使用您的只锁在那里。像这样:

def ext_print(str, lock): 
    lock.acquire() 
    print(str) 
    lock.release() 

请从您当前的代码中删除对锁的操作,并仅在 ext_print 函数内使用锁定。

def run(u): 
    buff = [] 
    e = requests.post('#personal_url', data=mydata) 
    buff.append(e.text) 
    buff.append('----------------') 
    f = requests.get('#personal_urlx') 
    buff.append(u + ' --> ' f.text) 
    ext_print('\n'.join(buff), lock) 

使用这种方法,您应该在 stdout 上获得干净的输出。请注意,使用这种方法,输出可能会延迟写入标准输出,这意味着有两个线程 t1 和 t2,您可能会得到 t2 比 t1 晚于 t1 的输出开始,即使 t1 在 之前完成数据处理>t2。因此,这种方法将提高性能和通过多线程实现的性能增益,但它不能保证输出反射(reflect)完成的 get 和 set 操作的顺序完全相同。

我认为真正按照与每个已完成操作相同的顺序编写输出的唯一方法是采用如下解决方案:

def run(u): 
    buff = [] 
 
    lock.acquire() 
    e = requests.post('#personal_url', data=mydata) 
    print(e.text) 
    print('----------------') 
    lock.release() 
 
    lock.acquire() 
    f = requests.get('#personal_urlx') 
    print(u + ' --> ' f.text) 
    print('----------------') 
    lock.release() 

如您所料,这一个的性能可能会更差。