Skip to main content
 首页 » 编程设计

python之记录器创建多个文件

2025年05月04日13dyllove98

以下代码创建了 3 或 4 个日志文件。应该如何编写才能在保持文件名格式的同时只创建 1 个文件?此外,这似乎是 Windows 独有的问题。当我在 RHEL 5.3 机器上运行它时甚至将 nproc 设置为 1000,我只得到 1 个日志文件。 [ python 3.4.1]

import datetime, logging, multiprocessing, os.path, time 
 
logging.basicConfig(level=logging.DEBUG, format="%(asctime)-4s %(process)6s  %(message)s", datefmt="%m-%d %H:%M:%S", 
    filename="test_%s.log"%(datetime.datetime.today().strftime("%Y%m%d-%H%M%S"))) 
 
def worker(n): 
    logging.info("before") 
    time.sleep(n) 
    logging.info("after") 
 
if __name__=='__main__': 
    nproc = 40 
    pool = multiprocessing.Pool(processes=nproc) 
    pool.map(worker, (6,)*nproc) 

请您参考如下方法:

原始答案:将 logging.basicConfig 调用放在您的 if main 语句中。

新答案:将日志记录调用添加到辅助函数的开头。您可以将它放入一个名为 setup_logging 的函数中以供将来更改。我之前的回答可能不会奏效,因为工作人员不会设置日志记录。

当 multiprocessing 运行一个新目标时,它必须启动一个全新的解释器,然后加载具有要运行的函数的模块。在您进行日志记录调用的地方,每次加载模块时都会运行它。我猜它只在 Linux 上创建一个文件只是运气。

我应该注意到正常的日志记录模式(至少我使用的)是:

import logging 
 
log = logging.getLogger(__name__) 
 
# Code 
def a_func(): 
    log.debug("This is my message") 
 
if __name__ == "__main__": 
    logging.basicConfig(...) 
    a_func() 

编辑:如果不清楚我所说的运气是什么意思,我的意思是您正在创建一个包含当前日期/时间的文件名,因此同时启动多个进程是只是运气。如果一个操作系统启动 X 个 worker 的时间太长,那么你会得到不同的文件名。在 Linux 上,它可能会做一些聪明的事情来同时加载所有解释器/模块,然后调用该函数。

您的代码:我应该为在疲倦时编写 stackoverflow 答案而道歉。我以前的解决方案实际上并没有解决问题。这样做:

import datetime, logging, multiprocessing, os.path, time 
 
def worker(args): 
    # it's not simple to pass more than one argument so we expand the tuple here 
    n, log_filename = args 
    logging.basicConfig(level=logging.DEBUG, 
            format="%(asctime)-4s %(process)6s  %(message)s", 
            datefmt="%m-%d %H:%M:%S", 
            filename=log_filename) 
 
    logging.info("before") 
    time.sleep(n) 
    logging.info("after") 
 
if __name__=='__main__': 
    filename="test_%s.log" % (datetime.datetime.today().strftime("%Y%m%d-%H%M%S"),) 
    nproc = 40 
    pool = multiprocessing.Pool(processes=nproc) 
    pool.map(worker, ((6, filename),)*nproc)