Skip to main content
 首页 » 编程设计

python之datetime.datetime.now 在多进程中的性能

2025年05月04日10powertoolsteam

在使用 python 多处理编写一些并行代码时,我注意到在我的 Mac 笔记本电脑和 Windows 服务器计算机上运行代码之间存在奇怪的性能行为差异。当我连续运行代码时,Mac 笔记本电脑的速度大约是 Windows 机器的两倍,但在使用 2 个内核运行时速度是 Windows 机器的两倍,并且它的性能随着更多内核(仍然低于总内核数)而趋于平稳,而 Windows 机器显示出不错的缩放比例。

仔细研究 cProfile,我意识到使用多个内核,Mac 几乎所有时间都在调用 datetime.datetime.now,它用于执行一些内部计时,使用以下代码上下文管理器:

class timer: 
    def __init__(self): 
        self.timer = datetime.datetime.now 
 
    def __enter__(self): 
        self.start = self.timer() 
        return self 
 
    def __exit__(self, *arg): 
        self.end = self.timer() 
        self.elapsed = (self.end - self.start)  

它的用法类似于:

with timer() as t: 
    <run some code> 
total_time += t.elapsed 

当我修改代码以不调用 datetime.datetime.now 并设置 self.elapsed = datetime.timedelta(0) 时,我恢复了适当的并行缩放。

我在 Windows 下没有看到这种行为,所以我想知道为什么 OSX 从多个进程调用 now() 会影响性能。与单个串行运行相比,调用程序的两个串行实例不会导致一个进程影响另一个进程的性能。

有人对这种行为有解释吗?我在两台机器上都使用 Python 2.7.10。

请您参考如下方法:

This question可能会给出解释。

我的猜测是 MAC OS 不允许对实时时钟进行并发读取访问。因此,当时只有一个进程可以读取该值,这大大降低了性能。

要验证上述链接中给出的答案,您可以检查进程在读取时间时是否真的暂停等待 IO 等待。只需生成大量只读取时间的进程并检查它们是否在 IO 等待中挂起。