Skip to main content
 首页 » 编程设计

python之如何释放类型化的 numpy 数组设置 callback_free_data 是一个可行的选择吗

2025年04月02日15dflying

在使用开源 Cython 库时,我发现了内存泄漏。泄漏似乎来自类型化的 numpy 数组,当它超出范围时,它不会从内存中释放。声明如下:

cdef np.ndarray[object, ndim=1] my_array = np.empty(my_size, dtype=object) 

根据我的理解,垃圾收集器应该像任何其他 numpy 数组一样考虑它,并且 GC 应该在数组超出范围时立即释放它的内存——在这种情况下是在它所在的函数的末尾被宣布。显然这不会发生。

如果首先使用 cython 数组创建数组,然后将其转换为 numpy 数组,则可以使用描述的 callback_free_data 函数 here和 here .但是,在这种情况下,无法到达 my_array 的指针,也无法设置回调。

知道为什么这种声明会导致内存泄漏和/或如何强制释放内存吗?

更新:

我的问题很笼统,我想避免发布代码,因为它有点复杂,但既然有人问了,我们就开始吧:

cdef dijkstra(Graph G, int start_idx, int end_idx): 
 
    # Some code 
 
    cdef np.ndarray[object, ndim=1] fiboheap_nodes = np.empty([G.num_nodes], dtype=object) # holds all of our FiboHeap Nodes Pointers 
 
    Q = FiboHeap() 
 
    fiboheap_nodes[start_idx] = Q.insert(0, start_idx) 
 
    # Some other code where it could perform operations like: 
    # Q.decrease_key(fiboheap_nodes[w], vw_distance) 
 
    # End of operations 
 
    # do we need to cleanup the fiboheap_nodes array here? 
 
    return 

FiboHeap 是 c 实现的 Cython 包装器。例如,插入函数如下所示:

cimport cfiboheap 
from cpython.pycapsule cimport PyCapsule_New, PyCapsule_GetPointer 
from python_ref cimport Py_INCREF, Py_DECREF  
 
cdef inline object convert_fibheap_el_to_pycapsule(cfiboheap.fibheap_el* element): 
    return PyCapsule_New(element, NULL, NULL) 
 
cdef class FiboHeap: 
 
    def __cinit__(FiboHeap self): 
        self.treeptr = cfiboheap.fh_makekeyheap() 
        if self.treeptr is NULL: 
            raise MemoryError() 
 
    def __dealloc__(FiboHeap self): 
        if self.treeptr is not NULL: 
            cfiboheap.fh_deleteheap(self.treeptr) 
 
    cpdef object insert(FiboHeap self, double key, object data=None): 
        Py_INCREF(data) 
        cdef cfiboheap.fibheap_el* retValue = cfiboheap.fh_insertkey(self.treeptr, key, <void*>data) 
        if retValue is NULL: 
            raise MemoryError() 
 
        return convert_fibheap_el_to_pycapsule(retValue) 

__dealloc__() 函数按预期工作,因此 FiboHeap 在函数 dijkstra(...) 结束时从内存中释放。我的猜测是 fiboheap_nodes 中包含的指针出了问题。 有什么猜测吗?

请您参考如下方法:

问题(在评论中解决)原来不是 numpy 数组的释放。相反,numpy 数组包含一堆 Fiboheap 对象,这些对象本身包含指向一堆 Python 对象的指针。正是这些对象没有被释放。

当 Fiboheap 中的 Python 对象指针被获取(在 insert 中)时,它们的引用计数会增加以确保它们保持事件状态。然而,当 Fiboheap 被销毁时(在 __dealloc__ 中),它持有的 Python 对象的引用计数并没有减少,导致内存泄漏。解决方案是确保在 __dealloc__ 期间对所有持有的 Python 对象调用 Py_DECREF。


可能还有第二个更具挑战性的问题等待出现:Fiboheap 持有的对象本身可能包含对 Fiboheap 的引用,也许是间接的。 Python 使用函数 tp_tranverse找到这些循环和 tp_clear 来打破它们。 Cython 会为其 cdef 类自动生成一个 tp_traverse,但是因为它无法知道隐藏在 C Fiboheap 中的 Python 对象指针结构它不会正确处理这些(可能会产生另一个内存泄漏)。

这在现实中可能不太可能发生,因此可能不值得担心,但这是需要注意的事情。 newsgroup post描述了一种在 Cython 中生成自定义 tp_traverse 函数的方法。对于大多数应用程序,这应该不是必需的 - 只有 Cython object 和 PyObject* 的混合才使它在这里成为可能。