Skip to main content
 首页 » 编程设计

python之couchdbkit:如何批量保存附件

2025年05月04日11pengyingh

我正在使用 couchdbkit (python 2.7),我需要一次批量保存大约 100 个新项目。我想同时保存有效负载 (=attachment) 和元数据 (=doc)。

现在我正在非常低效地一个一个地保存这些项目,因为 couchdbkit 只允许在数据库中已经存在文档后使用 put_attachment()。这迫使我进行非常缓慢的实现。当我想保存 1 个项目时,我需要按固定顺序进行两次通信:首先是 save() 项目,然后是 put_attachment()。

我想要的是在本地创建所有文档及其 _attachments 并立即发送所有内容。以下代码不起作用,因为 bulk_save 不处理附件 [编辑:不正确,请参阅我的回答]

def setInBulk(self, key2value): 
 
    datetimeprop = DateTimeProperty() 
 
    def createItemToSave(thekey, thevalue): 
        pickled = cPickle.dumps(obj = value, protocol = 2).decode('latin1') 
        item = {"_id": key, "content": {"seeattachment": True, "ispickled" : True}, "creationtm": datetimeprop.to_json(datetime.datetime.utcnow()), "lastaccesstm": datetimeprop.to_json(datetime.datetime.utcnow())} 
        item ["_attachments"] = { 
                             "theattachment": 
                                { 
                                    "content_type":"application/octet-stream", 
                                    "data": pickled.encode('utf-8') 
                                } 
                            } 
        return item 
 
    docs = [] 
    for key, value in key2value.iteritems(): 
        docs.append(createItemToSave(key, value)) 
 
    #this is what I want but it seems not to work 
    self.db.bulk_save(docs, all_or_nothing = True)  

如何规避 couchdbkit 强加给我的一次写入一个的限制?

请您参考如下方法:

我成功了!事实证明 bulk_save 确实正确处理了 _attachments 字段。我做错的是数据编码。这是我的新代码:

def setInBulk(self, key2value): 
 
    datetimeprop = DateTimeProperty() 
    boolprop = BooleanProperty() #added 
 
    def createItemToSave(thekey, thevalue): 
        pickled = cPickle.dumps(obj = value, protocol = 2).decode('latin1') 
        #modified: usage of BooleanProperty for booleans 
        item = {"_id": key, "content": {"seeattachment": boolprop.to_json(True), "ispickled" : boolprop.to_json(True)}, "creationtm": datetimeprop.to_json(datetime.datetime.utcnow()), "lastaccesstm": datetimeprop.to_json(datetime.datetime.utcnow())} #modified 
            item ["_attachments"] = { 
                                     "theattachment": 
                                        { 
                                            "content_type":"application/octet-stream", 
                                            #modified: base64 encoding needed 
                                            "data": base64.encodestring(pickled.encode('utf-8'))  
                                        } 
                                    } 
        return item 
 
    docs = [] 
    for key, value in key2value.iteritems(): 
        docs.append(createItemToSave(key, value)) 
 
 
    self.db.bulk_save(docs, all_or_nothing = True) 

首先,我还添加了 BooleanProperty 的用法,以确保一切都与 JSON 兼容。

其次,我未能对数据进行 base64 编码。需要纯净且未过滤的 base64 代码。

不要尝试过滤 base64 代码。我对沙发数据库感到困惑 documentation上面写着“请注意,您发送的任何 base64 数据都必须在单行字符上,因此请预处理您的数据以删除任何回车符和换行符。” JSON-base64 specification建议类似的过滤。这本身可能是正确的,但是 bulk_save() 似乎已经解决了这个问题并且执行两次只会导致“不匹配”错误。