Skip to main content
 首页 » 编程设计

python之使用自定义验证器存储重复的 KeyProperty 时出现 BadValueError

2025年04月02日21JustinYoung

我试图通过使用将字符串转换为相应类型的 Key 的自定义验证器来简化 ndb KeyProperties 的 JSON 序列化和反序列化。

想法是拥有这样的属性:

def key_validator(kind): 
  def validator(prop, value): 
    if not isinstance(value, ndb.Key): 
      return ndb.Key(kind, value) 
    return value 
  return validator 
 
class Bar(ndb.Model): 
 
  foo = ndb.KeyProperty('Foo', validator=key_validator('Foo')) 

如您所见,验证器将任何字符串转换为给定类型的 Key。 目标是能够将包含 Key 的 id 的 JSON 对象传递给 populate 方法,如下所示:

bar = Bar() 
bar.populate(json.loads('{"foo": "1234"}')) 

哪个应该有效地做到这一点:

bar = Bar() 
bar.foo = ndb.Key("Foo", "1234") 

问题是这需要重写 KeyProperty 因为验证器是在执行了一些基本验证之后调用的,验证失败了,因为 "1234" 显然不是 Key,参见 issue 268 .

因此,为了完成这项工作,我创建了一个“ValidationMixin”和一个新的 KeyProperty,它在 任何其他验证发生之前调用验证器(并且还序列化了 Key只是 id)。

class ValidationMixin(object): 
  # make sure to call _validator before we do as the very first validation step 
  def _do_validate(self, value): 
    if self._validator is not None: 
      newvalue = self._validator(self, value) 
      if newvalue is not None: 
        value = newvalue 
    return super(ValidationMixin, self)._do_validate(value) 
 
# A KeyProperty that allows a validator to generate a Key. 
# In addition it serializes to just the id of the key 
class KeyProperty(ValidationMixin, ndb.KeyProperty): 
  # return just the id of the key 
  def _get_for_dict(self, entity): 
    value = self._get_value(entity) 
    if self._repeated: 
      return [v.id() for v in value] 
    elif value is not None: 
      return value.id() 
    return value 

使用此 KeyProperty 对非重复属性来说就像一个魅力。不幸的是,对于具有 repeated=True 的属性,它会严重失败。

当我调用 bar.populate(json.loads('[{"foo": "1234"}]')) 后跟 put()< 时抛出以下异常:

  File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/model.py", line 3451, in _put 
    return self._put_async(**ctx_options).get_result() 
  File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/tasklets.py", line 383, in get_result 
    self.check_success() 
  File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/tasklets.py", line 427, in _help_tasklet_along 
    value = gen.throw(exc.__class__, exc, tb) 
  File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/context.py", line 824, in put 
    key = yield self._put_batcher.add(entity, options) 
  File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/tasklets.py", line 430, in _help_tasklet_along 
    value = gen.send(val) 
  File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/context.py", line 358, in _put_tasklet 
    keys = yield self._conn.async_put(options, datastore_entities) 
  File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/datastore/datastore_rpc.py", line 1852, in async_put 
    pbs = [entity_to_pb(entity) for entity in entities] 
  File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/model.py", line 697, in entity_to_pb 
    pb = ent._to_pb() 
  File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/model.py", line 3167, in _to_pb 
    prop._serialize(self, pb, projection=self._projection) 
  File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/model.py", line 1422, in _serialize 
    values = self._get_base_value_unwrapped_as_list(entity) 
  File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/model.py", line 1192, in _get_base_value_unwrapped_as_list 
    wrapped = self._get_base_value(entity) 
  File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/model.py", line 1180, in _get_base_value 
    return self._apply_to_values(entity, self._opt_call_to_base_type) 
  File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/model.py", line 1355, in _apply_to_values 
    newvalue = function(value) 
  File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/model.py", line 1234, in _opt_call_to_base_type 
    value = _BaseValue(self._call_to_base_type(value)) 
  File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/model.py", line 1255, in _call_to_base_type 
    return call(value) 
  File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/model.py", line 1331, in call 
    newvalue = method(self, value) 
  File "/base/data/home/runtimes/python27/python27_lib/versions/1/google/appengine/ext/ndb/model.py", line 2013, in _validate 
  raise datastore_errors.BadValueError('Expected Key, got %r' % (value,)) 
BadValueError: Expected Key, got [Key('Foo', '486944fe896a44c689275e6f19e3084a')] 

如您所见,它提示值是一个列表而不是单个 Key。请注意,异常是在 put() 中抛出的,而不是在 populate 中抛出的,因此 _set_value 执行的初始验证成功。

所以我的问题是,我的方法是否有问题,还是应该奏效?如果它应该起作用,为什么它不起作用以及如何修复它?

更新

根据堆栈跟踪,代码执行通过 model.py, line 1355 ,这很奇怪,因为该属性是重复的,应该是 model.py, line 1347 中的另一个分支。

更新2

我刚刚发现,当我从模型中删除另一个非重复的 KeyProperty 时它会起作用。看起来序列化被破坏并且错误的 KeyProperty 实例被传递给 _seralize 方法

请您参考如下方法:

好的,找到了。 KeyProperty 有这个非常奇怪的构造函数“签名魔法”(model.py, line 1963)。

重点是,如果第一个参数是字符串,就变成了属性的字段名,而不是kind!如果你想通过字符串指定种类,你必须使用关键字参数,否则种类参数必须是实际类型而不仅仅是名称。如果我错了请纠正我,但这不是公共(public)文档的一部分。这真的很令人困惑,因为使用 ndb.Key 您实际上可以将类型指定为字符串作为第一个位置参数。

碰巧我有 3 个具有相同种类但不同属性名称的 KeyProperties。但是,由于我将种类指定为字符串,所以它实际上变成了名称。所以所有三个属性都使用相同的名称。结果,重复的属性值被序列化为非重复的 KeyProperty 实例,导致了这次崩溃。

解决方案是使用关键字参数指定种类:

foo = ndb.KeyProperty(kind='Foo', validator=key_validator('Foo')) 

从/到 JSON 序列化 KeyProperties 现在运行良好。