python之如果在先前的计算完成之前出现新请求，则 Tensorflow 服务失败

我目前有一个使用 flask、gunicorn 和 nginx 运行的网络 api，网络 api 调用我的 tensorflow 模型服务端口。当在第一次完成之前多次调用 web api 时，tensorflow 模型失败并给出一个空请求。

处理此问题的最佳方法是什么？我的 web api 目前已经落后于 gunicorn 和 nginx，但是从 api 到 tensorflow 模型的调用似乎是问题所在。我也应该把它放在 gunicorn/nginx 负载均衡器后面吗？

谢谢

请您参考如下方法:

您有多种选择。

1. 使用多个 worker 。每个 gunicorn worker 将加载一个模型。这必须在启动时完成，因为加载模型需要一些时间。 worker 可以处理多个请愿书。
2. 使用 state machine : 空闲，正在处理。如果您在处理时收到 GET 并引发 503 服务不可用，您将引发异常。