Skip to main content
 首页 » 编程设计

python之你能把 Pyramid 钩成扭曲的,跳过 wsgi 部分吗

2025年05月04日12lori

鉴于:

  • WSGI 不能很好地处理异步。
  • 扭曲的人体工程学糟透了。
  • Pyramid 非常简洁且面向组件。

我如何使用 Pyramid 和 Twisted?

我可以想象制作一个扭曲的协议(protocol)来获取原始 HTML 请求。但是后来我看不到如何将其解析为 Pyramid 请求对象。所有记录在案的 Pyramid 工具似乎都希望在某个时候有一些 wsgi 接口(interface)。

我可以使用 waitress code解析请求并将其转换为 WSGI env,然后将 env 传递给 Pyramid ,但这是一项涉及许多问题的大量工作,我敢肯定我什至无法想象接下来的路。

我知道 twisted 包含一个 WSGI 服务器,但它暗示了应用程序代码的同步性,这不符合我的目的。我希望能够在扭曲的异步协议(protocol)中使用请求和响应对象、渲染器、路由器和其他 Pyramid 工具,以及异步、非阻塞的应用程序代码。因此我不想使用 WSGI。

与您在 Python 甚至其他语言中找到的任何其他异步工具包相比,Twisted API 冗长、繁重且缺乏直观性。因此,对其人体工程学的批评。我可以使用它,但是在我的团队中培训新人来做它的成本很高。我想降低它。

确实,它包含了很多我想使用的功能。

为了详细说明我的需求,我正在构建一个使用 crossbar.io 和 cyclone 的工具,让 WAMP/HTTP 框架对我的团队来说比当前的工具更友好。但是 cyclone 不像 Pyramid 那么完整,我希望 Pyramid 组件足够解耦,以至于 WSGI 范例没有被强制执行,这样我就可以利用他们在它上面所做的大量工作。我只需要一个入口点:在某处获取 HTML,并将其解析为请求对象,在某处获取响应对象,并将 HTML 返回给客户端。我希望我不必为此手动编写协议(protocol),http 很棘手,我敢肯定我会在很多方面弄错。

一个精确度:我不想使用完整的 Pyramid 框架,只是在这里和那里使用一些组件,例如生根、cookie 解析、CSRF 保护等。我不会使用他们的 View 系统,因为它假定同步应用程序接口(interface)。

查看 Pyramid,我可以看到它期望整个请求被解析并变成一个请求对象。它还将响应作为对象返回。因此,将 twisted 和 pyramid 连接在一起的问题的一部分是:

  • 从 twisted 中获取一大块 http 请求文本;
  • 以某种方式将其解析为请求对象(无法找到一个简单的函数来执行此操作,但如果我可以将其转换为 WSGI 环境 + 请求对象, Pyramid 可以将其转换为其格式)。
  • 获取 Pyramid 响应对象并将其转换为字符串生成器(可以找到一个适配器,因为这就是 WSGI 所做的)。
  • 从这个字符串生成器发回带有扭曲的响应。

替代方案可以是使用比 Pyramid 更简单的东西,例如 werkzeug 作为胶水。

请您参考如下方法:

Twisted Web 允许您在收到 HTTP 请求主体(无论内容类型、HTML 或其他)时以增量方式对其进行解释 - 但这样做并不容易。有 a very old ticket我们似乎从未在改善这种情况方面取得太大进展。在解决之前,可能没有比我将要给出的答案更好的答案了。我认为,这种递增的 HTTP 请求正文传递正是您在这里寻找的(因为您说过您希望请求“成为一个大的 HTML block ”)。

增量请求主体处理的 Hook 是 Request.handleContentChunk。您可以在我对 Python server for streaming request body content 的回答中看到其使用的完整演示。 .

这会在数据到达服务器时为您提供数据。如果你想使用 Pyramid,你必须构建一个使用此数据的 Pyramid 请求。 Pyramid 请求对象的大部分初始化应该很简单(例如,用请求 header 填充 environ 字典——您可以从 Request.requestHeaders 中获取这些)。稍微棘手的部分是初始化 Pyramid 请求对象的 body - 它应该是一个类似文件的对象,提供对请求主体的同步访问。

一方面,如果在请求正文被完全接收之前发送请求,则可以避免在内存中缓冲整个请求正文的成本。另一方面,如果您让应用程序代码开始读取请求主体,那么您必须处理它试图读取超出实际到达服务器的数据点的情况。这是可以处理的。 body 类似文件的对象应该呈现一个阻塞界面。您所要做的就是阻塞,直到数据可用。

这是我的意思的简要说明(不完整,并不意味着实际工作):

# XXX Note: Queue is not actually thread-safe.  Use a safer primitive. 
from Queue import Queue 
 
class Body(object): 
    def __init__(self): 
        self._buffer = Queue() 
        self._pending = b"" 
        self._eof = False 
 
    def read(self, how_many): 
        if self._eof: 
            return b"" 
 
        if self._pending == b"": 
            data = self._buffer.get() 
            if data is None: 
                self._eof = True 
                return b"" 
            else: 
                self._pending = data 
 
        if self._pending is None: 
 
        result = self._pending[:how_many] 
        self._pending = self._pending[how_many:] 
        return result 
 
    def _add_data(self, data): 
        self._buffer.put(data) 

您可以创建这种类型的实例,用它初始化 Pyramid 请求对象的 body 属性,然后在 Twisted Request 类的 中调用 _add_data handleContentChunk 回调。

您还可以将其实现为对 Twisted 自己的 WSGI 服务器的增强。为了简单起见,Twisted 的 WSGI 服务器在将请求分派(dispatch)给 WSGI 应用程序之前确实读取了整个请求主体——但它不必这样做。如果这是 WSGI 的唯一问题,那么最好提高 WSGI 实现的质量并保留接口(interface),而不是既实现改进又跳出接口(interface)(将你更紧密地绑定(bind)到 Twisted 和 Pyramid - 不必要的).

问题的后半部分,逐步生成响应主体,应该不是真正的问题。 Twisted 的 WSGI 容器将在 WSGI 应用程序对象生成响应数据时写出响应数据。或者,如果您使用 twisted.web.resource 而不是 WSGI 接口(interface),您可以随时调用 request.write 任意多次(直到你调用 request.finish)。唯一的技巧是,如果你想这样做,你必须从 render 方法返回 NOT_DONE_YET。