Skip to main content
 首页 » 编程设计

python之从数据流运行 tensorflow 模型训练

2025年04月02日31tuyile006

我在玩 tensorflow,今天我注意到谷歌也为他们的数据流开源了 Python SDK。 目前,当我需要并行训练和评估多个网络时,我通常使用 luigi 一个接一个地运行模型训练,或者我使用 spark 并在其中执行每个模型训练 map 步骤。 整个数据处理只是管道的一部分。

我想知道是否有或是否计划在数据流管道内执行 tensorflow 模型训练步骤?

目前是否有一些关于此的最佳实践?

或者我是否必须在 map 步骤中运行每个模型设置?

我查看了文档,目前看来它真的很模糊,所以我想问问是否有人对此有一些经验。

请您参考如下方法:

目前没有任何计划。

如果您可以在单台机器上运行 Tensorflow 训练(听起来这就是您使用 Spark 所做的),那么应该可以在数据流管道的 DoFn 中进行训练.