Luigi是一个Python软件包,帮助你建立复杂的批处理作业管道,它可以处理依赖性解决、工作流管理、可视化、处理失败、命令行集成等等,Luigi的目的是解决通常与长期运行的批处理过程相关的所有管道问题。
建立复杂的批处理作业管道
很容易建立起由成千上万个任务组成的长期运行的流水线。
Luigi帮助你把许多任务连接起来
Luigi负责大量的工作流程管理
你的数据管道不会在包含部分数据的状态下崩溃
使用Luigi的可视化器,你可以对工作流的依赖关系图有一个很好的可视化概述。
……
Luigi-批处理作业管道-Luigi下载 v3.0.3官方版本 >>本地高速下载
>>本地下载