全文共字,预计学习时长19分钟
图源:Unsplash前不久,AWSre:Invent,Netflix开源了一个自主开发的构建和管理数据科学项目的框架——Metaflow。在过去的两年里,他们内部数据科学团队迅速地应用它,使得许多项目能够缩短生产时间。
Netflix采用Metaflow什么是Metaflow?
Metaflow是创建和执行数据科学工作流的框架,并配备了内置功能:
·管理计算机资源,
·执行容器化运行,
·管理外部依赖,
·版本、重播和恢复工作流运行
·客户端API检查过去的运行适合笔记本电脑,
·在本地,比如笔记本电脑,和远程云端执行模式之间切换
在内容寻址的数据存储中,Metaflow自动对代码、数据和依赖关系进行快照,这通常由S3支持,但也支持本地文件系统。这样就可以总结工作流,重现过去的结果,并检查关于工作流的任何东西,例如笔记本。——Y