亚马逊和脸书发布 TorchServe 解决Pytorch 模型的部署问题

2020-05-28 00:00:00 专区 模型 学习 部署 机器

4 月 21 日官方发布,PyTorch 用户可以使用 TorchServe(PyTorch 生态新的模型服务框架)来大规模部署经过训练的模型,而无需编写自定义代码。

PyTorch 是初由 Facebook 创建的开源机器学习框架,由于其易用性在机器学习研究人员和数据科学家中广受欢迎。


但是,在生产中部署和管理模型通常是机器学习过程中困难的部分,需要客户编写预测 API 并对它们进行扩展,而谷歌的 Tensorflow 工业化程度更高。TorchServe 的发布开始打破 Pytorch 的被动局面。

img

通过 TorchServe,可以轻松地在生产环境中大规模部署 PyTorch 模型。它以低延迟提供轻量级服务,因此您可以部署模型以进行高性能推理。它为常见的应用程序提供了默认处理程序,例如目标检测和文本分类,因此您不必编写自定义代码即可部署模型。借助强大的 TorchServe 功能,包括多模型服务,用于 A / B 测试的模型版本控制,用于监视的指标以及用于应用程序集成的 RESTful 端点,您可以将模型从研究阶段快速投入生产。TorchServe 支持任何机器学习环境,包括 Amazon SageMaker,Kubernetes,Amazon EKS 和 Amazon EC2。

TorchServe 由 AWS 与 Facebook 合作构建和维护,是 PyTorch 开源项目的一部分。相关的代码已经开放可到 GitHub 进行下载。


让我知道你在看



相关文章