机器之心发布
机器之心编辑部
本文详细介绍了如何使用百度PaddleServing来实现高效的服务化部署。
常见的深度学习模型开发流程需要经过问题定义、数据准备、特征提取、建模、训练几个过程,以及最后一个环节——将训练出来的模型部署应用到实际业务中。如下图所示,当前用户在训练出一个可用的模型后,可以选择如下四种部署方式:
服务器端高性能部署:将模型部署在服务器上,利用服务器的高性能帮助用户处理推理业务;
服务化部署:将模型以线上服务的形式部署在服务器或者云端,用户通过客户端或浏览器发送需要推理的输入内容,服务器或者云通过响应报文将推理结果返回给用户;
移动端部署:将模型部署在移动端上,例如手机或者物联网的嵌入式端;
Web端部署:将模型部署在网页上,用户通过网页完成推理业务。
今天我们就来讲讲如何使用飞桨的服务化部署框架PaddleServing来实现第二种部署方式。
这时可能会有读者说了:部署?算了吧,我直接用python也能做推理,而且部署太复杂了,都是企业才能干的事情,与我无关。
这位客官慢走!今天咱们说的PaddleServing用起来可是非常简单,而且部署成功后,那可是在线服务,可谓「独乐乐不如众乐乐!」,不仅自己可以使用它做推理,而且还可以让其他人使用手机、电脑等设备通过客户端或浏览器一起使用推理服务,瞬间让你人气值爆棚!下面我们就先介绍一种最基础的用法,0代码完成在线服务部署!
0代码完成在线服务部署
使用PaddleServing部署在线推理服务的过程非常简单,主要分为3个步骤,获取可用于部署在线服务的模型、启动服务端和使用客户端访问服务端进行推理,也就是说最多3步就可以完成部署,是不是和把大象关到冰箱里一样简单?
具体怎么操作,咱们以常用的波士顿房价预测模型为例来快速体验一下如何将这个模型部署到服务器上。为了方便用户使用,飞桨已经把波士顿房价预测等比较常用的模型文件保存在GitHub或Gitee上,欢迎大家下载体验。
PaddleServing部署用例的下载