管理在线服务

查看服务基本信息

可在控制台查看在线服务的配置信息机调用方式。

操作步骤

1. 访问 JoyBuild1.0控制台-模型部署-在线服务，进入在线服务列表页。或访问 京东云控制台，点击顶部导航栏 人工智能-JoyBuild模型开发平台1.0，随后选择菜单 模型部署-在线服务 ，即可进在线服务列表页。

2. 选择需要查看的在线服务，点击名称进入详情页，选择“服务信息”TAB。
   a. 可在“调用信息” 中查看接口文档（公共模型&通过LLM实验注册的私有模型部署的接口文档）、服务公网调用地址以及服务访问Token，该Token需在请求服务时作为Header传入，格式例如headers = {"Authorization": '134a85014594a****'}。
   b. 可在“服务集群” 中查看集群详细信息及集群内实例信息及运行情况。
   

查看服务系统日志

可在控制台查看在线服务的容器实例系统日志。

操作步骤

1. 访问 JoyBuild1.0控制台-模型部署-在线服务，进入在线服务列表页。或访问 京东云控制台，点击顶部导航栏 人工智能-JoyBuild模型开发平台1.0，随后选择菜单 模型部署-在线服务 ，即可进在线服务列表页。

2. 选择需要查看的在线服务，点击名称进入详情页，选择“系统日志”TAB。可选择查询全部实例或指定容器实例，支持指定关键字和查询时间区间查询系统日志，控制台查询日志数量上限为1000条。
   

查看服务监控

可在控制台查看在线服务的容器实例相关监控数据，目前提供CPU使用率、内存使用率、GPU使用率、GPU内存使用率、网络进出速率和磁盘读写速率几种监控指标。

操作步骤

1. 访问 JoyBuild1.0控制台-模型部署-在线服务，进入在线服务列表页。或访问 京东云控制台，点击顶部导航栏 人工智能-JoyBuild模型开发平台1.0，随后选择菜单 模型部署-在线服务 ，即可进在线服务列表页。

2. 选择需要查看的在线服务，点击名称进入详情页，选择“服务监控”TAB。可选择查询服务整体监控情况和集群内各实例监控情况，如集群中有多个容器实例，实例维度查询下会在同一个指标图表中同时展示多个实例的监控数据。
   

查看部署事件

可在控制台查看在线服务的部署日志，获知服务创建、更新或其他状态变更的事件记录。

操作步骤

1. 访问 JoyBuild1.0控制台-模型部署-在线服务，进入在线服务列表页。或访问 京东云控制台，点击顶部导航栏 人工智能-JoyBuild模型开发平台1.0，随后选择菜单 模型部署-在线服务 ，即可进在线服务列表页。

2. 选择需要查看的在线服务，点击名称进入详情页，选择“部署日志”TAB。可查询服务的具体部署事件，事件分为“Normal”和“Warning”两类，“Warning”为异常部署事件，如部署时尝试挂载您配置的模型、数据集等资源失败，镜像未启动成功等。
   

在线调试

平台提供在线调试功能，可在部署完成后测试服务是否运行正常。

操作步骤

1. 访问 JoyBuild1.0控制台-模型部署-在线服务，进入在线服务列表页。或访问 京东云控制台，点击顶部导航栏 人工智能-JoyBuild模型开发平台1.0，随后选择菜单 模型部署-在线服务 ，即可进在线服务列表页。

2. 选择需要查看的在线服务，点击名称进入详情页，选择“在线调试”TAB。
   a. 服务公网访问地址和Token已自动填入，其中Token配置于“Headers”部分；
   b. 根据您部署服务的访问方式，选择请求方法、请求路径以及请求参数；
   c. 完成参数配置后，点击“发送请求”，即可在右侧实时查看服务响应情况。