创建LLM实验

平台预置多个公共大模型，您可以基于公共&私有数据集对预置大模型进行精调，在实验中选择不同的训练方式定制您的专属大模型。精调模型注册至个人模型资产后可进行在线服务的部署调用。

前置准备

LLM实验依赖的基础模型、数据集：

• 基础模型：平台预置了多个基础大模型，可在资产市场-模型TAB下查看可用于LLM实验的模型；您也可以选择个人模型进行再次精调，当前支持的个人模型为您在LLM实验中使用基础模型llama-7B-chat且训练方式为全量更新产生的模型。

• 数据集：平台预置了多个数据集，可在资产市场-数据集TAB下查看可用于LLM实验不同训练方式的数据集；您也可以在“我的资产-数据集”中上传私有数据集。

使用说明

• LLM实验的计费模式为按照数据集Token量收费，平台将自动计算训练Token量及预估费用，收费模式及详细计费规则参见：计费规则。

• LLM实验下的运行成功后，请在一个月之内进行模型注册，过期后将无法注册；运行成功且注册完成的模型可在我的资产-模型中查看。

操作步骤

1. 访问 JoyBuild1.0控制台-精调实验-LLM实验，进入LLM实验列表页。或访问 京东云控制台，点击顶部导航栏 人工智能-JoyBuild模型开发平台1.0，随后选择菜单 精调实验-LLM实验 ，即可进入LLM实验列表页。

2. 选择地域后点击 创建。

3. 在“创建实验”弹窗中填写基本信息：
   a. 实验名称，输入自定义实验名称；
   b. 实验类型，选择实验类型，以便区分实验用途。当前支持"Llama实验"、"CodeFuseAI实验"、"WizardLM实验"、"IDEA-CCNL实验"、"LinkSoul实验"、"OpenBuddy实验 "；
   c. 基础模型，支持 “公共模型”、“我的模型”两种途径 ；
   d. 描述信息，输入实验的描述信息。

• 不同实验类型下支持的基础模型：

4. 配置完成后点击 创建实验和运行，即可进入运行的创建页面。如选择“仅创建实验”，即返回实验列表页，点击实验名称可查看实验详情。
   

5. 在创建运行页面完成下述配置：
   a. 运行名称，输入自定义运行名称；
   b. 描述信息，输入运行的描述信息；
   
   c. 训练方式，当前支持“LoRA” 、“全量更新”、”RLHF“三种训练方式；

   • LoRA：固定预训练大模型本身的参数的基础上，在保留自注意力模块中原始权重矩阵的基础上，对权重矩阵进行低秩分解，训练过程中只更新低秩部分的参数；所需计算资源的要求相对较低，训练时间较短，所得到的定制模型，不可用于二次增量训练。

   • 全量更新：在不改变基础大模型网络结构的前提下，对大模型的全部参数进行更新；全量更新的方式对计算资源的要求较高，训练时间较长，所得到的定制模型，可用于二次增量训练。

   • RLHF ：通过强化学习，大语言模型可以得到更加准确、合理和人类可理解的语言生成结果；奖励模型是指在强化学习中，用于给予模型生成的语言序列一个奖励或惩罚的评价准则。它可以帮助模型学习更加准确和符合预期的语言表达。
     d. 训练参数，如选择“全量更新”&“LoRA更新”需配置，训练参数平台已给出建议值，可根据您的需求进行调整；
     
     e. 奖励模型，如选择“RLHF”需配置，可选择已有的奖励模型，也可以训练新的奖励模型，训练奖励模型的数据集需提前在我的资产-数据集 中上传“文本对话-含排序”任务类型数据集，开启模型注册开关将在奖励模型训练成功后保存至“我的资产-模型”中，您也可以在运行详情中查看奖励模型；
     
     f. 数据配置，“LoRA”&“全量更新”平台已预置可用的公共数据集，如使用私有数据集请提前在我的资产-数据集 中上传为“文本对话-非排序”任务类型数据集，数据将按比例拆分为训练集及测试集；“RLHF”的数据集需提前在我的资产-数据集上传为“query问题集“任务类型数据集。
     

6. 完成上述配置后，确认预估费用后可点击 确定创建，即可开始运行创建。正在创建中的运行状态为“启动中”，当运行状态变为“运行中”时，表示模型正在训练中，当运行状态变为“成功”时，您可在运行详情中查看训练报告，如您对训练效果比较满意可进行模型注册保存。