安全合规

安全合规能够使智能体输出的内容在内容安全性方面得到强化，防止出现如暴力、色情、虚假等不良信息，保障交互内容的健康性。

创建及查看审查规则

1. 访问 言犀控制台-安全合规，进入安全合规列表页。或访问 京东云控制台，点击顶部导航栏 人工智能-言犀智能体，随后选择菜单 安全合规 ，即可进入安全合规列表页。

2. 点击创建审查规则，在弹窗中填写以下信息配置：

   a. 名称：自定义审查规则的名称；
   b. 类别：使用关键词审查或添加私有审查API；

类别	说明
关键词	关键词：设置触发审查的关键词，用Enter键换行； 审查输入内容：对用户的输入内容进行审查，如命中关键词，则使用预设内容回复； 审查输出内容：对智能体的输出内容进行审查，如命中关键词，则使用预设内容回复；
API扩展	API Endpoint：输入您的API地址； API-Key：输入您的API-Key ； 审查输入内容：通过API进行返回； 审查输出内容：通过API进行返回；

3. 点击“确定”，即可完成审查规则的创建。

4. 创建完成点击名称可进行详情查看。

使用审查规则

可以将审查规则添加到智能体内，确保智能体的安全输出。

1. 登录言犀智能体平台

2. 访问 言犀控制台-智能体，进入智能体列表页。或访问 京东云控制台，点击顶部导航栏 人工智能-言犀智能体平台，随后选择菜单 智能体 ，即可进入智能体列表页。

3. 在智能体页面，选择指定智能体并进入智能体编排页面。

4. 在智能体编排页面的安全合规区域，点击加号图标添加审查规则。
   

API扩展接口规范

API规范

POST {Your-API-Endpoint}

Header

Header	Value	Desc
Content-Type	application/json	请求内容为 JSON 格式
Authorization	Bearer {api_key}	API Key 以 Token 令牌的方式传输，需要解析该 api_key 并确认是否和提供的 API Key 一致，保证接口安全

Request Body

{    
    "point":  string, // 扩展点，不同模块可能包含多个扩展点    
    "params": {        
        ...  // 各模块扩展点传入参数 
    }
}

Response

{    
    ...  // API 返回的内容，不同扩展点返回见不同模块的规范设计
}

配置校验

在配置 API-based Extension 时，将会发送一个请求至 API Endpoint，以检验 API 的可用性。
当 API Endpoint 接收到 point=ping 时，接口应返回 result=pong，具体如下：

Header

Header	Value	Desc
Content-Type	application/json	请求内容为 JSON 格式
Authorization	Authorization	API Key 以 Token 令牌的方式传输

Request Body

{"point": "ping"}

Response

{"result": "pong"}

敏感内容审查

该模块用于审查应用中用户输入的内容和 LLM 输出的内容，分为两个扩展点类型。

扩展点

app.moderation.input 终端用户输入的内容审查扩展点:

• 用于审查终端用户传入的变量内容以及对话型应用中对话的输入内容；

app.moderation.outputLLM 输出的内容审查扩展点:

• 用于审查 LLM 输出的内容；

• 当 LLM 输出为流式时，将输出的内容进行请求 API，做内容审查；

app.moderation.input 扩展点

Header

Header	Value	Desc
Content-Type	application/json	请求内容为 JSON 格式
Authorization	Bearer {api_key}	API Key 以 Token 令牌的方式传输

Request Body

{
    "point": "app.moderation.input", // 扩展点类型，此处固定为 app.moderation.input
    "params": {
        "app_id": string,  // 应用 ID
        "inputs": {  // 终端用户传入变量值，key 为变量名，value 为变量值
            "var_1": "value_1",
            "var_2": "value_2",
            ...
        },
        "query": string | null  // 终端用户当前对话输入内容，对话型应用固定参数。
    }
}

Example

{
    "point": "app.moderation.input",
    "params": {
        "app_id": "61248ab4-1125-45be-ae32-0ce91334d021",
        "inputs": {
            "var_1": "I will kill you.",
            "var_2": "I will fuck you."
        },
        "query": "Happy everydays."
    }
}

Response

{
    "flagged": bool,  // 是否违反校验规则
    "action": string, // 动作，direct_output 直接输出预设回答; overridden 覆写传入变量值
    "preset_response": string,  // 预设回答（仅当 action=direct_output 返回）
    "inputs": {  // 终端用户传入变量值，key 为变量名，value 为变量值（仅当 action=overridden 返回）
        "var_1": "value_1",
        "var_2": "value_2",
        ...
    },
    "query": string | null  // 覆写的终端用户当前对话输入内容，对话型应用固定参数。（仅当 action=overridden 返回）
}

Example

{
    "flagged": true,
    "action": "direct_output",
    "preset_response": "Your content violates our usage policy."
}

{
    "flagged": true,
    "action": "overridden",
    "inputs": {
        "var_1": "I will *** you.",
        "var_2": "I will *** you."
    },
    "query": "Happy everydays."
}

app.moderation.output 扩展点

Header

Header	Value	Desc
Content-Type	application/json	请求内容为 JSON 格式
Authorization	Bearer {api_key}	API Key 以 Token 令牌的方式传输

Request Body

{
    "point": "app.moderation.output", // 扩展点类型，此处固定为 app.moderation.output
    "params": {
        "app_id": string,  // 应用 ID
        "text": string  // LLM 回答内容。
    }
}

Example

{
    "point": "app.moderation.output",
    "params": {
        "app_id": "61248ab4-1125-45be-ae32-0ce91334d021",
        "text": "I will kill you."
    }
}

Response

{
    "flagged": bool,  // 是否违反校验规则
    "action": string, // 动作，direct_output 直接输出预设回答; overridden 覆写传入变量值
    "preset_response": string,  // 预设回答（仅当 action=direct_output 返回）
    "text": string  // 覆写的 LLM 回答内容。（仅当 action=overridden 返回）
}

Example

{
    "flagged": true,
    "action": "direct_output",
    "preset_response": "Your content violates our usage policy."
}

{
    "flagged": true,
    "action": "overridden",
    "text": "I will *** you."
}