Skip to content

[Feature] Add “Replace / Restore” Actions for Sensitive Words in AI Gateway Content Moderation #13419

Description

@Fit111

1Panel Version

2.2.3 企业版

Please describe your needs or suggestions for improvements

现状

企业版 AI 网关 → 内容合规 → 敏感词分组 中,处理动作目前仅支持:

  • 阻断
  • 仅记录

需求

希望增加 敏感词替换 处理动作,并支持「出网关替换、回网关还原」:

  1. 请求出网关:命中敏感词时,将原文替换为占位符/掩码后再发给上游模型
  2. 响应回网关:将模型回复中的占位符还原为原始敏感词,再返回给客户端

这样既能避免敏感原文直接进入公网大模型,又不影响用户侧阅读体验。

使用场景

企业内部统一通过 AI 网关调用公网大模型时,需要对提示词中的姓名、项目名、客户名等敏感信息进行脱敏转发,同时在返回结果中自动还原,便于业务继续使用。

参考截图

当前处理动作仅有「阻断 / 仅记录」:

Image

其他产品可灵活配置阻断、替换、还原等能力,效果示意:

Image

Please describe the solution you suggest

建议在现有敏感词分组「处理动作」中新增选项,例如:

  1. 替换:请求侧将命中词替换为可配置占位符(如 ***[SENSITIVE_1]),再转发上游
  2. 还原(可与替换联动):响应侧按本次请求的替换映射表,把占位符还原为原文后返回客户端
  3. 与现有「阻断」「仅记录」并存,按敏感词分组独立配置

可选增强:

  • 支持自定义替换文本 / 占位符规则
  • 审计日志记录:原词、替换词、是否已还原
  • 可配置仅替换请求、仅还原响应,或双向都启用

Additional Information

No response

Metadata

Metadata

Type

No type

Projects

No projects

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions