Releases: jd-opensource/JoySafety
Releases · jd-opensource/JoySafety
0.0.1
✨ 特性
- 💬 基于会话: 整体方案上以会话为基础设计,区分检测内容的角色,可以直接适用于无会话场景、单轮交互场景、多轮交互场景。
- 🧩 原子能力开放:支持多种标准化的大模型安全防御原子能力,如敏感词识别、单分类识别、红线知识检索、基于红线知识的代答、多轮对话检测等能力,并且提供了开箱即用的实现。
- 🗂️ DAG策略编排:防御策略以特有的DAG(有向无环图)的表示,支持对原子能力的个性化编排。
- 🔥 热插拔&动态生效:支持原子能力热插拔;支持防御策略、敏感词数据及红线知识的动态更新。
- 🏢 多租户支持:针对多租户的情况,整体解决方案可以单独部署,也可以以
group为单位划分共享同一个部署。 同时,在同一个group内,防御策略以业务场景为维度维护,相互之间无干扰,方便针对不同场景灵活配置。 - 🚦 大模型输出流式检测:在对大模型流式输出检测的场景下,用户同时对用户体验(额外增加的响应时间)和安全有极高的诉求;本方案支持了
free_taxi类别的结果返回方式,对模型的的逐字输出自动排队,并基于指定的窗口大小进行异步检测,同时结合用户侧对模型输出的撤回能力,实现了响应时间和安全的平衡。 - 📈 高可用&高性能:方案中各个模块的部署均支持横向扩展(具体负载均衡方案可以结合自身情况)。
- 🛠️ 多语言调用:提供了Python、Go、Java的使用示例。
- 🐳 灵活部署:整体方案以微服务方式提供,用户可以根据需要灵活部署。