【免费下载链接】Hy3-singprobe项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/Hy3-singprobe点击查看免费下载Hy3-singprobe 是一款基于tencent/Hy3大模型的轻量级流式安全护栏探针streaming guardrail。它无需额外运行一个独立的安全模型而是直接复用基础模型生成时的隐藏状态在每一个 token 生成时同时输出三项分数用户意图query intent、回复不安全度unsafety和幻觉风险hallucination risk解码开销不到 0.5%。本文带你 5 分钟用 SGLang 把它跑通。 Hy3-singprobe 是什么给大模型装上实时体检仪传统做法是在主模型之外再挂一个安全审查模型既贵又慢。Hy3-singprobe 的思路完全不同它是一个只有8.13M 参数的小型注意力探针直接接入基础模型指定层的隐藏状态tap 层为[25, 51, 78]像传感器一样随生成实时打分。项目说明基础模型tencent/Hy3探针参数量8.13M非常轻量接入层第 25、51、78 层的 hidden states输出8 类意图 不安全度 幻觉风险逐 token 返回解码开销 0.5%得益于内生intrinsic设计它天然支持流式场景——不用等整段回复生成完边生成边检测适合对话、客服、内容审核等需要低延迟风控的落地场景。 效果如何关键指标一览README 中给出的评测结果均为多套基准的平均值分数越高越好任务指标Hy3-singprobe参考基线意图分类6 套基准F10.8721YuFeng-XGuard-Reason-8B0.8714回复安全分类8 套基准F10.8645Qwen3Guard-Gen-8B-strict0.8604流式安全3 套基准R-AUC / T-AUC0.9899 / 0.9498Qwen3Guard-Stream-8B-strict0.9640 / 0.8893幻觉检测6 套基准AUC0.8067DRIFT0.8000值得注意的是部署特性良性回复的平均误报率仅0.02%跨 5 个数据集意味着日常正常对话几乎不会被误杀。详见 README.md。 5分钟快速上手用 SGLang 跑通检测探针第一步准备环境安装 SGLang可使用社区集成分支以支持--probe-ckpt探针参数确认 GPU 显存可加载tencent/Hy3基础模型。第二步一条命令启动探针服务在 SGLang 启动时通过--probe-ckpt加载探针用仓库 ID 直接指定即可无需手动下载权重文件python -m sglang.launch_server \ --model-path tencent/Hy3 \ --probe-ckpt inclusionAI/Hy3-singprobe \ --port 30000第三步验证输出服务启动后正常发起推理请求每个生成的 token 都会附带一个分数字典label_0~label_9。你可以按 token 观察8 类意图分数label_0~label_7判断用户查询属于哪类意图不安全度分数label_8实时评估当前生成内容的风险幻觉风险分数label_9提示当前 token 出现编造内容的概率。当某一项分数越过你设定的阈值时即可触发拦截、改写或告警——这就是流式护栏的典型用法。⚠️重要提示必须使用严格配对的基础模型与探针组合即tencent/Hy3 本仓库检查点不可混用其他底座模型。此外项目同样提供了 vLLM 集成分支习惯 vLLM 的同学可按相同思路接入。️ 仓库文件导览配置与模型实现仓库结构非常精简核心文件如下供想深入原理的同学参考config.json模型配置可看到model_type为sing_probe_attn、隐藏维度 4096、10 个输出标签num_labels: 10以及 tap 层[25, 51, 78]configuration_sing_probe.py探针配置类SingProbeAttnConfig定义注意力头数、滑动窗口等超参modeling_sing_probe.py探针模型本体SingProbeAttnModel核心是一段带滑动窗口注意力sliding_window: 2048的轻量注意力层 分类器model.safetensors8.13M 参数的探针权重文件。❓ 常见问题FAQQ1为什么我的意图分类分数不对请检查是否使用了正确的模型对tencent/Hy3inclusionAI/Hy3-singprobe。探针是在该底座上训练的更换底座会导致分数失真。Q2探针会增加多少推理延迟官方数据为解码开销 0.5%对线上服务基本无感。Q3可以只看安全分数忽略意图和幻觉吗可以。每个 token 返回的是完整的 10 维分数字典业务侧自行选择使用哪些维度即可。Q4训练代码在哪里README 中说明训练代码开源在 inclusionAI/SingProbe 仓库论文为 SingProbe Technical Report感兴趣的读者可自行查阅。一句话总结Hy3-singprobe 用不足 900 万参数把意图识别 安全审查 幻觉检测三件事压缩进了主模型的生成流程里是当下性价比很高的流式安全护栏方案。配合 SGLang 一条命令即可上线值得在你的 LLM 服务中试一试 ✅赞分享【免费下载链接】Hy3-singprobe项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/Hy3-singprobe点击查看免费下载相关推荐Qwen3.5-4B-singprobe快速上手5分钟用SGLang和vLLM接上实时安全护栏Qwen3.5 4B singprobe快速上手5分钟用SGLang和vLLM接上实时安全护栏 Qwen3.5 4B singprobe 是一个内置式 实时安认识Qwen3.5-27B-singprobe仅需10.1M参数的LLM安全探针如何同时搞定意图分类、安全审查与幻觉检测认识Qwen3.5 27B singprobe仅需10.1M参数的LLM安全探针如何同时搞定意图分类、安全审查与幻觉检测 Qwen3.5 27B singQwen3-8B-singprobe如何在每个Token上打分意图、安全与幻觉检测三重机制详解Qwen3 8B singprobe如何在每个Token上打分意图、安全与幻觉检测三重机制详解 Qwen3 8B singprobe 是一款基于 Qwen/Q上一篇ArchiveBox 10分钟上手教程从安装到首次网页归档全流程下一篇REFramework 使用指南:一个 dinput8.dll 给 RE 引擎游戏装上 Mod、脚本与 VR创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
