范围办公室墙装摄像枪监控多台台式机准实时检测有人拿手机对着电脑屏幕拍照行为并预警。调研 YOLO 对此类行为检测的能力边界、是否需要自训、LLM/VLM 的正确用法与延迟预算、硬件性能核算、开源替代商业方案Zecurion对比。1. 总体结论技术可行推荐两段式架构YOLO 自训小模型做高频触发每帧跑毫秒级 VLMQwen2.5-VL 级别做低频语义复核与取证只对可疑片段跑秒~分钟级。核心判断开箱即用的 YOLOCOCO 80 类能做一半、做不了另一半。COCO 有cell phone和laptop/tv显示器部分场景可召回两个类可以检出画面里有手机“画面里有屏幕”但手机正对某块屏幕拍摄是两物体之间的空间关系 人的手臂姿态任何预训练检测器都不输出这种结论。这是行为/事件级问题单帧检测器天生不回答在干什么。必须自己微调 YOLO但工作量远小于直觉。业界已有成熟先例FPI-Det 论文2025arXiv 2509.09111在监控视角数据集上实测 YOLOv8-x 检手机 AP50 92.4%人脸反而只有 56.5%手机是易检类多起CCTV 手机使用检测开源项目两阶段YOLO 定位人体 → 分类器判定 无手机/手持手机/举机已验证该流水线在办公室监控下 MAP 92%。自训重点不是检手机简单而是场景适配俯视角度、远小目标、遮挡、桌面杂物的手机壳误报。对着屏幕的判定建议用检测 规则引擎为主、小分类器为辅而不是指望检测器直接学出动作类。把手举手机作为一个特殊检测类别如hand-phone框住手手机整体微调进去再叠加几何规则hand-phone框中心落在显示器框附近上方/正前 持续 ≥N 秒 手臂朝向姿态关键点可选→ 触发候选事件。规则引擎可解释、可调参、误报可控。LLM/VLM 不能也不该逐帧跑——你的直觉正确。VLM 的正确角色是复核器 取证器收到 YOLO规则的触发后把该人 ROI 的连续 4~8 帧裁切图喂给 VLM问一个封闭式问题“此人是否正用手机拍摄面前的显示器只回答 是/否 一句话理由”。7B 级 VLM 单 clip 推理 10~60s见 §5 延迟预算对预警场景完全够用——触发本身是秒级VLM 确认后推送带截图证据的告警。商业验证俄罗斯 Zecurion 的 DLP “Screen Photo Detector” 就是干这件事的商用产品双神经网络、宣称 0.06s 检出、通过摄像头识别任意颜色/型号的手机、与 DLP 联动锁屏。说明该问题有成熟解法但商业方案绑 DLP 生态、贵自研两段式方案能力等价、成本可控。2. 问题拆解到底要检测什么把拿手机拍屏幕拆成可检测的原子信号信号性质谁负责单帧可判画面中有人及归属哪台工位目标检测预训练 YOLO person 类即可✅画面中有手机/手持手机目标检测预训练 COCO cell phone 召回 自训提精度✅但手持与放桌上需自训区分画面中有目标显示器及对应工位目标检测自训monitor类俯视角度 COCO tv 召回差✅手机被举在手中非持握通话/非放桌上行为细粒度自训检测类hand-phone或 ROI 分类器✅近似手机镜头朝向屏幕空间关系关系推理几何规则bbox 相对位置 朝向或 VLM规则近似 / VLM 精判持续拍摄意图排除路过、看手机时序跟踪 持续时间门控≥3~5s经验值需标定❌ 需多帧结论前 4 项是检测器任务微调可达 90% 召回第 5 项用规则覆盖 80% 场景、VLM 兜底第 6 项是时间维度过滤——这三项组合即行为分析没有任何单一模型一步到位业界含商用也是这么拆的。3. YOLO 能力边界与自训必要性详细调研3.1 预训练 YOLO 能做什么 / 不能做什么能COCO 80 类中0: person、67: cell phone、68: laptop、72: tv、74: keyboard、76: mouse。墙装俯拍场景下 person 稳定cell phone 在人近、手机大时召回尚可但墙装摄像枪典型 3~5m 俯拍手机在 1080p 帧里常 50pxCOCO 手机检测的 AP 会显著下降COCO 基准的手机本身是 COCO 80 类里 AP 倒数第几的小目标。不能“手持 vs 放置”COCO 不区分桌上手机、口袋手机全部报cell phone→ 直接误报源头“手机对屏幕”检测器无关系输出显示器识别办公显示器俯视角度、黑屏/亮屏、带支架COCOtv/laptop都不对口动作语义拍照片这个行为词不在任何检测头里。姿态估计YOLO-pose作为补充手段可给人体 17 关键点“手抬到脸前/屏幕前能用肘-腕-肩角度规则近似判断举着东西”但无法判断手里拿的是什么且远处人关键点置信度骤降。定位为可选增强不为主力。YOLO 的行为/动作能力现状Ultralytics 官方任务矩阵只有检测/分割/分类/姿态/OBB/跟踪/深度估计没有动作识别任务那是视频模型领域TimeSformer/VideoMAE/SlowFast 或 VLM 的事。社区做法是把行为转成可检测物体组合 规则如打架检测多人重叠姿态异常或特殊类别检测如手举手机作为一个类。3.2 是否需要自己训练是且必要必须自训理由与工作量自训目标为什么难度monitor工位显示器俯视/远距/黑屏亮屏多变COCO 无对应类这是对着哪块屏的锚点低形态单一hand-phone手举手机整体区分手持/放置/通话是触发条件的核心中需多姿势样本cell phone保留提小目标召回补充兜底手遮挡镜头时只露手机本体中小目标person可不训或轻量微调提远距召回预训练已够用低数据量经验值检测类微调需按实测标定每类500~2000 张、总量 3~6k 张是 2 类~4 类小目标微调的常用下限正负样本均衡很重要大量放桌上的手机手持手机看内容非拍摄负样本直接决定误报率数据从哪来① 用现有摄像枪实拍 2~3 天让不同同事配合摆拍各种姿势举手机拍屏、看手机、接电话、手机放桌上、路过最贴场景② 网络素材手机/办公桌面图像补多样性③ 无真实数据时可用合成人手机贴图冷启动但泛化差不推荐作为主力。标注LabelImg / Roboflow / CVAT 均可3~6k 张 2~4 类约 2~4 人天。训练成本YOLO11n/s 级 4 类 3~6k 图单张 2080 Ti 上 100 epoch 大约数小时级n/s 档x 档一晚上。这是整个项目里最便宜的部分。精度预期参考FPI-Det监控视角2025YOLOv8-x 手机 AP50 92.4%CCTV 手机使用检测开源项目两阶段 MAP 92.6%。我们场景手机更小更俯hand-phone自训 AP50 合理预期 85~93%经验估计需 PoC 标定端到端触发准确率再由规则VLM 两关提升。3.3 备选检测 独立小分类器两阶段法业界另一主流拆法CCTV Phone Usage Detection 等项目采用YOLO 检出 person预训练即可裁人 ROI过小模型MobileNet/EfficientNet 即可10ms分类无手机 / 手持手机看内容 / 举机通话 / 举机对屏幕。优点把行为收敛到 4 类图像分类比让检测器硬学hand-phone空间关系更直接分类器对举机对屏幕这种构图特征学起来快缺点多一次推理、多一条训练流水线人 ROI 在俯拍下可能截不全建议PoC 时两条路都试A检测4类规则Bperson检测ROI四分类用同一套标注数据对比谁准用谁。标注格式一次产出可同时喂两种任务。3.4 许可证风险与开源替代重要沿用 2026-08 许可证核查结论research/tech-research-wiki/references/license-verified-2026-08.md方案许可证商用风险备注Ultralytics YOLO11/v8/v26AGPL-3.0中内部部署不对外分发AGPL 传染性风险低若公司政策禁 AGPL需购商业授权或换 Apache 系PaddleDetection RT-DETR / PicoDetApache-2.0低性能同级、部署略繁琐Paddle 生态YOLOX原 DarkNetApache-2.0低单阶段同级替代Qwen2.5-VLVLM 复核Apache-2.0代码权重低3B/7B/72B 开源可私有化InsightFace如需人脸识别定责到人预训练包仅非商用高如需告警定位到员工需向 insightface.ai 申请商用授权或用其他开源人脸如 insightface 之外的 ArcFace 复现替代建议内部监控预警系统属封闭部署Ultralytics AGPL 风险可接受代码不分发、不对外提供网络服务若法务有顾虑主线切 PaddleDetection RT-DETRApache-2.0架构不变。4. VLM/LLM 的角色设计与调用预算4.1 为什么不能逐帧算力账1080p25fps 一路视频 25 帧/秒。7B 级 VLMQwen2.5-VL-7B单图推理低分辨率 token 上限下约 1~5s/次FP162080Ti 量级 GPU经验值逐帧跑 需要 5~125 倍算力物理上不可行且 VLM 输出 token 慢天然不适合高频感知。即使 VLM 只吃 1fps 抽样25x 浪费且拍照动作往往只持续 3~10s1fps 抽样有漏检窗口。正确分工高频感知YOLO全帧或 5~10fps 采样→ 低频理解VLM仅触发 clip。这与商用 Zecurion 的双网络快网络触发 精网络确认是同一思想。4.2 VLM 复核器设计触发后VLM 收到的是一个结构化的待判问题而不是裸视频流输入: 触发者 person-ROI 的连续 4~8 帧每帧裁到 person周边缩放至 ≤640px 高 附带的检测器上下文可选 prompt 注入检测器报告 该人右手持手机位置在显示器正上方 30cm 处已持续 6 秒 Prompt封闭式强制短输出压低生成 token: 这些连续帧来自办公室监控。判断该人员是否正用手机拍摄其面前的电脑显示器 屏幕注意区分看手机内容、打电话、手机放在桌上都不算。 只输出 JSON{shooting: true/false, confidence: 0-1, reason: 一句话} 输出预算: ≤60 token用Qwen2.5-VL-7B或 3B 更省视频输入走其原生{type:video}多帧接口动态 FPS 采样 MRoPE 时间编码官方支持多帧/长视频帧数 4~8 帧、min_pixels/max_pixels压低官方建议 256~1280 个 token 块区间内取低段控制单 clip 到10~60s见 §5输出结构化 JSON 直接进告警系统reason字段进审计日志满足预警要有依据VLM 的额外价值——取证与报告告警时自动生成时间 哪个工位 哪块屏 截图 4 帧拼图 VLM 一句话理由的证据包这是纯检测规则给不了的也是这个系统对管理侧最有力的输出。置信度门控VLMconfidence 0.6经验值时告警降级为待人工确认不直接升级通报压误报。4.3 与每工位摄像头方案的关系Zecurion 路线是每台电脑配摄像头1m 内近景 双网络近景下手机占比大、判定容易、0.06s 级响应还能联动锁屏。墙装摄像枪是远景单点手机是远小目标天然更难所以我们的架构里规则VLM 更重。若预算允许最稳的混合方案墙装枪做全局行为筛查 重点工位涉密/研发核心屏加装桌面小摄像头做 Zecurion 式高精度确认。本次调研以墙装枪为基准。5. 性能与延迟预算基于本机硬件硬件基线见 memory内网 LLM 硬件定案 2026-10双 2080 Ti 跑 llama.cpp Qwen3.8-27B-MTP-Q4 实测 52 t/sL20 48GB 做 FP8vLLM 主力P4(sm_61) 仅适合小模型/embedding。组件模型输入部署延迟/吞吐经验值需 PoC 实测硬件落点流处理解码抽帧1 路 1080p25CPU/NVDEC25fps 轻松任意快检测YOLO11s自训 4 类640×640全帧或 10fps 采样TensorRT FP16单卡 200~500 fps1 路占用 5%2080 Ti × 1跟踪ByteTrack/BoT-SORTYOLO 内置同上同上5ms/帧/目标同上规则引擎Python 状态机检测跟踪结果CPU1ms任意慢复核Qwen2.5-VL-7B或 3B4~8 帧 ≤640px 短 promptvLLM/SGLang FP162080Ti 上可用 AWQ/GPTQ-INT4 量化单 clip 10~60s输出强制 ≤60 token瓶颈在 ViT 前向L20 优先2080Ti×2 亦可INT4 约 4~5GB 权重sm_75 无 FP8量化后单卡可容告警推送截图拼图 JSON—CPU秒级任意端到端时延行为发生 → YOLO 检出≤1s→ 持续门控 3~5s → VLM 复核 10~60s →告警发出行为开始后约 15~70s。对检测预警场景达标不是实时阻断是准实时取证预警若要求 3s 阻断级只有桌面近景摄像头方案能达见 §4.3墙装枪VLM 做不到需明确需求边界。并发核算检测端单张 2080 Ti 扛8~16 路 1080p检测流无压力10fps 采样下每路 ~50ms GPU 时间VLM 端告警是低频事件正常办公室预期每天个位数到几十次单 clip 占 L20 半分钟一天几百次告警也不会排队并发 3~5 个 clip 排队也只在极端的集体拍屏场景出现可接受结论现有 L20 2080Ti 存量硬件完全够用无需新增卡。6. 系统架构墙装摄像枪(1080p25) │ RTSP ▼ ┌──────────────┐ 10fps 采样帧 │ 流处理/解码 │──────────────┐ └──────────────┘ ▼ ┌────────────────────────────┐ │ YOLO11s 自训 (TensorRT) │ person / monitor / │ 跟踪 (ByteTrack) │ cell phone / hand-phone └──────────────┬─────────────┘ │ 每帧 4 类 bbox track_id ▼ ┌────────────────────────────┐ │ 规则引擎(每 track 状态机) │ │ 1. 同 track 有 person │ │ 2. 有 hand-phone 或 phone │ │ 3. 手机中心 ∈ 某 monitor │ │ 框上方/正前 扩展区 │ │ 4. 持续 ≥ 4s (经验值) │ │ 5. (可选) 姿态: 腕高于肩 │ └──────────────┬─────────────┘ │ 触发: 裁该 track 前后各 ~4s 帧 → clip ▼ ┌────────────────────────────┐ │ Qwen2.5-VL-7B (vLLM) │ │ 封闭式判定 JSON 输出 │ └──────────────┬─────────────┘ ┌────────┴────────┐ conf≥0.6│ │conf0.6 ▼ ▼ ┌─────────────┐ ┌──────────────┐ │ 告警(即时推送)│ │ 待人工确认队列 │ │ 截图拼图证据 │ └──────────────┘ │ 工位时间 │ │ VLM理由 │ └─────────────┘ 全程录像回存(按事件±30s 切片归档)工位映射离线标定一次——把每台显示器在画面中的框 工位编号配进配置自训monitor类检出后按位置匹配告警即可定位到3 号工位。关键参数均经验值PoC 标定检测置信度阈值 0.4手手机类可降到 0.35 提召回靠后续两级压误报触发持续时长 4s3s 多为路过/短暂查看6s 会拖慢告警VLM 采样帧 6 帧、clip 长度触发前 2s~触发后 4sVLM 置信度门控 0.6。7. 风险与缓解风险概率影响缓解远小目标手机漏检3m 俯拍高漏报摄像枪位置尽量压低俯角imgsz 640→1280 对疑似区域做二次放大检测SAHI 式切片只对含 person 帧启用成本可控重点屏加桌面近景枪手机放桌上/看手机被误触发高误报系统信誉杀手负样本重点标注持续时长门控VLM 复核强制区分看内容 vs 拍摄隔着手机壳/不同机型/横竖屏中漏检训练数据覆盖多壳多机型hand-phone类以手手机整体为框降低对手机本体的依赖VLM 慢/不可用低告警延迟VLM 降级策略超时 90s 按检测器高置信(0.85)直接告警、中置信入人工队列隐私合规监控员工行为中法律/管理仅在工作区域工作时间开启、显著告知、数据仅存 7~30 天、VLM 本地化不出内网、告警走 IT 安全流程而非直接通报个人Ultralytics AGPL低法务内部部署不触发分发条款如需规避切 PaddleDetection RT-DETRApache-2.0夜间/低照度中漏检摄像头补光/红外红外下手机检测需补对应数据非工作时间降灵敏度或仅录像8. PoC 验证计划步骤内容通过标准1. 数据采集现有摄像枪实拍 2~3 天 摆拍拍屏 200 次、看手机 200 次、通话 100 次、放桌 200 次、路过 200 次覆盖白天/逆光/不同工位≥3k 有效帧2. 标注训练4 类标注YOLO11s 微调2080Ti100ephand-phoneAP50 ≥ 85%经验预期 85~933. 检测规则联调全帧回放测试集含负例触发召回 ≥ 90%每 8 小时误触发 ≤ 3 次经验值4. VLM 复核对触发 clip 跑 Qwen2.5-VL-7B复核准确率 ≥ 90%区分拍摄/看手机/通话单 clip P95 ≤ 60s5. 端到端连续 3 天真实办公时段挂机漏报 0 起重大真拍屏被抓率 ≥80%误报可解释可申诉告警延迟 P95 ≤ 90s9. 许可证速查组件级组件许可证商用Ultralytics YOLO11AGPL-3.0⚠️ 内部部署可对外分发需商业授权PaddleDetection / RT-DETR替代Apache-2.0✅Qwen2.5-VL-3B/7BApache-2.0✅vLLM / SGLangApache-2.0✅ByteTrackYOLO 内置随 Ultralytics同上可选 InsightFace定责到人预训练包仅非商用⚠️ 需申请10. 下一步需拍板项确认预警语义准实时预警15~90s本方案还是阻断级3s需桌面近景摄像头 联动锁屏架构完全不同摄像枪参数现有枪的分辨率/帧率/视角/到工位距离决定小目标难度5m 建议换 400 万像素枪是否允许员工配合摆拍 2~3 天采集数据决定数据质量上限告警通道推企微/钉钉是否需要联动该工位主机如 DLP 锁屏——若需联动则引入 Zecurion 式客户端组件法务确认Ultralytics AGPL 内部部署口径 员工监控隐私告知流程。
