如果你也经历过这样的深夜客厅传来“哗啦”一声打开手机看监控回放发现猫又从书柜顶端跳下来撞倒了水杯然后若无其事地舔爪子。录像确实拍下来了可问题也随之而来——它为什么突然跳下来是饿了、害怕还是单纯想玩传统摄像头能回答“发生了什么”却很难回答“毛孩子为什么这么做”。所以我动手做了个叫“萌宠慧眼”的小系统用YOLO做目标检测和跟踪用DeepSeek做行为语义分析让摄像头从“录像机”变成“观察员”。它能识别画面里有没有猫狗、宠物在哪个位置、待了多久、活动量如何再把这些量化信息喂给大模型自动生成一句人话“猫在猫抓板附近剧烈活动超过3分钟可能是磨爪需求未满足建议检查猫抓板磨损情况。”这套方案适合三类人一是想低成本给家里搞个“智能宠物管家”的养宠人二是在做边缘端AI应用的开发者三是对大模型和视觉模型怎么配合感兴趣的同学。这篇文章我会把整套系统的设计思路、核心代码、实测踩坑和扩展方向都摊开讲代码可以直接抄但更重要的是理解每一步为什么这样做。1. 从“回放录像”到“实时解读”宠物监控到底缺什么1.1 传统摄像头的三个短板市面上的宠物摄像头本质上是“带云台的网络摄像机”。它解决了远程观看、语音对讲、自动跟拍这几个基础问题但离“懂宠物”还差得很远。第一个短板是被动记录。摄像头只在出事之后提供证据没法在事中判断宠物状态。比如猫连续打喷嚏、狗频繁舔同一块皮肤这些早期异常信号通常被忽略直到发展为皮肤病或呼吸道问题才被发现。第二个短板是信息密度过低。一段24小时的录像里真正有分析价值的可能只有十几分钟。让一个人盯着屏幕看猫有没有异常既不现实也极度无聊。机器可以连续跑但普通摄像头没有“理解”能力。第三个短板是无法跨时间关联。猫今天凌晨3点频繁叫和昨天白天睡太多可能有关和猫砂盆脏了也可能有关。传统摄像头只能给你一段孤立的录像没法把“几点睡、几点醒、活动多少次、在哪个房间待多久”串成一条可分析的时间线。1.2 行为分析要回答的四个问题做一个宠物行为分析系统本质上是让机器回答四个递进的问题谁在画面里——是猫还是狗是家里的大橘还是邻居家的柯基这对应目标检测和个体识别。它在哪——猫窝、猫抓板、食盆、沙发上空间位置往往暗示行为意图。它在干什么——睡觉、舔毛、玩耍、踱步、进食、警戒这是行为分类。这正常吗——对比历史行为基线判断当前状态是否异常比如精神萎靡、过度舔舐某个部位、活动量骤降。前三个问题靠传统视觉算法和深度学习模型可以解决大部分第四个问题最难。因为“正常”是个体相关的每只猫的作息、性格、活动量都不一样规则很难写死。这也是我引入大模型的原因让DeepSeek结合上下文来分析“正常还是异常”比硬编码阈值灵活得多。1.3 为什么是YOLO DeepSeek的组合有人会问现在不是有现成的宠物行为识别模型吗要端到端直接识别“猫在吃饭”不就行了理论上有但落地很难。端到端行为识别模型需要大量标注视频尤其要覆盖你家猫的活动习惯这几乎不可行。而且行为是连续动作单帧静态图像很难判断。更实际的做法是分阶段先用YOLO这类目标检测模型拿到宠物每帧的位置和类别再通过跟踪算法把连续帧串成运动轨迹然后量化出“位移、停留时长、活跃度”等特征最后让DeepSeek基于这些结构化特征做语义判断。YOLO负责“看见”DeepSeek负责“理解”。前者是经典视觉模型毫秒级推理能跑在本地小主机上后者是语言模型擅长把数字和事件描述翻译成人类能看懂的行为解读。两者互补纯视觉方案生成的报告是“坐标置信度”人看不懂纯语言模型又看不到画面。把YOLO的检测结果变成文字特征再喂给DeepSeek就同时拿到了感知能力和推理能力。2. 把“看见”和“理解”拆开YOLO负责测DeepSeek负责判2.1 YOLO目标检测与跟踪选型YOLOYou Only Look Once是实时目标检测领域最经典的一族模型。它的核心思想是用一次前向推理同时预测画面里所有目标的类别和边界框所以速度极快适合视频流实时处理。以我用的YOLOv8为例模型按参数量分为n / s / m / l / x五档。我一开始图省事选了yolov8n最小的nano版在树莓派上能跑10帧左右但小体型宠物漏检严重。后来换到桌面小主机用yolov8s速度降到25帧漏检率明显改善。如果你没有边缘端要求建议直接上yolov8m精度高不少。我这里选YOLO不只是为了检测框更重要的是它自带跟踪接口。ultralytics的model.track()封装了ByteTrack算法给每个目标分配稳定ID这样我才能知道“编号3的猫”从沙发走到食盆而不是每帧都当成新目标。模型选型时要注意COCO预训练模型自带的“cat”和“dog”类别基本够用不需要重新训练。但如果你养的是无毛猫、体型特别小的幼猫或者画面里宠物长期背对镜头预训练模型可能认不出来。这时候需要自己标注几百张照片做微调或者用更大的模型权重。2.2 DeepSeek自然语言行为推理DeepSeek是国产开源大模型系列推理能力强对口粮敏感。这里我用的是DeepSeek的API版本它兼容常见的HTTP接口格式成本很低响应速度也足够做秒级分析。为什么不用规则引擎做行为判断举个例子猫在食盆附近待了10分钟规则引擎只能告诉你“长时间停留在食盆区域”但无法区分这10分钟是在认真吃饭、在发呆、还是在玩漏食器里的猫粮。而给DeepSeek输入“猫在食盆附近停留10分钟期间头部位置在食盆上方频繁起伏移动速度平均0.3米/秒期间没有离开”它能结合常识推断“大概率在进食但进食时间偏长可能有挑食或消化问题”。这是规则系统很难做到的。当然大模型也会一本正经地胡说八道。所以我在设计上刻意不让DeepSeek看到原始图像只让它看到YOLO输出的结构化事件序列。这样做有两个好处一是减少幻觉空间模型只能基于我给的事实推断二是保护隐私不用把家里画面传到云端。2.3 两者协作从边界框到行为语义整体思路是视觉模型产出“客观事实”语言模型产出“主观解读”。YOLO每帧输出类似这样的原始数据frame_1024: classcat, id1, bbox(312, 178, 96, 120), confidence0.89这些数据人看不懂所以我写了个特征提取模块把连续帧组装成语义单元时间 14:03:20 ~ 14:05:05猫#1 在猫抓板区域停留105秒头部位置偏低身体轴心来回移动12次平均速度0.4m/s符合“磨爪”行为特征。DeepSeek拿到的是这种“半成品”再输出分析。这种分工让每个环节都能单独调试YOLO效果不好就调检测参数DeepSeek输出不满意就调提示词不会牵一发动全身。3. 系统架构与数据流一帧一帧攒成“宠物日记”3.1 全局流程我的实际部署结构很简单一台带普通CPU的迷你主机核显够用接一个1080P USB摄像头跑YOLO推理DeepSeek接口走网络调用。整个流程分五步视频流采集用OpenCV按固定帧率取帧比如每秒8帧。太高帧率会浪费算力因为猫的动作变化没那么快。目标检测与跟踪YOLO检测出所有猫狗ByteTrack分配ID。行为特征量化计算每个目标的中心点坐标、位移速度、在预设区域猫窝、食盆、猫抓板的停留时长、活跃度。事件序列生成每隔10~30秒把刚才的量化特征汇总成一段文本按时间顺序追加到缓冲区。DeepSeek分析当缓冲区积累到一定长度或触发异常条件比如非活动时段检测到剧烈运动调用大模型生成分析报告。这五步不是全部在内存里循环的。我加了Redis做缓冲但本地单机场景用Python list就能跑没必要上重型中间件。真正核心的难点在第三步怎么把位置信息转化为“行为语义”。3.2 检测帧率与跟踪策略帧率和检测帧率要分开说。摄像头采集分辨率我用1280x720检测帧率设成8FPS在CPU上YOLOv8s每帧推理耗时约60毫秒加上跟踪和特征提取整体跑下来CPU占用率稳定在70%不会影响同一台机器上的其他服务。这里最容易踩的坑是直接用YOLO跑视频的原始帧率。如果是30FPS的视频你天真地用cap.read()每帧都推理CPU立刻爆掉。正确做法是设置一个“抽帧间隔”比如每4帧取一帧做检测。或者用TimeBasedTrigger每0.125秒取一帧。反正重点不在“每帧都看”而在于“采样频率足够捕捉宠物行为变化”。猫的动作再快0.125秒采样一次也够了。跟踪策略上ByteTrack在处理宠物长时间静止时不丢ID因为卡尔曼滤波器能预测下一帧位置。但宠物突然从画面左侧跑到右侧有可能会丢ID。我后来给跟踪加了IOU阈值如果两帧间边界框交并比低于0.3且目标尺寸相似就强制认为是同一目标。实测下来大部分快速移动场景ID都能保持住。3.3 行为特征序列怎么构造行为特征不要直接丢原始坐标要分层处理。我设计了四个维度的特征位置特征宠物中心点坐标以及它是否落在预定义的兴趣区域ROI内。ROI用多边形标定一次就好比如食盆区、猫窝区、门口区。活动量特征每秒移动的像素距离平滑后得到移动速度再根据速度阈值分成“静止、慢速移动、剧烈活动”三档。姿态特征YOLO给出的边界框长宽比。猫伸懒腰时框会拉长蜷缩睡觉时框更接近正方形。虽然不如关键点检测精确但对于区分“行动中”和“静止中”够用了。区域驻留特征连续N帧位于同一ROI内记录进入时间和离开时间得到区间停留时长。这些特征每5秒聚合一次。聚合后的文本类似[14:03:30-14:03:35] 猫#1 位于猫抓板区域速度0.2m/s框长宽比1.4:1状态活动较弱。这种文本既保留了量化信息又比纯坐标更容易让DeepSeek理解。相当于我给大模型递了一份“宠物行为观察记录表”。3.4 提示词模板给大模型的“观察记录”DeepSeek能不能给出靠谱分析提示词占一半功劳。我最终稳定下来的提示词结构是你是宠物行为分析专家。以下是基于视频检测得到的宠物活动记录请根据记录回答 1. 当前宠物在做什么给出置信度较高的判断。 2. 有没有异常行为重点关注过度舔舐、长时间不变姿势、非活跃时段剧烈活动。 3. 可能的原因和给主人的建议。 注意只基于观察记录推断不要编造记录里没有的信息。回答不超过150字。 观察记录 {events}还加了一个系统指令“如果观察记录不足以判断请说明‘信息不足建议观察更长时间’。”这一句非常重要能大幅减少大模型编造行为的情况。实测中不加这句时DeepSeek会给静止不动的猫脑补出“可能在闭目养神”加了之后它会老老实实说“信息不足”。输出格式我也做了约束。要求返回JSON这样后续代码可以直接解析推送到手机{ activity: sleeping, confidence: 0.85, abnormal: false, advice: 猫咪当前在猫窝休息呼吸平稳无异常。注意保持环境安静。 }4. 最小可运行版本从YOLO到DeepSeek的代码闭环4.1 环境准备与依赖先说明我的运行环境Ubuntu 22.04Python 3.10普通四核CPU8G内存无独显。所有依赖就是这几个pip install ultralytics opencv-python requests numpyultralytics会自带YOLOv8模型权重你直接指定yolov8s.pt就行。如果你是从零开始先跑下面这段测试代码确认摄像头能打开、模型能加载import cv2 from ultralytics import YOLO cap cv2.VideoCapture(0) if not cap.isOpened(): print(摄像头打不开) exit(1) model YOLO(yolov8s.pt) ret, frame cap.read() if ret: results model(frame, verboseFalse) print(results[0].boxes)能看到输出了若干检测框说明环境OK。4.2 YOLO推理与ROI截取正式代码里要做两件事过滤出猫狗类别并维护跟踪ID。我用model.track()替换model()指定只检测COCO中的猫和狗from ultralytics import YOLO model YOLO(yolov8s.pt) CLASS_NAMES model.names # {0: person, ..., 15: cat, 16: dog} PET_CLASSES [15, 16] # cat, dog def detect_pets(frame): # trackerbytetrack.yaml 表示使用ByteTrack results model.track( frame, classesPET_CLASSES, persistTrue, trackerbytetrack.yaml, verboseFalse ) if results[0].boxes is None: return [] boxes results[0].boxes.xyxy.cpu().numpy() # 边界框 ids results[0].boxes.id.cpu().numpy() # 跟踪ID clss results[0].boxes.cls.cpu().numpy() # 类别 names [CLASS_NAMES[int(c)] for c in clss] return list(zip(ids, boxes, names))这里的persistTrue很关键它告诉Ultralytics继续使用上一帧的跟踪器状态而不是每帧重新初始化。漏了这一句跟踪ID会乱跳。ROI截取其实就是判断宠物中心点是否在某个多边形区域里。我用cv2.pointPolygonTest来判断import cv2 # ROI用多边形的顶点列表描述例如食盆区域四个角 food_roi [(300, 400), (420, 400), (420, 520), (300, 520)] def in_roi(center_x, center_y, roi_poly): # 返回正数表示在多边形内0在边上负数在外 return cv2.pointPolygonTest(roi_poly, (center_x, center_y), measureDistFalse) 0这里我给每个ROI起了名字比如“food”、“cat_tree”、“sofa”后续特征文本里直接用ROI名。4.3 行为特征序列生成接下来是核心逻辑维护一个字典每个track_id对应一个“宠物状态对象”。每处理一帧更新中心点、速度、在哪个ROI里。class PetState: def __init__(self, pet_id, name): self.id pet_id self.name name self.prev_center None self.speed 0.0 self.last_update time.time() self.current_roi unknown self.history [] def update(self, center, roi): now time.time() dt now - self.last_update if dt 0 and self.prev_center is not None: pixel_dist np.linalg.norm(np.array(center) - np.array(self.prev_center)) self.speed pixel_dist / dt # 平滑速度防止突变 self.speed 0.7 * self.speed 0.3 * (pixel_dist / dt) self.prev_center center self.current_roi roi self.last_update now每5秒我把所有PetState的当前状态格式化成一条事件写入全局事件列表。格式化函数里把速度分档def speed_to_level(speed): if speed 10: return 静止 if speed 50: return 缓慢移动 return 快速移动最后事件是这样的[14:03:20] 猫#1 位于 猫抓板活动状态快速移动速度62.3px/s这样DeepSeek才有“料”可以做推理。4.4 调用DeepSeek生成分析报告我用requests直接调大模型API没有任何封装。代码核心就是把事件列表拼进提示词发送请求拿到JSON解析。import requests import os import json LLM_API_KEY os.environ.get(LLM_API_KEY, 在这里填入你的API Key) LLM_API_BASE os.environ.get(LLM_API_BASE, https://你的模型服务地址/v1) def analyze_with_llm(events_text): prompt f你是宠物行为分析专家。以下是基于视频检测得到的宠物活动记录请根据记录回答 1. 当前宠物在做什么给出置信度较高的判断。 2. 有没有异常行为重点关注过度舔舐、长时间不变姿势、非活跃时段剧烈活动。 3. 可能的原因和给主人的建议。 注意只基于观察记录推断不要编造记录里没有的信息。回答不超过150字并返回JSON格式。 观察记录 {events_text} resp requests.post( f{LLM_API_BASE}/chat/completions, headers{Authorization: fBearer {LLM_API_KEY}}, json{ model: deepseek-chat, messages: [ {role: system, content: 你是一个谨慎的宠物行为分析师只在证据充分时下结论证据不足时明确说明信息不足。}, {role: user, content: prompt} ], temperature: 0.3, response_format: {type: json_object} }, timeout30 ) resp.raise_for_status() content resp.json()[choices][0][message][content] return json.loads(content)两点注意一是response_format这个参数要看你实际用的API版本是否支持不支持就去掉只靠提示词强制输出JSON二是temperature设低一点行为分析场景不需要创造性稳定性优先。4.5 完整流程调度最后是主循环。我用生产者消费者思路一个线程读视频帧并做检测另一个线程每5秒取出事件列表调用DeepSeek。避免检测线程被API请求阻塞。import threading import queue import time event_queue queue.Queue() def detection_loop(): while True: ret, frame cap.read() if not ret: break pets detect_pets(frame) # 更新每个PetState并通过event_queue传递 time.sleep(0.125) def analysis_loop(): while True: # 攒够5秒后取事件 events [] for _ in range(40): # 8FPS * 5秒 try: events.append(event_queue.get(timeout1)) except queue.Empty: break if events: events_text \n.join(events) report analyze_with_llm(events_text) print(report) time.sleep(1) threading.Thread(targetdetection_loop, daemonTrue).start() threading.Thread(targetanalysis_loop, daemonTrue).start()当然这只是最简版本。实际我还加了事件去重逻辑比如同一只猫连续5秒都在“静止”就不要重复打印报告。这部分属于工程打磨先不展开。5. 实测效果与踩过的坑检测容易理解很难5.1 宠物检测的边界情况理论很丰满实测很骨感。先说说YOLO检测模型在真实家庭环境里的几个坑。黑色宠物漏检率偏高。我家的奶牛猫黑白相间YOLO经常把它当成背景。后来我分析原因黑色毛发在暗光下对比度极低模型特征提取不出来。解决办法是补一个补光灯或者把检测置信度阈值从默认0.25调到0.15。阈值调低会引入误检但宠物场景里误检成“猫”的通常只有玩偶、抱枕危害不大漏检才是大问题。幼猫和多宠重叠。两只猫叠在一起睡时YOLO只会画一个框跟踪ID只剩一个。这没法靠调参解决只能用更细的检测模型或者用分割模型。我后续打算接入SAM做实例分割但CPU跑不动属于低优先级。猫狗之外的“闯入者”。如果你家有猫也有狗COCO类别都能识别。但如果窗外来了只鸟YOLO会检测到bird我的代码里classes过滤后直接忽略。后来我发现鸟类出现时猫会异常兴奋于是把只检测猫狗改成了全类别检测但只把猫狗加入跟踪其他类别作为“环境事件”存下来。DeepSeek结合“窗外有鸟猫在窗边剧烈活动”能给出更完整的解释。5.2 行为语义的误判场景这是我最想分享的坑。DeepSeek只靠文本事件做推理有时候会闹出笑话。第一次实测时猫在水碗边站了很久。我的特征序列显示它在“水盆区域”停留9分钟速度很慢。DeepSeek自信地输出“猫咪可能脱水建议尽快补充水分并观察排尿。”实际上我家猫那段时间在玩水龙头滴下来的水珠头低着但前爪在拨弄。它根本不渴。这个问题的根源在于区域停留时长和“喝”的行为并不能划等号。后来我在特征序列里加入了“头部位置”的描述YOLO边界框的上半部分与中心点相对位移。当猫低头时边界框中心会偏低。但这还不够因为玩水和喝水时头部都在水盆上方。解决思路是“多证据投票”。我增加了两个信息来源时间模式饮水通常比较连续中间无明显移动玩水则伴随前爪频繁抬起。由于没有关键点模型我用速度波动率近似玩水时速度频繁从0突跳到中速。声音传感器后来我加了一个便宜的麦克风阵列模块用能量阈值检测“吧嗒吧嗒”的舔水声。声音加上视觉特征一起送入DeepSeek误判率大幅下降。但这也说明纯视觉方案在细粒度行为识别上确实有天花板。关键点模型比如YOLOv8-pose能给出爪子和头部关键点对“喝水vs玩水”会更有帮助代价是算力需求更高。5.3 成本与延迟的平衡DeepSeek API很便宜但也不能每5秒就调用一次。一次请求几百token一天下来也是几十万token虽不至于破产但没必要。我后来做了两层策略。第一层是本地短时规则连续10秒速度低于阈值且ROI不变认为是静止不调用LLM。第二层对特殊时段做事件触发凌晨1点到5点之间出现剧烈活动或食盆区域超过15分钟无猫靠近说明可能异常这时候才调用LLM生成告警。调用延迟也要考虑。DeepSeek API单次请求在1~3秒之间如果卡在分析线程里后续事件会堆积。我用队列削峰一旦积压超过一定量就丢弃最老的次要事件只保留最新20条。毕竟宠物行为分析不需要100%完整性实时性更重要。6. 多宠家庭、夜视场景和更多扩展方向6.1 多宠物个体识别从“有猫”到“是哪只猫”目前的方案只能告诉你“画面里有猫”但不能区分哪只是一号猫、哪只是二号猫。在多宠家庭这远远不够。最可行的个体识别方案是训练一个分类头用每只宠物脖子上的项圈颜色、花纹特征做嵌入向量。具体做法是用YOLO裁出宠物区域经过一个轻量特征提取网络得到128维特征向量再与已知个体特征库做余弦相似度匹配。我试过最简替代方案不训练模型直接利用YOLO边界框的颜色直方图。先把家里每只猫的毛色主色调存下来检测到未知框时计算HSV直方图相似度。这个方案对毛色差异大的猫有效比如黑白奶牛猫和橘猫区分得很准但对两只都是橘猫的情况就无能为力了。要严谨还是得训练一个ReID小模型稍后我也会做。6.2 夜视场景与隐私保护宠物大多夜间活跃暗光下的检测会把家里变成“幽灵模式”。我的方案是给摄像头加红外补光但YOLO输入的是RGB三通道图像红外画面在CV里实际上是灰度图。如果直接输入模型可能完全失效。简单粗暴的办法把红外帧从单通道复制成三通道再喂给YOLO同时给DeepSeek的提示词里注明“画面为红外灰度”。实测YOLO对这样“伪RGB”的检测效果会下降但不至于完全崩。更稳的是用OpenCV做轻度自适应直方图均衡化提升暗部对比度后再推理。隐私这块我坚持让DeepSeek只看文本特征不看原始画面。所有原始视频帧只在本地处理不落盘、不上云。如果你需要远程查看建议推流时叠加马赛克或者干脆在特征文本里隐去具体坐标只留ROI名。从合规角度讲家庭视频属于敏感个人信息本地化处理是最稳妥的。6.3 从“分析”到“行动”智能设备联动行为分析最迷人的地方不只是生成报告而是能和设备联动形成闭环。举个例子DeepSeek判断猫咪在猫抓板上频繁磨爪可能有压力系统会自动把客厅的智能音箱音量调低并开启猫抓板上方的逗猫棒旋转模式。我做了一个简单的联动规则引擎分析报告里如果abnormaltrue就向本地MQTT broker发一条消息。智能插座和智能摄像头订阅对应topic。比如检测到“非活跃时段剧烈活动”系统会点亮走廊夜灯检测到“可能呕吐前兆”会自动打开摄像头录制并推送手机。真要做到这种程度最关键的不是AI模型而是把判断结果标准化。建议在DeepSeek的输出JSON里固定几个字段behavior_type、abnormal、urgency、suggestion_action。后续规则引擎直接根据这几个字段做映射。如果输出是自由文本后面写联动逻辑会非常痛苦。最后再分享一个我实测后学到的经验这套系统不要一开始就追求“全知全能”。我先只做了“检测定时报告”跑了一周确认数据没崩再逐步加DeepSeek分析、加异常告警。很多功能听起来很顺手实际接进来却是一堆边缘情况。先跑通最小闭环把基础数据管道打扎实后面加功能才不会返工。养宠物是个长生意做宠物AI系统也一样踏实迭代比炫技重要得多。
