你有没有过这种经历站在冰箱前门开了一半却想不起来里面还剩什么菜。我做了这套基于深度学习的冰箱内食物检测系统用YOLOv10训练了一个能识别十几类常见食材的模型再配上一套UI界面拍照就能识别冰箱里的食物。这个项目从头到尾都是我业余时间做的从数据集标注、模型训练到界面搭建踩了不少坑也积累了一些经验。这篇博文就把整个流程和关键细节完整写出来想自己动手做类似项目的朋友可以直接参考。这套系统的定位是不依赖专门的硬件普通摄像头或手机拍一张冰箱内部的照片模型就能框出食物类别和置信度。应用场景很明确——食材盘点、库存记录、过期提醒的前置识别。它解决的痛点是冰箱里食物种类多、摆放乱、经常被遗忘到最后变质扔掉。适合的人群包括想入门YOLO目标检测的学生、做智能家居相关产品的开发者以及纯粹对视觉识别感兴趣的爱好者。1. 冰箱场景的检测需求从食材管理痛点到项目立项1.1 长期被忽略的“冰箱黑箱”问题冰箱内部是一个典型的半结构化环境跟平时做的通用物体检测任务有很大差异。首先是光线条件差只有开门瞬间的照明和灯带补光亮度不均匀阴影重。其次是食物摆放方式极其随机层架、抽屉、保鲜盒、塑料袋层层叠叠遮挡非常严重。第三是食物外观差异大同样是西红柿红透的、半青的、表面沾了水珠的模型看到的就是不同的特征。这些因素让“冰箱内食物检测”不能简单套用网上现成的通用检测模型必须针对场景做专门优化。我从一开始就没打算做那种理想化的“拍一张干净整齐的食材图”识别而是直接对着真实使用状态的冰箱做。这样做的代价是前期数据收集非常痛苦后面在实际场景测试时收获也会更大。1.2 技术选型前的需求拆解正常情况下做项目第一步要拆需求这个项目也不例外。我整理出三个核心需求点检测类别至少覆盖十来类常见食材比如苹果、香蕉、橙子、西红柿、黄瓜、鸡蛋、牛奶盒、酸奶杯、胡萝卜、土豆等实时性如果是摄像头实时识别单帧推理时间最好控制在几十毫秒量级普通房间的CPU或入门级GPU都能跑动易用性不能只停留在命令行输出框坐标必须有可视化界面让非技术用户也能操作基于这三点模型选型范围就很小了。同类的目标检测方案还有传统图像处理、Faster R-CNN、YOLO系列等比对下来YOLO系列在精度和速度的平衡上最适合这种场景。具体选哪个版本我在下一节详细说明。2. YOLOv10的核心机制无NMS的检测头究竟改了什么2.1 为什么是YOLOv10而不是v5/v8YOLO系列迭代了很多版本每个版本都有各自的拥趸。我在对比测试过v5、v8之后选了YOLOv10主要原因是它在“端到端推理”上做了实质性的改动去掉了NMS非极大值抑制过程。传统目标检测模型在推理时会对同一个目标生成大量候选框然后用NMS算法挑选置信度最高的那个框同时抑制掉重叠的框。这个过程本身不难但它引入了额外的推理时间而且在密集场景下可能出现误抑制——两个挨得很近的目标被合并成了一个框。冰箱内部的瓶瓶罐罐、层架上并列排放的食材恰恰就是这种密集场景。YOLOv10的架构设计上其中一个关键改动是双标签分配策略结合了one-to-many和one-to-one两种匹配方式。训练时用one-to-many给每个目标分配多个正样本保证模型学习到足够的上下文特征推理时用one-to-one匹配让每个目标只有一个预测框不需要NMS后处理。结果是推理链路更短速度更快而且不存在NMS阈值调参的问题。我用一张表来说明它在冰箱场景里的实际意义对比项传统YOLO v5需NMSYOLOv10无NMS推理链路特征提取 → 预测头 → NMS后处理特征提取 → 预测头 → 直接输出密集目标表现两个相邻目标可能被NMS合并天然保留独立目标框推理延迟NMS增加约几毫秒无额外后处理调参复杂度需要调NMS阈值无需关心该参数2.2 双标签分配与NMS-free推理在冰箱场景的实际收益说个实际测试时的例子。冰箱里的鸡蛋托盘往往装着七八颗鸡蛋紧密排列。用v5跑一次NMS常常把相邻的两颗鸡蛋抑制成一个框导致计数偏低换成YOLOv10之后输出的框基本都能独立对应到每颗鸡蛋上识别数量准确很多。冰箱场景里另一个容易出问题的是透明保鲜盒里的食物模型能检测到内容物但NMS在多个重叠框之间选择时可能会丢失细节。YOLOv10的one-to-one匹配天然避免了这类问题因为它推理时根本不做重叠框的抑制逻辑每个位置在训练时就被约束为输出唯一的预测。需要说明的是无NMS不代表模型不会误检它只是简化了后处理流程。误检的问题主要靠数据质量和训练策略解决这部分后面详细讲。2.3 不同尺寸模型的选择YOLOv10官方发布时提供了n、s、m、l、x几个尺寸的模型参数规模和计算量递增。做冰箱检测这种任务我一开始试过最小的n模型速度快但小目标和重叠目标的识别精度下降明显。后来换了s模型在API服务器CPU上跑单帧约几十毫秒精度比n提升不少这是性价比最高的选择。如果你有独立显卡m模型也可以考虑精度更高速度依然很快。我最终的推理服务部署在带入门级GPU的机器上单帧推理时间稳定在几十毫秒内完全满足实时识别需求。尺寸选择建议没有GPU就跑s有GPU直接上m追求极限精度再考虑l和x。3. 数据集制作全流程冰箱内的光线、遮挡与形态差异3.1 数据采集冰箱内拍摄的特殊性通用目标检测数据集比如COCO里的食物图片大多是摆盘精美的美食摄影跟真实冰箱里的状态差别非常大。冰箱内的食材有几个特点是一般数据集不具备的生鲜表面有冷凝水珠反光蔬菜叶子在低温下会略微蔫掉层架背后的食材处于阴影里水平视角拍摄时层架之间的食材互相遮挡。所以我决定自己采集数据并用公开的食材数据作为补充。采集时使用手机在多个角度、多种光照条件下拍摄冰箱内部照片每次开关冰箱门时顺便拍十几张积攒了上千张真实场景图。这个过程大约持续了近两周。公开数据方面选用了若干开放食材类别数据集将它们转换成统一的类别体系后补充进训练集。抢占注意不要全部依赖公开数据因为数据集的质量和标注风格不一致混合使用时要做好清洗否则模型容易在类别边界上混淆。3.2 标注规范与YOLO格式转换手动标注确实是最耗时的一个环节。我用的标注工具支持YOLO格式直接导出每个标注目标生成一条记录包含类别编号和归一化后的中心点坐标、宽高。小目标标注的原则是严格贴近物体轮廓冰箱内的食物很多是不规则形状松散的框会导致后续训练时特征拟合不精准。举例来说一根黄瓜如果标注框只包含中间一段模型学到的特征就不完整推理时对两端特征的响应会很弱。类别设计上我控制在十几类避免类别间相近导致混淆。像“青椒”和“黄瓜”在颜色和形状上都有重合区如果混在一起训练会让模型学得很困惑。我后期增加了单独的青椒负样本并调整了类别权重情况才改善。类别清单大致如下类别编号类别名称备注0apple苹果包含红/绿/黄1banana香蕉包含带斑点/不带斑2orange橙子、橘子类3tomato西红柿4cucumber黄瓜5carrot胡萝卜6potato土豆7egg鸡蛋单颗或托盘装8milk_pack牛奶盒/乳制品包装9yogurt酸奶杯10cabbage包菜11bell_pepper青椒/甜椒3.3 数据增强策略模拟冰箱环境原始数据集的规模有限直接训练很容易过拟合。数据增强是必须的一步。针对冰箱特点我重点做了三类增强一是亮度扰动。冰箱内开门瞬间的光照变化剧烈我用了随机亮度调整和对比度扰动让模型适应从亮到暗的过渡。二是模糊与噪声。冰箱内壁有时会有水雾或者水珠残留我用高斯模糊和随机噪声模拟这种状态降低模型对清晰度的过度依赖。三是随机旋转和翻转。食材在冰箱里摆放角度千奇百怪垂直翻转、小角度旋转能有效提升模型的旋转鲁棒性但要注意冰箱内的液体在现实中不会倒过来所以我只做水平翻转和±10°以内的小角度旋转避免引入不符合物理规律的数据。增强的比例也需要注意增强过猛会让原本的特征失真尤其是蔬菜的纹理细节。我先把增强后的样本做了一轮人工抽检确认没有出现过于扭曲的图片后才正式投入训练。4. 训练阶段的调参与踩坑记录4.1 预训练权重与冻结策略第一次训练我犯了一个典型错误——直接用COCO预训练权重从头微调整个模型结果因为数据量有限模型在冰箱场景下出现过拟合训练集损失降得很低验证集指标却一直上不去。后来我改用分阶段训练的策略。第一阶段冻结backbone和大部分neck层只训练检测头用一个较小的学习率让模型先学会使用现有特征适应新任务。第二段再解冻全部层把学习率调低做整体微调。这样做的原因是COCO预训练提取的底层特征边缘、纹理、颜色对食材识别依然有效强行调整反而会破坏原有特征表达。4.2 关键超参数与训练日志观察训练过程我记录了一些关键超参数供类似条件的项目参考参数名设置值备注输入图像尺寸640x640YOLO推荐标准尺寸批次大小16根据显存调整显存小可减半初始学习率0.0001微调阶段不宜过大训练轮数第一阶段50轮 第二阶段100轮观察指标变化适当调整优化器AdamW收敛稳定置信度阈值0.25推理时使用误检多可调高训练过程中重点观察验证集损失和mAP曲线。正常情况下第一阶段mAP会缓慢上升第二阶段开始明显爬升。我遇到过一个典型情况mAP刚涨到0.3就不动了停在一个平台期。排查后发现是学习率衰减过于激进后半程的学习率已经小到几乎不更新参数。翻代码检查学习率调度后调整了衰减策略指标才继续上升。4.3 我踩过的几个坑第一个坑是类别不均衡。鸡蛋、苹果这种常见食材样本多胡萝卜、青椒样本少导致少量类别基本检测不到。解决办法一个是做类别加权损失让样本少的类别在计算损失时权重更高另一个是定向补充采集数据。同时做效果最快。第二个坑是手机拍摄的EXIF信息旋转问题。部分手机拍出的竖图会带旋转元数据YOLO数据集标注时如果没处理这个信息图像在训练读取时和标注框对不上损失直接乱掉。我在数据预处理阶段先统一刷掉EXIF旋转标志再做归一化问题消失。第三个坑是推理时的箱子重叠问题。冰箱层架中下层架的食物会漏出一部分到上层架的视野里这类“跨层架遮挡”在训练数据里如果没有充分覆盖模型推理时就会对下半部分特征很模糊。我专门补充了一批这种跨层拍摄图并按真实摆放方式摆放食物后重新拍摄实测效果提升明显。5. UI界面与推理系统把模型变成一个能用的工具5.1 系统架构与UI框架选择模型训练完只是第一步真正可用的工具必须有一个界面。我把整个系统拆成三个模块模型推理模块、后端服务模块、前端UI模块。UI框架的选择上我对比了两种方案。一种是PyQt/PySide这种桌面框架适合做本地应用启动一个窗口就能用另一种是Web方案模型推理通过后端API暴露浏览器访问UI。考虑到最终可能部署在树莓派或家庭服务器上我选了Web方案前端用简洁的HTML页面后端用Flask封装推理接口模型通过ONNX导出后加载。这样不同设备都能访问也方便以后接入其他智能家居。5.2 模型导出与部署细节PyTorch训练好的模型直接用.pth格式部署是可以的但在线和离线场景下前者更友好。我用ONNX导出的方式把模型转为onnx格式导出时固定了输入尺寸这样可以减少推理框架的动态shape计算开销。推理链路的数据流是前端选择图片上传或者摄像头实时抓帧后端接收图片后做预处理Resize到640x640归一化模型推理输出检测框、类别、置信度后端将检测结果映射到原始图像尺寸画框后返回前端渲染这里有一个值得注意的点如果直接用OpenCV读取手机拍的高分辨率图片再resize到640会导致检测框的坐标偏移。处理方式是在后端把原始图像尺寸记录在内存中推理完成后按比例恢复坐标画框时才不会错位。5.3 检测结果管理与异常处理UI上除了实时画框之外我还做了结果表格展示每条检测记录列出类别、置信度和框坐标并可导出为CSV文件。这个功能看似简单在实际食材盘点中非常有用——统计冰箱里还有几颗鸡蛋、几根黄瓜直接看表格比看图直观得多。异常处理方面比较常见的是摄像头冷启动导致的单帧过暗或模糊。我加了简单的帧质量判断逻辑如果整张图的平均亮度低于阈值就自动重拍一帧不做推理。这个逻辑在实际使用中减少了不少无效检测。还有一个用户安全问题冰箱内部空间狭小如果有检测到不明物体不在训练的类别列表里系统应该保持沉默而不是给出错误的类别标签。我在推理结果里增加了一个“unknown”类别兜底逻辑当所有类别置信度都低于0.25时显示为未知物体避免误报造成误导。6. 实测效果回顾与遗留问题整套系统搭好后我在模拟厨房环境里做了几轮实测。用手机对准冰箱内部拍照上传单张图片从上传到返回结果大约1秒多不含网络延迟其中模型推理占了大部分时间。摄像头实时检测模式下帧率约35帧左右可用性很好。精度方面对像苹果、鸡蛋、香蕉这类外形稳定的食物识别准确率很高误检很少。但对透明塑料袋包装的食材以及光照极差时拍摄的照片误检率还是偏高。还有个现象值得注意当冰箱里食物塞得很满时模型会把后方稍微露出一点的食物漏检主要原因是训练数据里这种密集遮挡场景的样本还是不够。这几类遗留问题我后续的改进方向是针对性的补拍密集摆放场景图并尝试加入通道注意力机制来提升小目标的特征响应。UI方面计划增加食材入库时间记录和过期提醒功能这样才能形成一个完整的食材管理闭环。总的来说这套基于YOLOv10的冰箱内食物检测系统已经能达到实用级别核心的思路和经验也适用于其他固定环境的细分目标检测任务。如果你也在做类似项目遇到同类型问题欢迎对照我上面写的排查过程检查自己的数据或参数设置大概率能少走一些弯路。
