简介IMX678 CMOS图像传感器的datasheet文档面向从事摄像头模组选型、驱动开发与图像质量调试的硬件工程师及嵌入式开发者可用于查证器件规格、评估方案落地可行性。包内仅有1个PDF文件约592KB为IMX678-AAQR1完整规格书篇幅不大但信息密度高。器件结构部分给出8.86mmType 1/1.8光学尺寸、3.0μm方形像素、约840万有效像素及模拟3.3V、数字1.1V、接口1.8V三路供电功能部分覆盖13.574.25MHz多档输入频率、全像素扫描与2/2线合并、Window裁剪、正常/倒置读出等模式全像素下12bit与10bit均可达60fps接口部分说明CSI-2的2/4/8Lane及4Lane×2ch配置和RAW10/RAW12输出并列出数字重叠HDR、Clear HDR、Sensor同步、1H单位可变快门与CDS/PGA增益等参数。已有2771人学习下载适合安全摄像头、机器视觉项目的选型对照与寄存器配置参考。1. IMX678 datasheet 是什么一张“芯片身份证”能告诉你什么IMX678 datasheet 是一份给工程师看的器件规格书不是教你怎么接线的教程。它像一颗图像传感器的身份证加体检报告多大靶面、多少像素、几路供电、能跑多快、暗光下表现如何都写在里面。普通人听到“数据手册”容易发怵其实你只要抓住三条线——它是什么器件、为什么这样设计、和相近型号差在哪就能判断一颗摄像头camera芯片值不值得选。IMX678 常被用在安防摄像头、计算机视觉和机器人视觉里搞懂这份资料你看别的传感器规格书也不会一头雾水。2. 从 8.86 mm 到 132 针数据手册里的硬件底座先看第一页的 Product Information。IMX678-AAQR1 的定位写得很直白对角线 8.86 mm、Type 1/1.8、CMOS 有源像素、方形像素阵列、840 万有效像素、三路供电、电子快门可调积分时间应用指向安防摄像头。这一段信息量很大但真正影响选型的是“光学格式”四个字。传感器不是一块随便大小的感光板它要和镜头成像圈匹配要和 PCB 封装匹配还要和主控的时钟、电源、接口对上。数据手册前半本做的就是把这三件事说清楚。2.1 8.86 mm 对角线与 Type 1/1.8 的“历史尺码”Type 1/1.8 很容易被误解成“1/1.8 英寸的感光面”其实它不是严格按英寸算的。早年摄像管用外径给规格编号后来 CMOS 传感器沿用了这套叫法所以 1/1.8 更像鞋码不是脚长。真正能拿去选镜头的是对角线 8.86 mm 这个数。镜头的像场至少要覆盖 8.86 mm否则画面四角会暗甚至出现黑边。很多人选型时只看“多少万像素”忽略了镜头像场装上去才发现边缘糊这种翻车在模组厂并不少见。像素阵列也值得看一眼。总像素是 3856H×2200V约 8.48M有效像素是 3856×2180约 8.40M推荐记录像素是 3840×2160约 8.29M。三个数不一样不是手册写错了而是边缘像素、光学黑区和标准输出尺寸各有用处。推荐记录 3840×2160 就是常说的 4K UHD比例 16:9后端 ISP、编码器、显示链路都按这个尺寸对齐最省事。把 3856×2 μm 和 2180×2 μm 乘开阵列大约 7.712 mm×4.36 mm对角线正好落在 8.86 mm 附近数字之间能对上。2.2 840 万有效像素与 2.0 μm 像元为什么推荐记录是 3840×2160像元尺寸是这份手册里最容易被二手资料写错的一项。Device Structure 写得很清楚Unit cell size 是 2.0 μmH×2.0 μmV。有些摘要把这里写成 3.0 μm和正文对不上。2.0 μm 像元的面积是 4 μm²3.0 μm 则是 9 μm²差了两倍多直接影响到灵敏度和镜头解像力的判断。像元越大单个像素能接的光越多但同样靶面下像素数会减少像元越小分辨率容易做高但弱光下更依赖背照式、降噪和增益。IMX678 走的是 2.0 μm 加 840 万像素的组合目标是 4K 分辨率下仍然有可用的低照度表现。总像素、有效像素、active 像素、推荐记录像素这四个词也容易混。总像素包含边缘和无效行有效像素是能参与成像的最大阵列active 像素再去掉少量边界推荐记录像素则是手册建议你实际输出的尺寸。手册里还写了光学黑区垂直方向前 20 像素。光学黑不是用来拍照的它给黑电平校正提供参考相当于给后续电路一个“完全没光时应该是什么值”的基准。Dummy 像素前后都是 0说明这颗芯片在阵列边缘没有额外塞无效列。项目手册数值对选型的意义光学格式对角线 8.86 mmType 1/1.8镜头像场至少覆盖 8.86 mm总像素3856×2200约 8.48M含边缘和黑参考不等于最终输出有效像素3856×2180约 8.40M可参与成像的最大阵列推荐记录3840×2160约 8.29M标准 4K UHD 输出后端好对齐像元2.0 μm×2.0 μm决定灵敏度与镜头解像力封装132 pin LGA需要 PCB 焊盘设计与光学中心对准2.3 三路供电与 132 针 LGA芯片级设计的边界IMX678 用三路电源模拟 3.3 V、数字 1.1 V、接口 1.8 V。模拟电给像素和模拟前端数字电给内部逻辑接口电给 I/O。三路分开不是为了好看而是为了让噪声大的数字开关电源不污染模拟像素。布板时要把这三路分区、去耦、按手册给的上电顺序处理否则画面里可能出现条纹、黑屏或者偶发出图。手册里说低功耗但没有在这段正文里给出具体毫瓦数选型时不能自己编一个功耗值得去查完整电气特性表。封装是 132 pin LGA焊盘在芯片底部。它不像插座那样插上去就行需要 PCB 焊盘、回流焊、光学中心对准还要考虑散热。芯片内置了时序调整电路、H/V 驱动器和串行通信电路意思是行场时序主要由传感器内部生成主控不用逐行喂时序只要给时钟、电源再走串行通信配置寄存器。这个设计降低了主控负担但也意味着寄存器配置不能乱写时钟档位和输出模式要对得上。2.4 输入频率不是随便填13.5 MHz 到 74.25 MHz 的时钟选项手册列了一串输入频率13.5 MHz、18 MHz、24 MHz、27 MHz、36 MHz、37.125 MHz、72 MHz、74.25 MHz。这些是主时钟档位不是帧率也不是像素时钟。37.125 MHz 和 74.25 MHz 属于视频系统里常见的时钟族前者是后者的一半。硬件设计时要按其中一档给晶振或时钟源选错了内部时序和 CSI-2 参考就可能对不上表现是不出图、帧率不对或者图像撕裂。手册给的是可选项不是让你随便填一个 25 MHz 也能跑。串行通信电路负责配置寄存器。数据手册会给出寄存器地址、默认值、读写时序但这段正文没有展开。实际调试时先确认时钟、电源、复位再确认串行通信能不能读到芯片 ID最后才动读出模式和增益。很多“传感器坏了”的现场问题最后查出来是时钟没起振或者电源顺序不对。这类排查顺序不是玄学是按器件边界一步步缩小范围。3. 暗光为什么能打灵敏度、暗电流与近红外成像安防摄像头最怕的不是白天而是晚上。白天大家都能拍清楚到了 0.2 lux 这种照度拼的就是传感器能接多少光、噪声压得多低、近红外补光有没有响应。IMX678 的数据手册在特性页放了灵敏度、饱和信号、暗电流、无污迹还放了和 IMX334 的 0.2 lux 与 850 nm 近红外对比图。这些参数不是给市场部看的是给选型工程师判断“这颗芯片在暗光下到底能省多少补光、少加多少增益”用的。3.1 灵敏度 15886 Digit/lx/s不是 ISO是“弱光下攒数字的速度”手册给的灵敏度典型值是 15886 Digit/lx/s条件 F5.612 bit 转换值。单位拆开看Digit 是数字码值lx 是照度s 是时间。它描述的是转换斜率光量每增加 1 lx·s12 bit 输出大约增加 15886 个码值。实际输出不会无限涨饱和信号最小值是 3895 Digit到了这个码值附近就接近满了。换句话说这颗芯片在弱光下“攒数字”的速度很快后端不用把增益拉得太高就能拿到可用亮度。灵敏度不是 ISO。ISO 是相机系统里的曝光标准和镜头光圈、快门、后端处理都有关传感器灵敏度是器件级参数只在给定光圈、给定转换位深下比较才有意义。拿 15886 这个数去和手机相机的 ISO 比属于把两个体系混在一起。选型时更该看的是同样照度、同样曝光时间哪颗芯片需要的增益更低。增益越低噪声被放大的程度越小画面越干净。3.2 暗电流、无污迹与电子快门黑帧里的“底噪”暗电流是完全没有光时像素里也会产生的电子。它随温度升高和曝光时间变长而增加表现成长曝光下的热噪点、黑帧不均匀。手册把暗电流列为低测试条件是 Tj60°C。注意 Tj 是结温不是室温实际模组里芯片温度受 PCB 散热、外壳结构、连续工作时间影响。夏天户外安防摄像头连续跑 4K60结温上去以后暗电流会比实验室明显散热设计不能省。无污迹no smear是另一个安防场景很在意的点。强光直射画面时CCD 容易出现垂直亮条CMOS 用电子快门和像素结构把这个问题压下去。IMX678 的电子快门支持可变电荷积分时间分辨率 1H 单位。1H 是一行读出时间不是 1 小时这个缩写很容易看错。曝光时间以行时间为步进意味着你可以做很短的高速快门也可以做较长曝光但长曝光会受帧周期限制后面讲帧率时还会碰到这个边界。3.3 0.2 lux 与 850 nm 对比低照度和近红外到底看什么手册给了一组 0.2 lux 对比条件都是 F1.6、曝光时间 33.3 ms。IMX334 用 60 dB 增益IMX678 用 48 dB 增益两者输出亮度相同。12 dB 的增益差大约是 4 倍意思是 IMX678 在同样极暗环境里少加约 4 倍增益就能达到同样亮度。增益少加噪声放大得少画面细节和色彩更容易保住。这个对比不是让你拿 48 dB 去套所有场景而是说明同样 4K 分辨率下它的弱光底子更好。850 nm 近红外对比用的是 F1.6、33.3 ms、0 dB 增益。硅材料对 850 nm 仍有响应但吸收深度比可见光深光要穿得更深才能转成电子。背照式结构把感光层放在电路层上面光线不用穿过金属布线近红外响应和可见光灵敏度都能受益。手册说这项背照式像素技术在可见光和近红外区域都能得到高画质还提到比同像素尺寸的上一代技术在单次曝光下动态范围更宽。具体量子效率手册没在这段给选型时不要自己编百分比。3.4 背照式像素与 HDR把光路和动态范围拆开看背照式可以打个比方原来窗户前面堆了一排货架光要绕过货架才能进屋背照式把货架挪到窗户后面光直接照进来。像素电路还在只是不再挡在感光面正前方。这样同样光照下能接更多光尤其对近红外这种穿透深的波段更明显。IMX678 把这套结构用在安防摄像头场景目标是晚上少补光、近红外补光下还能看清人脸和车牌轮廓。HDR 部分手册列了 Digital overlap HDR 和 Clear HDR。数字重叠 HDR 是把不同曝光的画面在数字域合成灵活但运动物体可能有伪影Clear HDR 走片上合成路线延迟和伪影控制取向不同。手册没有在这段给具体动态范围 dB 数也没有给合成帧数选型时要拿完整寄存器手册和应用笔记去确认。同步传感器功能则是给多目摄像头用的两颗或多颗传感器可以同步曝光做双目测距、多视角拼接时不会因为曝光节拍错开而产生画面不同步。4. 4K60 帧是怎么读出来的读出模式、CSI-2 与增益链路一颗传感器能拍 4K 不稀奇难的是 4K 下还能跑 60 帧并且输出接口、增益链路、曝光控制都跟得上。IMX678 的 Basic Drive Mode 表里全像素 3840×2160 最大 60 frame/s输出接口 CSI-2ADC 10 bit特性页又写了 12 bit 60 frame/s、10 bit 60 frame/s。帧率不是单独一个数字它和读出模式、位深、接口 lane 数、曝光时间绑在一起。看懂这一章你就能判断一个 4K60 方案是“真能跑”还是“只在特定模式下能跑”。4.1 全像素扫描3840×216060fps 的底气All-pixel scan mode 就是全像素逐行读出不合并、不裁剪3840×2160 全部读出来。60 fps 意味着帧周期约 16.67 ms每行读出时间只有几微秒。这个模式下曝光时间不能无限长通常不能超过帧周期否则帧率会掉或者曝光被截断。白天光线足快门可以很短晚上要长曝光就得降帧率或者加补光。0.2 lux 对比里用的 33.3 ms 曝光对应大约 30 fps 的节奏不能直接套到 4K60 上。全像素模式的优点是细节完整适合车牌识别、人脸抓拍、视频取证。缺点是带宽和功耗都高后端 ISP 要处理 830 万像素、每秒 60 帧的数据。如果主控算力不够传感器能出 4K60后端也未必接得住。选型时要把传感器、CSI-2 lane、ISP 吞吐、编码能力一起算不能只看传感器手册的第一行。4.2 2/2-line binning把四个像素并成一个“大桶”Horizontal/Vertical 2/2-line binning 是把水平相邻两列、垂直相邻两行合并输出 1920×1080约 2.07M 像素帧率同样能到 60 fps。打个比方原来四个小桶各自接雨现在把四个小桶倒进一个大桶同样光照下信号更强读出像素数却少了四分之三。好处是低照度下信噪比更好、带宽更低、后端压力小代价是分辨率降到 1080p细节不如全像素。Binning 不是数码变焦也不是简单把 4K 画面缩小。它是在读出阶段就把电荷或数字信号合并像素之间的空间关系变了。彩色滤光阵列的排列还在合并后后端仍然要按原始马赛克数据去处理不能直接当 RGB 用。安防摄像头常把 binning 模式用于低照度预览、夜间视频等触发事件再切全像素抓拍。这种双模式设计能兼顾实时性和取证细节。4.3 窗口裁剪与倒置读出少读一点快一点Window cropping mode 是只读感兴趣区域。比如你只关心画面中间 1920×1080 的一块传感器就只读这块帧率可以往上走视场会变小。它适合目标跟踪、电子云台、交通卡口这种“只盯一条车道”的场景。裁剪的坐标要按手册对齐别把光学黑区或者边缘无效行读进来否则画面会偏或者出现黑边。Normal/Inverted readout mode 支持水平、垂直方向正常或倒置读出。这个功能是给倒装结构用的摄像头模组把传感器倒着贴读出方向翻一下后端就不用再做一次图像旋转。它不是图像处理里的镜像特效而是在读出阶段改扫描方向。做结构设计时如果镜头和 PCB 方向冲突这个功能能省一层软件处理也能避免旋转带来的额外延迟。4.4 CSI-2 与 RAW10/RAW12带宽账要算清IMX678 支持 CSI-2 串行数据输出lane 配置有 2 Lane、4 Lane、8 Lane、4 Lane×2ch输出 RAW10 或 RAW12。RAW 是原始马赛克数据每个像素只有亮度信息颜色要靠后端 ISP 按滤光阵列去猜。RAW10 每像素 10 bitRAW12 每像素 12 bit位深越高暗部层次和动态范围余地越大带宽也越高。# 估算全像素 4K60 的原始数据带宽 width 3840 height 2160 fps 60 raw10_bps width * height * fps * 10 # RAW10 每像素 10 bit raw12_bps width * height * fps * 12 # RAW12 每像素 12 bit print(raw10_bps / 1e9, Gbps) # 约 4.98 Gbps print(raw12_bps / 1e9, Gbps) # 约 5.97 Gbps # 1080p binning 模式 bin_w, bin_h 1920, 1080 bin_bps bin_w * bin_h * fps * 10 print(bin_bps / 1e9, Gbps) # 约 1.24 Gbps上面的数是有效像素数据率不含行场消隐、协议开销和空白包。4 Lane 跑 RAW10 4K60平均每 lane 要扛 1.25 Gbps 左右实际设计要留裕量RAW12 每 lane 约 1.5 Gbps布线、时钟、均衡器都要按更高标准来。8 Lane 能把每 lane 压力降下来但 PCB 走线更复杂。4 Lane×2ch 给双通道或多传感器留了路子具体怎么分配要看完整手册。输出模式位深有效数据率约接口提示3840×216060RAW104.98 Gbps4 Lane 每 lane 约 1.25 Gbps留裕量3840×216060RAW125.97 Gbps4 Lane 每 lane 约 1.5 Gbps布线更严1920×108060 binningRAW101.24 Gbps带宽低适合低照度视频4.5 增益链路模拟增益与数字增益别混着加手册里的 CDS/PGA 功能分成两段0 dB 到 30 dB 是模拟增益步进 0.3 dB30.3 dB 到 72 dB 是模拟增益 30 dB 加数字增益 0.3 dB 到 42 dB步进 0.3 dB。CDS 是相关双采样用来压复位噪声PGA 是可编程增益放大器把像素信号在模数转换前放大。模拟增益在 ADC 前面数字增益在 ADC 后面。前者放大的是模拟信号后者放大的是已经量化的数字码值。优先用模拟增益不够再补数字增益这是模组调试的血泪经验。数字增益拉高暗部噪声和量化误差一起被放大画面容易发灰、发脏。0.2 lux 对比里IMX678 用 48 dB 就能达到 IMX334 60 dB 的亮度说明它靠前级灵敏度和模拟链路就拿到了足够信号不用把数字增益推到很高。同步传感器功能则让多颗芯片按同一节拍曝光做双目或环视时左右画面不会一个亮一个暗。5. 容易踩坑的五个区别IMX678 不是模组2.0 μm 不是 3.0 μm数据手册读错通常不是卡在复杂公式而是卡在几个看起来很像的词。IMX678 这个名字在电商页面、方案公司报价单、二手摘要里到处出现有的把像素尺寸写错有的把传感器和模组混着卖有的把 HDR 说成手机拍照那个 HDR。下面五条是初学者最容易踩的坑每条都按“易混点、为什么混、怎么区分”拆开说。5.1 易混点一2.0 μm 像元不是 3.0 μm易混点有些二手资料把 IMX678 的 Unit cell size 写成 3.0 μm×3.0 μm看起来只是一个小数点实际差了两倍多面积。为什么混同一个系列里不同型号的像元尺寸不同摘抄的人可能把别的型号参数粘过来了也有方案商为了强调“大像素”顺手写了一个更漂亮的数。怎么区分翻到 Device Structure认准 Unit cell size 2.0 μmH×2.0 μmV。再用阵列数反算3856×2 μm 约 7.712 mm2180×2 μm 约 4.36 mm对角线约 8.86 mm和光学格式对得上。如果按 3.0 μm 算阵列会变成 11.568 mm×6.54 mm对角线超过 13 mm和 8.86 mm 对不上。数字自洽是判断二手资料靠不靠谱的最快办法。5.2 易混点二IMX678 是传感器不是摄像头模组易混点电商页面写“IMX678 摄像头”卖的其实是一整块模组有人以为买到手就能输出 USB 视频。为什么混模组厂把传感器、镜头、红外截止滤光片、ISP、电源、FPC 做在一起外面贴的型号还是传感器型号用户很容易把两者当成一个东西。怎么区分看数据手册的封装。132 pin LGA 是芯片级封装焊在 PCB 上没有镜头、没有 USB 接口、没有外壳。它输出的是 RAW10/RAW12 原始数据必须接 ISP 或主控才能变成可看的图像。选型时把“传感器规格”和“模组规格”分开看传感器决定上限镜头、ISP、结构决定实际效果。5.3 易混点三传感器 HDR 不是手机里的 HDR 开关易混点手机拍照里的 HDR 是按一下快门后端算法把亮部压暗、暗部提亮IMX678 的 HDR 是传感器层面的多曝光合成分 Digital overlap HDR 和 Clear HDR。为什么混两个都叫 HDR用户以为都是“让画面不过曝”。怎么区分看合成发生在哪里。数字重叠 HDR 在数字域把不同曝光合在一起灵活但运动物体可能有重影Clear HDR 走片上合成延迟和伪影控制取向不同。传感器 HDR 扩展的是原始动态范围后端还要做色调映射。手册没有在这段给具体 dB 数选型时要拿完整应用笔记确认帧率和伪影表现不能只看“支持 HDR”四个字。5.4 易混点四增益不是越高越好易混点夜视产品喜欢标“超高增益”“72 dB”好像数字越大夜视越强。为什么混增益确实能把暗画面提亮但模拟增益和数字增益的位置不同效果也不同。模拟增益在 ADC 前提信号的同时也提噪声数字增益在 ADC 后把已经量化的噪声一起放大。怎么区分看同样亮度下谁用的增益低。0.2 lux 对比里IMX678 用 48 dB 达到 IMX334 60 dB 的亮度12 dB 差约 4 倍说明前者少放大了约 4 倍。选型时别只问“最大增益多少”要问“在目标照度下信噪比和曝光时间是多少”。增益是补救手段不是越多越好。5.5 易混点五1H 不是 1 小时12 bit 不是色彩位数易混点可变快门写“resolution 1H units”有人以为 1H 是 1 小时RAW12 写 12 bit有人以为每个颜色通道 12 bit。为什么混H 在别处常表示小时bit 在显示参数里常表示色深。怎么区分1H 是一行读出时间曝光寄存器按行数写不是按小时写。RAW12 是每个像素 12 bit 的原始马赛克数据经过 ISP 去马赛克后才变成 RGB每个颜色通道的位深由后端处理决定。把 RAW12 当成“RGB 每通道 12 bit”会高估色彩精度也会低估后端 ISP 的工作量。6. 什么时候该本文还有配套的精品资源点击获取
