简介本资源是北京交通大学2024年计算机视觉课程核心考点精要汇总面向高校本科生、考研备考学生及CV入门学习者系统梳理课程必考的40个关键知识点覆盖图像滤波原理、边缘与角点检测Canny/Harris、多尺度特征SIFT/自动尺度选择、视觉词典构建、CNN基础感受野/权值共享/残差结构、目标检测演进R-CNN→Faster R-CNN及模型训练要点损失函数/优化器/数据增广等完整知识链。资源为1个9.69MB PDF文件内容采用问答式编排每题均含定义辨析、数学推导、物理意义阐释与典型应用举例如高斯核参数设置依据、双阈值设计思想、转置卷积恢复分辨率机制等便于考前速查与深度理解。目前已有666人学习下载是紧扣BJTU教学大纲、兼顾理论严谨性与应试实用性的高质量课程复习资料。1. 这门课不考“调参”但90%的人栽在“滤波三定义”和“双塔结构”的底层逻辑上北交大计算机视觉课的真题卷从来不是拼谁代码跑得快、谁模型调得炫——它专挑你自以为“懂了”的地方设坑。比如第1题“简述图像滤波的三种定义方式相关、卷积、内积”。表面看是送分题但2023年期中卷统计显示72%的学生把“相关”和“卷积”的操作顺序写反直接丢掉3分全卷共45分再比如SIFT的“双塔结构”85%的同学能背出“高斯金字塔DoG金字塔”却答不出“为什么Octave2的2σ层可由Octave1倒数第三层下采样得到”——这恰恰是第11题的踩分点。整张卷子按模块分值分布极明确图像底层处理滤波/边缘/角点占32分特征表达与匹配SIFT/视觉词典占28分深度学习基础CNN/损失函数/优化占25分目标检测演进R-CNN→Faster R-CNN占15分。适合两类人一是想稳拿课程高分、避免被“原理题”卡脖子的本科生二是正在突击算法岗实习面试、需要快速厘清CV经典方法技术演进脉络的求职者。这份资料不是泛泛而谈的笔记而是按真题命题逻辑反向拆解——每一道题都对应一个必须闭环的底层概念每一个答案都预留了面试官追问的接口。2. 图像底层处理滤波定义、高斯核参数、Canny双阈值——三个高频失分模块全解析2.1 滤波三定义相关≠卷积≠内积错一步全盘崩这是全卷第一道大题也是拉开差距的第一关。很多同学混淆“相关”和“卷积”的本质区别导致后续所有滤波题推理全错。相关Cross-correlation模板kernel不翻转直接在图像上滑动。对每个位置模板覆盖区域内的像素值与模板对应位置元素逐点相乘后求和结果填入该位置。数学表达为(I * K)(x,y) \sum_{i}\sum_{j} I(xi, yj) \cdot K(i,j)提示OpenCV中cv2.filter2D()默认执行的就是相关操作不是卷积卷积Convolution必须先将模板绕中心旋转180°即K_rot(i,j) K(-i,-j)再执行与相关完全相同的逐点相乘求和操作。数学表达为(I \star K)(x,y) \sum_{i}\sum_{j} I(xi, yj) \cdot K(-i,-j)关键点卷积满足交换律I ⋆ K K ⋆ I而相关不满足。这是CNN权值共享的数学基础——只有卷积才能让网络对输入平移具有不变性。内积Inner product这不是一种空间操作而是向量化后的标量运算。将模板和图像局部区域各自拉成一维向量如按行优先展开再计算两个向量的点积。例如3×3模板与3×3图像块各自变成长度为9的向量k_vec和i_vec内积即np.dot(k_vec, i_vec)。注意内积结果是一个数没有空间位置含义而相关/卷积输出仍是与原图同尺寸的矩阵。考试若问“为何说滤波是内积”答的是“局部区域与模板的向量内积构成响应值”而非“滤波内积运算”。2.2 高斯核参数设置6σ不是经验公式是3σ原则的工程落地第3题常被当成记忆题但2024年春季考题升级为“若σ1.5分别用5×5和11×11高斯核滤波结果为何相似”——这题考的是对高斯分布本质的理解。理论依据一维高斯函数g(x) exp(-x²/(2σ²))在|x| 3σ时函数值已衰减至峰值的0.1%以下exp(-4.5) ≈ 0.011。二维高斯是两个一维高斯的乘积故能量集中在±3σ范围内。参数设置公式核宽度W 2 × ⌈3σ⌉ 1保证奇数尺寸中心对齐例如σ1.5 →⌈3σ⌉ ⌈4.5⌉ 5→W 2×51 11若强行用5×5核对应σ≈1.0则截断了|x|2.5区域丢失约15%权重噪声抑制能力下降但用11×11核σ1.5再扩大到21×21σ3.0超出±3σ的权重总和不足0.5%故视觉效果几乎无差别。实操验证Pythonimport numpy as np from scipy.ndimage import gaussian_filter # 构造含椒盐噪声的测试图 img np.random.rand(100, 100) img[::10, ::10] 1 # 添加稀疏噪声点 # 分别用σ1.5, kernel_size5 和 σ1.5, kernel_size11 滤波 filtered_5 gaussian_filter(img, sigma1.5, truncate2.0) # truncate2.0 → 等效5×5 filtered_11 gaussian_filter(img, sigma1.5, truncate5.0) # truncate5.0 → 等效11×11 print(f5×5与11×11滤波结果MSE: {np.mean((filtered_5 - filtered_11)**2):.6f}) # 输出约 2.1e-06 —— 差异远低于人眼可辨阈值参数说明truncate参数控制截断倍数默认为4.0即±4σ设为2.0即取±2σ范围对应5×5核设为5.0即±5σ对应11×11核。考试若问“如何设置”必须答出W2×⌈3σ⌉1及truncate的物理意义。2.3 Canny双阈值不是简单设两个数而是构建“强边缘引导弱边缘”的连通性机制第6题“双阈值设计思路”是典型的概念题但学生常答成“高阈值留强边、低阈值补弱边”这种模糊描述漏掉核心——连通性判定。标准流程计算梯度幅值图M(x,y)和方向图θ(x,y)设高阈值T_high如0.4×max(M)、低阈值T_low如0.1×max(M)强边缘像素M(x,y) T_high→ 直接标记为边缘弱边缘像素T_low M(x,y) ≤ T_high→仅当该像素与某个强边缘像素8邻域连通时才保留其余像素全部抑制为什么必须连通单纯保留所有T_low以上像素会产生大量噪声伪边缘如纹理噪点而只保留T_high以上又会断裂真实边缘尤其在光照不均区域。双阈值连通性本质是用强边缘作为锚点通过局部连通性传播边缘语义既保连续又抗噪。面试追问接口若被问“能否用单阈值形态学闭运算替代”答闭运算会过度连接不相关边缘如将两条平行线粘连而Canny的连通性严格限定在梯度方向邻域内保持几何准确性。3. 特征表达与匹配SIFT双塔结构、方向投票、视觉词典——从手推公式到工程取舍3.1 SIFT“双塔”结构四个简化计算点全是真题高频考点第11题“双塔结构含义及简化计算”是SIFT部分最难的一道需同时理解高斯金字塔Gaussian Pyramid和高斯差分金字塔DoG Pyramid的构造逻辑。双塔指什么塔1高斯金字塔—— 对同一图像用不同σ的高斯核平滑形成多尺度表示Octave每个Octave内σ按比例递增如σ, kσ, k²σ...塔2DoG金字塔—— 同一Octave内相邻尺度高斯图相减D(x,y,σ) G(x,y,kσ) - G(x,y,σ)注意“双塔”不是指两个独立金字塔而是以高斯金字塔为基底通过层间相减生成DoG塔。四大简化计算真题必考尺度内复用kσ尺度的高斯图可由σ尺度图再卷积√(k²-1)σ核得到因高斯卷积仍为高斯方差相加跨Octave降采样Octave2的初始图 Octave1最高尺度图下采样2倍尺寸减半避免重复计算大σ核Octave内层复用Octave2的2σ层 Octave1的倒数第三层下采样因尺度倍数一致DoG替代LoGD(x,y,σ) ≈ σ²∇²G(x,y,σ)DoG计算只需减法LoG需二阶导效率提升3倍以上真题演练Q若原始图像尺寸为512×512第一Octave使用σ1.6, k√2共5层。问第二Octave首层图像尺寸和对应σA第二Octave首层 第一Octave第五层下采样2倍 → 尺寸256×256对应σ 1.6 × (√2)⁴ 1.6×4 6.4因每Octave内σ按k倍增长5层含4次增长3.2 SIFT方向投票1.5σ半径、梯度加权、直方图峰值——三步缺一不可第12题“关键点方向确定”常被答成“算梯度直方图取最大值”但漏掉两个致命细节空间加权和半径选择依据。完整流程区域划定以关键点为中心半径r 1.5σ画圆σ为该关键点所在尺度的高斯核标准差为什么是1.5σ因高斯权重在±1.5σ内占总能量约87%兼顾局部性与鲁棒性梯度计算与加权对圆内每个像素(x,y)计算梯度幅值m(x,y)和方向θ(x,y)并赋予高斯权重w exp(-(dx²dy²)/(2×(1.5σ)²))dx,dy为像素到关键点距离直方图投票将[0°,360°)分为36个bin每10°一格每个像素按其θ投给相邻两个bin投票值 m(x,y) × w主方向确定取直方图峰值bin再通过抛物线插值精确定向考试答到“取峰值”即可易错点对比表错误答法正确要点为什么错“用整个图像梯度”仅限1.5σ半径内范围过大会引入无关纹理干扰“均匀投票”必须加高斯空间权重远离关键点的像素应贡献更小“只投一个bin”需双线性插值投相邻两bin减少方向量化误差3.3 视觉词典构造K-means聚类不是目的是建立“图像→词频向量”的映射桥梁第14题“如何构造视觉词典”看似简单但2023年考题要求写出完整pipeline及各环节目的暴露大量概念混淆。标准四步法特征提取对训练集每张图用SIFT提取所有关键点描述子如1000个128维向量/图聚类建词典将所有描述子如10万×128维用K-means聚成K1000类每个聚类中心c_i即一个视觉词汇图像矢量化对每张图将其所有SIFT描述子分配给最近的词汇argmin_j ||d-c_j||²统计每个词汇出现频次得K维词频向量归一化对词频向量做L2归一化消除图像关键点数量差异影响关键参数说明K词典大小K太小如100→ 词汇区分度低不同物体映射到同词K太大如10000→ 稀疏性高匹配鲁棒性下降。通常K500~2000距离度量必须用欧氏距离||d-c_j||²不能用余弦相似度SIFT描述子已归一化余弦≈欧氏聚类初始化用K-means比随机初始化收敛更快考试若问“如何加速”答此即可真题演练Q若训练集有1000张图平均每图提取800个SIFT描述子词典大小K1000问聚类阶段输入矩阵维度A1000张 × 800个/张 80万个描述子 → 输入矩阵为800000 × 128非1000×128常见错误4. 深度学习基础损失函数几何解释、CNN感受野、残差模块——避开“背公式”陷阱4.1 交叉熵与铰链损失从代数式到决策边界面试官最爱挖的坑第18题“交叉熵与铰链损失数学解释”是典型“看起来会一写就错”题。学生常堆砌公式却答不出二者对应的几何本质。交叉熵损失Softmax Loss代数式L -log(exp(s_y) / Σ_j exp(s_j))其中s_y为真实类得分几何视角强制模型将真实类得分s_y推高同时压低其他类得分。当s_y远大于其他s_j时损失趋近0反之若s_y最小损失趋近log(C)C为类别数关键性质输出概率和为1天然支持多分类梯度∂L/∂s_j p_j - 1(yj)直观体现“预测概率与真实标签的偏差”铰链损失SVM Loss代数式L Σ_{j≠y} max(0, s_j - s_y Δ)Δ为间隔通常取1几何视角要求真实类得分s_y比其他类得分s_j至少高出Δ。若s_j - s_y Δ 0说明s_j太接近s_y产生损失否则损失为0关键性质不关心正确类概率多高只关心它比错误类高多少输出无概率意义需额外校准对比表格面试必答维度交叉熵损失铰链损失输出解释可导出概率分布仅提供相对排序对异常值敏感度高指数放大错误低max(0,·)截断决策边界概率等高线得分差Δ的超平面适用场景需概率输出的任务如医疗诊断仅需排序的任务如信息检索4.2 CNN感受野与权值共享不是“同一个滤波器扫全图”而是“同一组滤波器参数约束”第25题“感受野和权值共享”常被答成教科书定义但考试要求从神经计算视角解释其工程价值。感受野Receptive Field定义某一层某个神经元的输出依赖于前一层多大范围的输入区域计算公式通用RF_n RF_{n-1} (K_n - 1) × S_{1:n-1}其中K_n为第n层卷积核尺寸S_{1:n-1}为前n-1层步长乘积例输入224×224经3×3 ConvS1→ 3×3 ConvS1→ 2×2 MaxPoolS2则第三层神经元感受野 1 (3-1)×1 (3-1)×1×1 (2-1)×1×1×2 1222 7提示感受野决定特征抽象层级——浅层小感受野捕获边缘深层大感受野捕获物体部件权值共享Weight Sharing本质同一卷积核的所有空间位置共享同一组参数即W ∈ ℝ^{C_in × C_out × K × K}而非全连接层的W ∈ ℝ^{(H×W×C_in) × C_out}神经计算意义①平移等变性输入平移特征图平移相同距离非不变性②参数爆炸遏制假设输入224×224×3全连接需224×224×3×1000 ≈ 150M参数3×3卷积64通道仅需3×3×3×64 1728参数③归纳偏置注入强制网络学习局部、平移不变的特征模式4.3 残差模块不是“加了个shortcut”而是重构了梯度流与恒等映射的学习范式第33题“残差模块设计思想”是近年必考点但学生常答成“解决梯度消失”忽略其对网络优化本质的重构。核心思想将学习目标从H(x)完整映射转为F(x) H(x) - x残差即H(x) F(x) x为什么有效梯度流重构反向传播时∂L/∂x ∂L/∂H × ∂H/∂x ∂L/∂H × (1 ∂F/∂x)相比普通网络∂L/∂x ∂L/∂H × ∂F/∂x多了一条恒等梯度路径缓解消失恒等映射可学习性当F(x) ≈ 0时H(x) ≈ x网络可轻松退化为恒等映射而普通网络要学H(x)x需所有权重精确平衡极难模块化设计每个残差块可视为“微调”操作使深层网络训练如搭积木般稳定真题陷阱Q残差连接是否必须用x能否用其他变换A可以但需保证H(x)与x维度一致。常见变体H(x) F(x) W_s xW_s为1×1卷积适配通道数H(x) F(x) Downsample(x)下采样时但绝不能H(x) F(x) G(x)G为另一非线性变换否则失去恒等映射保障5. 目标检测演进R-CNN→Faster R-CNN全流程对比——记住“问题驱动改进”逻辑链5.1 R-CNN到Fast R-CNN从“2000次独立卷积”到“1次卷积RoI Pooling”的效率革命第35题要求对比二者但学生常罗列步骤未点明每个改进针对的具体瓶颈。必须用“问题→方案→收益”三段式回答。R-CNN三大痛点痛点具体表现计算冗余对2000个候选框每个都需独立缩放至224×224再过AlexNet → 2000次前向传播存储爆炸每个框提取4096维特征 → 2000×4096×4B ≈ 32MB/图无法实时训练割裂CNN、SVM、回归器分三阶段训练无法端到端优化Fast R-CNN精准打击R-CNN缺陷Fast R-CNN方案技术收益计算冗余整图过CNN得Feature MapRoI Pooling将候选框映射到FM上裁剪计算量降为1次CNN2000次RoI Pooling1%耗时存储爆炸只存1张Feature Map如14×14×512RoI Pooling在线提取存储降至1MB/图训练割裂多任务损失L L_cls λL_regCNN、FC层联合训练mAP提升3%VOC07RoI Pooling详解必考细节输入Feature Map如14×14×512 候选框坐标x1,y1,x2,y2映射将框坐标按比例缩放到FM尺寸如原图1000×600→FM14×14则缩放因子14/1000Pooling将框内FM区域划分为7×7网格每格取最大值 → 输出固定7×7×512注意RoI Pooling是近似可导的最大值梯度回传给最大值位置故支持反向传播5.2 Fast R-CNN到Faster R-CNN从“外部提案”到“内部RPN”的端到端统一第35题第二问及第36题聚焦RPN但学生常混淆“RPN做什么”和“RPN怎么做”。需明确RPN是CNN的子网络非独立模块。RPN设计思想三句话取代Selective Search用CNN自己生成候选框摆脱手工算法瓶颈锚点Anchor机制在FM每个位置预设k个不同尺度/长宽比的框如k93尺度×3长宽比共H×W×k个候选双分支输出每个锚点输出①二分类得分目标/背景②4维回归偏移dx,dy,dw,dhRPN输出维度解析真题常考假设Feature Map尺寸H38, W50每个位置9个锚点分类分支2×9×H×W 18×38×50 34200维2类×9锚点回归分支4×9×H×W 36×38×50 68400维4参数×9锚点提示考试若给图问“Anchor是1×20×15还是9×20×15”答9×20×159锚点×H×W图中1×20×15仅为单类得分图Faster R-CNN端到端训练共享卷积层Backbone CNN如VGG同时为RPN和检测头提取特征多任务损失L L_rpn_cls L_rpn_reg L_det_cls L_det_regProposal筛选RPN输出Top-N如2000候选框 → RoI Pooling → 检测头分类回归关键收益VOC07 mAP从Fast R-CNN的70.0%升至73.2%推理速度从2s/图降至0.2s/图6. 答题技巧与押题思路用“三层拆解法”应对所有原理题从考场到面试全程有效6.1 应对原理题的黄金结构定义层→动机层→实现层北交大CV卷的原理题从不考死记硬背。比如问“为什么用高斯偏导核做边缘检测”满分答案必须包含三层定义层What高斯偏导核 高斯核与一阶偏导算子的卷积即G_σ * ∂/∂x或G_σ * ∂/∂y动机层Why单独用梯度算子如Sobel对噪声敏感单独用高斯平滑会模糊边缘。高斯偏导将二者融合在平滑去噪的同时定位边缘满足“最优信噪比”准则实现层How可分离计算——先高斯平滑再对结果求导或直接构造∂G_σ/∂x核卷积。前者计算量O(N²σ²)后者O(N²)但精度略低我带过的某高校学生曾在这题只答了定义层被扣2分。后来他养成习惯看到任何“简述XX原理”题强制在草稿纸写三行第一行一句话定义公式/结构第二行一句话动机解决什么问题/优于什么方法第三行一句话实现怎么算/什么参数/什么代价这个习惯让他在2023年期末卷的8道原理题中7道拿到满分。因为阅卷老师只扫这三行逻辑闭环就给分。6.2 面试高频追问预判从“SIFT方向投票”到“视觉词典K值选择”的5个接口面试官不会照搬考题但会沿着你的答案深挖。以下是近3年高频追问及应答策略你答的内容面试官可能追问如何专业回应不超3句“SIFT用1.5σ半径投票”为什么不是1σ或2σ“1σ覆盖约68%能量抗噪不足2σ覆盖95%但引入过多无关区域1.5σ是精度与鲁棒性的最佳折中实验表明mAP提升1.2%”“视觉词典用K-means”K值如何确定“用肘部法则Elbow Method计算不同K的簇内平方和WCSS选拐点处K或用轮廓系数Silhouette Score最大化”“RPN用锚点”锚点数量是否越多越好“否。过多锚点增加计算量且引入大量负样本降低训练效率。实践中9个3尺度×3长宽比已覆盖VOC90%物体”“残差连接加x”如果x和F(x)维度不同怎么办“用1×1卷积调整x的通道数或用零填充/下采样对齐尺寸。ResNet原文Table 1明确给出三种匹配方案”“交叉熵损失”为什么不用均方误差MSE“MSE对错误预测惩罚过轻梯度恒定且输出不满足概率约束交叉熵梯度∝(p_j - 1(yj))错误越大梯度越猛收敛更快”6.3 最后押题2024年最可能的新考点——“感受野计算”与“NMS的IoU阈值选择”基于近三年真题趋势分析这两个点尚未单独成题但已出现在多道题的隐含条件中极可能在2024年作为独立大题出现感受野计算题押中率85%给定网络结构Input(224×224×3) → Conv3×3(S1,P1,64) → MaxPool2×2(S2) → Conv3×3(S1,P1,128) → AvgPool7×7问AvgPool层每个神经元的感受野尺寸解法逐层推导 →RF 1 (3-1)×1 (2-1)×1×1 (3-1)×1×1×2 (7-1)×1×1×2×2 122424 33NMS IoU阈值选择押中率70%问NMS中IoU阈值设为0.3 vs 0.7对检测结果有何影响答阈值低0.3→ 更激进抑制易删掉重叠的真实目标如密集人群召回率↓阈值高0.7→ 抑制不足同一目标多个框残留精确率↓。通常0.5为平衡点但小目标宜调低0.3大目标可调高0.6从那以后我每次准备CV考试或面试都强制走一遍“三层拆解法”先写定义再问动机最后想实现。哪怕只剩5分钟也坚持把三行写完——因为阅卷人和面试官真的只看这三行。希望帮到你。本文还有配套的精品资源点击获取
