简介这份PDF资料聚焦阿里妈妈展示广告预估校准技术的完整演进脉络面向广告算法工程师、计算广告方向研究者及对oCPX、Auto-Bidding出价策略感兴趣的从业者帮助理解预估值与真实点击概率之间的偏差如何修正。内容从校准必要性切入覆盖PCOC、Cal-N、GC-N等评价指标并系统梳理Binning、Scaling等后处理方法重点讲解SIR保序回归平滑校准算法及其在计划冷启动中的应用还延伸至Bayes-SIR、RTW-BSIR与MBCT等进阶方案。资源包共1个PDF文件大小约9.13MB单文件结构便于集中阅读与检索。目前已有347人学习适合希望系统掌握展示广告校准技术、理解竞价公平性与出价稳定性背后算法逻辑的读者参考。1. 展示广告预估校准从“分数好看”到“出价可用”的那条分界线做展示广告的算法同学大概都经历过这种场面离线 AUC 涨了、LogLoss 降了模型上线后 CTR 预估看着也挺“准”可一到出价环节ROI 就是不稳预算花不出去或者花超。问题往往不在排序能力而在预估校准——模型输出的那个概率到底能不能直接当成真实点击率来用。阿里妈妈在展示广告场景下走过的这条校准演进路径本质上就是在回答一个问题排序用的分数和出价用的概率是不是一回事。这个标题讲的是展示广告里预估值的校准calibration问题覆盖从原始预估偏高/偏低、到分桶校准、到保序回归、再到与出价机制联动的整套工程实践。它适合两类人一类是刚接手 CTR/CVR 模型、发现预估值和真实后验对不上的算法工程师另一类是负责出价、预算控制、ROI 约束被“模型说 3% 实际只有 1%”坑过的策略同学。校准不是调参玄学它是一条有明确度量、有可复现步骤的工程链路下面按“为什么偏—怎么校—怎么验—坑在哪”拆开讲。2. 预估为什么会偏展示广告场景下校准需求的来源2.1 排序目标和出价目标根本不是同一个东西排序阶段我们关心的是相对顺序A 比 B 更可能被点击就够了所以训练时用 LogLoss、AUC 这类指标模型只要把正样本排在负样本前面损失就好看。但出价阶段要的是绝对数值ecpm pCTR × bid这里的 pCTR 如果系统性偏高 2 倍出价就会整体虚高预算瞬间打光偏低则抢不到量。排序保序、出价保值这是两套要求。展示广告还有几个放大偏差的因素。一是负采样为了训练效率很多团队会对负样本下采样训练集里的 CTR 被人为抬高模型学到的概率天然偏高必须做先验修正。二是样本选择偏差只统计曝光过的样本而曝光本身依赖上一版模型的打分形成反馈回路越训越偏。三是时间衰减大促、节假日、早晚高峰的点击率分布差异巨大模型在平稳期训出来的概率放到流量突变时就不准了。所以校准要解决的不是“模型好不好”而是“模型输出的数值能不能直接进公式”。这两件事经常被混为一谈导致一堆人拿着高 AUC 的模型去出价然后翻车。2.2 先量化偏差再谈校准动手之前必须先有一把尺子。校准的度量不看 AUC看的是预测概率和真实频率的一致性。最常用的是可靠性图reliability diagram和 ECEExpected Calibration Error。可靠性图的做法把预测概率分成若干桶比如 10 等分统计每个桶里的平均预测概率和实际正样本比例画出来。理想情况是一条 yx 的对角线。如果曲线整体在对角线下方说明模型高估上方则低估。ECE 就是把每个桶的 |平均预测 − 实际频率| 按样本量加权求和import numpy as np def ece_score(y_true, y_prob, n_bins10): 计算 Expected Calibration Error y_true: 0/1 标签 y_prob: 模型输出的概率 n_bins: 分桶数量展示广告常用 10~15 bins np.linspace(0.0, 1.0, n_bins 1) bin_ids np.digitize(y_prob, bins) - 1 # 每个样本落在哪个桶 ece 0.0 n len(y_true) for i in range(n_bins): mask bin_ids i if mask.sum() 0: continue avg_prob y_prob[mask].mean() # 桶内平均预测 avg_true y_true[mask].mean() # 桶内真实频率 ece (mask.sum() / n) * abs(avg_prob - avg_true) return ece这段代码的关键参数是n_bins。桶太少比如 5会掩盖局部偏差桶太多比如 50每桶样本不足、统计噪声大。展示广告里 CTR 通常很低千分之几到百分之几建议用等频分桶而不是等宽分桶否则低概率区全挤在一个桶里看不出问题。跑完先看 ECE 数值再看可靠性图形态是整体平移需要全局缩放还是分段扭曲需要分段校准这决定了后面选哪种方法。提示校准集必须是独立于训练集的一批数据且尽量贴近线上真实分布。用训练集自己算 ECE 会偏乐观这是最常见的自欺欺人。3. 校准方法怎么选从 Platt 到保序回归的取舍3.1 参数化方法Platt Scaling 与温度缩放最简单的一类校准是找一个单调函数把原始分数映射到校准后的概率。Platt Scaling 用 sigmoid 拟合from sklearn.linear_model import LogisticRegression # f(x) 是模型原始输出logit 或分数这里用一维特征 # Platt: p_cal sigmoid(A * f B) platt LogisticRegression() platt.fit(raw_scores.reshape(-1, 1), y_true) p_cal platt.predict_proba(raw_scores.reshape(-1, 1))[:, 1]它只有两个参数 A、B样本需求小、极稳适合数据稀疏的场景。缺点是只能做“S 形”拉伸如果偏差是分段扭曲的比如低概率区高估、高概率区低估Platt 拟合不出来。温度缩放Temperature Scaling是它的多分类推广在深度模型里很流行本质也是单参数缩放 logit对过度自信的神经网络特别有效。参数化方法的共同前提是假设偏差形态已知。展示广告里这个假设经常不成立因为不同广告位、不同人群的偏差方向可能相反一个全局 sigmoid 救不了。3.2 非参数方法等频分桶与保序回归分桶校准Binning / Histogram Binning不假设形态直接把预测概率分段每段用该段的真实频率替换def fit_binning(y_true, y_prob, n_bins15): 等频分桶校准返回每个桶的边界和校准值 # 按预测概率排序后等频切分保证每桶样本量接近 order np.argsort(y_prob) splits np.array_split(order, n_bins) boundaries, calibrated [], [] for idx in splits: boundaries.append(y_prob[idx].max()) calibrated.append(y_true[idx].mean()) # 桶内真实频率作为校准值 return np.array(boundaries), np.array(calibrated) def apply_binning(y_prob, boundaries, calibrated): # 用 searchsorted 找到每个样本所属桶替换为校准值 pos np.searchsorted(boundaries, y_prob, sideleft) pos np.clip(pos, 0, len(calibrated) - 1) return calibrated[pos]分桶的优点是能拟合任意形态缺点是不保序——相邻桶的校准值可能因为噪声出现倒挂高分段校准值反而低这会破坏排序出价时出现“分高的反而出价低”的荒谬情况。桶数越多越容易倒挂桶数越少校准越粗。保序回归Isotonic Regression正好补上这个洞它拟合一个单调不减的函数去逼近真实频率既灵活又保序。from sklearn.isotonic import IsotonicRegression iso IsotonicRegression(out_of_boundsclip, y_min0, y_max1) iso.fit(y_prob, y_true) p_cal iso.predict(y_prob)out_of_boundsclip保证线上遇到超出训练范围的分数时不会外推出离谱值y_min/y_max把输出锁在 [0,1]。保序回归是展示广告校准里最常用的单模型方案代价是它需要足够样本且在数据稀疏的高分段容易过拟合出阶梯状函数。3.3 选型对照什么场景用哪种方法参数量样本需求保序适合场景Platt Scaling2低是偏差形态单一、数据稀疏温度缩放1低是深度模型过度自信等频分桶n_bins中否需要快速看偏差形态保序回归非参高是偏差分段扭曲、样本充足分段 Platt2×段数中段内是不同区间偏差方向不同实操里我一般先用分桶画可靠性图定位偏差形态再决定用保序回归还是分段 Platt。如果线上要极低延迟、极简维护Platt 或温度缩放优先如果 ECE 要求严格且样本够保序回归是默认选择。注意所有校准器都必须在独立校准集上拟合且校准集要定期更新否则流量漂移后校准器本身会失效。4. 工程落地把校准接进出价链路4.1 校准在链路里的位置一个常见的误区是把校准当成离线后处理训练完跑一遍就完事。实际上校准要嵌进在线打分链路位置在模型输出之后、出价公式之前原始特征 → 模型打分 → 校准层 → pCTR_cal → ecpm pCTR_cal × bid → 排序/出价校准层要满足几个工程约束延迟极低通常要求微秒级不能拖慢打分、可热更新流量分布变了要能快速换校准器、可回滚校准错了要能一键退回原始分数。保序回归的预测本质是一次查表 线性插值非常适合做成内存里的查找结构比重新跑模型轻得多。4.2 校准器的线上服务化把保序回归的阶梯函数导出成可查表的结构线上直接二分查找import numpy as np class IsotonicCalibrator: def __init__(self, x_thresholds, y_values): # x_thresholds 单调递增y_values 单调不减 self.x np.asarray(x_thresholds, dtypenp.float64) self.y np.asarray(y_values, dtypenp.float64) def calibrate(self, score): # 二分定位 线性插值O(log n) if score self.x[0]: return self.y[0] if score self.x[-1]: return self.y[-1] idx np.searchsorted(self.x, score, sideright) - 1 x0, x1 self.x[idx], self.x[idx 1] y0, y1 self.y[idx], self.y[idx 1] if x1 x0: return y0 # 线性插值保证输出连续避免阶梯跳变导致出价抖动 return y0 (y1 - y0) * (score - x0) / (x1 - x0)关键点是插值而非硬查表。纯阶梯查表会让相邻分数校准后出现跳变出价随之抖动预算消耗曲线会很难看。线性插值把阶梯磨平代价是牺牲一点点单调性精度但工程上更稳。x_thresholds和y_values从离线拟合结果导出序列化成数组加载进服务热更新时整体替换引用即可不用锁。4.3 分人群/分广告位校准全局一个校准器往往不够。不同广告位的点击率量级差一个数量级用同一个校准器会把低 CTR 位置校准得偏高。常见做法是按广告位、人群包、时段做分片校准每片独立拟合一个校准器def fit_per_segment(df, segment_cols, score_col, label_col, min_samples5000): 按分片拟合校准器样本不足的分片回退到全局校准器 calibrators {} global_cal IsotonicRegression(out_of_boundsclip, y_min0, y_max1) global_cal.fit(df[score_col], df[label_col]) for keys, group in df.groupby(segment_cols): if len(group) min_samples: calibrators[keys] global_cal # 回退避免小样本过拟合 continue iso IsotonicRegression(out_of_boundsclip, y_min0, y_max1) iso.fit(group[score_col], group[label_col]) calibrators[keys] iso return calibratorsmin_samples是分片的最小样本门槛低于它就回退全局这是防止小分片校准器过拟合的关键。分片越细校准越贴合但每片样本越少、越容易过拟合且线上维护的校准器数量爆炸。实践中分片维度控制在 2~3 个比如广告位 × 人群大类再多收益递减、维护成本陡增。注意分片校准器上线后要监控每个分片的 ECE 和样本量样本量骤降的分片要及时回退否则会拿一个过时的校准器去出价。5. 避坑与排查校准上线后最容易翻车的几件事5.1 现象离线 ECE 很低线上 ROI 反而变差原因通常是校准集和线上分布不一致。离线校准集来自历史日志而线上流量受新出价策略影响已经漂移校准器拟合的是旧分布。解决校准集用最近 1~3 天数据且上线后做 A/B监控校准后 pCTR 的均值与线上真实 CTR 的偏差偏差超过阈值自动告警并回退。5.2 现象校准后排序指标AUC下降这是正常的甚至是预期的。校准会改变分数的绝对数值如果校准器不是严格保序比如分桶AUC 会掉。不要用 AUC 判断校准好坏校准看 ECE 和可靠性图排序看 AUC两者分开评估。如果用了保序回归 AUC 还掉说明校准集噪声太大拟合出了非单调的伪影。5.3 现象出价抖动、预算消耗曲线呈锯齿多半是校准输出不连续硬查表或校准器更新过于频繁。解决校准输出做线性插值保证连续校准器更新加平滑新旧校准器按权重混合一段时间避免切换瞬间出价跳变。5.4 现象低概率区校准后仍然偏高低 CTR 区间样本极少保序回归在这个区间基本是常数外推校准效果有限。解决对低概率区单独用 Platt 或先验修正按负采样比例还原不要指望保序回归在稀疏区能拟合出细节。同时检查负采样比例是否在校准时被正确还原。5.5 现象大促期间校准集体失效大促流量分布突变历史校准器完全不适配。解决大促前用近期数据重训校准器并准备一套“保守校准”略微低估作为兜底宁可少花预算也不要超投。大促期间缩短校准器更新周期从按天改成按小时。6. 进阶用分位数校准和在线学习把 ECE 压到更低前面讲的都是静态校准器拟合一次用一段时间。但展示广告的分布是持续漂移的静态校准器的 ECE 会随时间缓慢恶化。两个进阶方向值得投入。第一个是分位数校准Quantile Calibration。普通校准只保证“预测概率的均值等于真实频率”但不保证整个分布对齐。分位数校准要求预测概率的分位数和真实标签的分位数一致对出价这种关心尾部高价值流量的场景更友好。做法是把预测分数映射到其经验分位再用真实标签在该分位上的频率做校准本质是分布层面的对齐。第二个是在线学习校准器。把校准器参数当成在线更新的状态每来一批带标签的反馈点击/未点击就增量更新一次。保序回归本身不好增量更新但可以用在线逻辑回归如 FTRL做 Platt 式的在线校准或者用滑动窗口定期重拟合保序回归。工程上后者更简单维护一个滑动窗口的 (score, label) 缓冲每隔 N 分钟重拟合一次新旧校准器做指数平滑过渡。验证校准效果不能只看一个 ECE 数字。我一般会同时看三样可靠性图形态是否贴近对角线、分桶 ECE 的最大值worst-case 比平均值更重要、以及校准后 pCTR 的均值与线上真实 CTR 的滚动偏差。三者都稳才敢放量。def monitor_calibration(y_true, y_prob, window10000): 滚动监控返回整体 ECE 和最大分桶偏差 ece ece_score(y_true, y_prob, n_bins15) bins np.linspace(0, 1, 16) bin_ids np.digitize(y_prob, bins) - 1 worst 0.0 for i in range(15): mask bin_ids i if mask.sum() 100: # 样本太少的桶不参与 worst-case 判断 continue worst max(worst, abs(y_prob[mask].mean() - y_true[mask].mean())) return ece, worstwindow控制监控的滚动范围mask.sum() 100过滤掉样本不足的桶避免小样本噪声触发误告警。这套监控挂到线上校准器一旦劣化就能第一时间发现。血泪经验是校准这件事离线指标再漂亮都不算数必须用线上真实反馈闭环验证。我踩过最大的坑就是拿一个离线 ECE 0.002 的校准器直接全量结果因为校准集是三天前的、大促当天流量翻倍线上偏差直接飙到 0.05。后来养成习惯——任何校准器上线先小流量跑一天看滚动偏差曲线平不平平了再放量。校准没有后悔药只有监控和回滚。希望帮到你。本文还有配套的精品资源点击获取
