简介个人信用评估是信贷风控的核心环节其本质是通过机器学习模型预测违约概率并转化为业务可用的评分卡分数。在建模过程中特征工程是决定模型上限的关键其中WOE编码通过分箱将原始字段转化为与违约风险呈单调关系的数值既能处理缺失值和异常值又为逻辑回归提供了线性输入。逻辑回归因可解释性强、易于监控成为评分卡的主流算法配合KS、AUC等指标评估区分度再经基准分与PDO映射为标准分数。上线后还需用PSI持续监测特征和分数分布漂移确保模型稳定性。本文从数据清洗、特征分箱、模型训练到评分卡转换给出完整Python实现与避坑指南适用于消费金融、银行零售信贷等场景帮助风控人员快速搭建并落地可靠的信用评分模型。1. 用Python做个人信用评估为什么不是套个模型那么简单信贷审批里最费神的一件事是把“这个客户到底还不还得起钱”变成一句能交代给业务的结论。过去靠人工看流水、看征信报告、打电话核实现在用Python加机器学习做个人信用评估已经是消金公司和银行零售信贷的默认做法。标题里说的“信用评估”本质上是训练一个分类模型把未来一段时间内的违约概率预测出来再换算成风控人员能直接用的评分卡分数。但真上手做一遍你就会发现难点不在模型本身而在数据怎么清洗、坏样本怎么定义、特征怎么分箱、模型分数怎么映射到业务决策。这篇笔记按我实际做过的路径把数据预处理、WOE编码、逻辑回归训练、评分卡转换和上线监控整条链路拆开讲新手能照着代码跑通熟手可以直接抄参数和避坑清单。2. 从原始数据到WOE分箱信用评估的特征工程怎么做才不白做信用评估的数据和图像、文本不一样它没有那么多“端到端”的空间。每一列字段背后都是明确的业务含义比如年龄、收入、负债率、查询次数、历史逾期天数。这些字段单独拿出来对违约的预测能力都很弱但组合起来、再经过合适的分箱和编码就能变成一个区分度可用的评分模型。特征工程做得好不好直接决定后面逻辑回归的上限。这一章的价值在于把一份原始表格变成能喂给模型的训练集过程中顺便把缺失、异常、分类变量这些信用数据里最常见的脏问题处理掉。2.1 个人信用数据集长什么样字段、缺失与脏数据先看数据。我一般会拿脱敏后的样本行数在几万到几十万字段大约二十到五十个。典型的字段包括年龄、户籍、学历、婚姻状态、工作年限、月收入、负债比、近半年征信查询次数、历史最长逾期天数、信用卡使用率以及最重要的目标变量——观察窗口内是否逾期通常逾期30天以上算坏样本。第一步不是建模而是做数据体检。用 Pandas 看一眼缺失率、数据类型和唯一值数量基本就能判断这份数据能不能直接用。import pandas as pd import numpy as np # 读取脱敏后的个人信用数据 df pd.read_csv(credit_data.csv) # 基础体检缺失率、数据类型、唯一值数量 def inspect_data(df): info pd.DataFrame({ missing_rate: df.isnull().mean(), dtype: df.dtypes, nunique: df.nunique() }) return info.sort_values(missing_rate, ascendingFalse) inspected inspect_data(df) print(inspected.head(20))这里的逻辑很直接missing_rate告诉哪些字段不能直接用dtype帮助识别被误读成数值的类别字段nunique对分类变量尤其重要比如学历只有几个取值如果出现几百个唯一值那基本可以断定数据脏了。一个容易忽略的点是身份类字段比如用户ID、手机号它们唯一值极高但没有预测意义后续特征筛选时建议直接剔除。再就是金额类字段例如收入常出现极端值比如月收入填了100万。对极端值我的习惯是不急着删先看分布再做截尾或分箱因为信用场景里极端值往往是真实的比如高净值客户。2.2 分箱与WOE编码把好坏分布差异变成特征信用评分模型不会直接把“年龄32”这样的原始数值扔给模型而是先分箱再计算每一箱的WOEWeight of Evidence证据权重替换原始值。原因有两个一是让特征与目标之间的关系更平滑年龄和违约率本来就不是线性关系二是分箱之后模型对异常值和缺失值更鲁棒业务上解释起来也清楚。WOE的计算公式不复杂先按分箱把样本切成若干段对每一箱分别统计好客户占比和坏客户占比然后取两者比值的对数。IV值则是对WOE做加权求和用来衡量特征整体的预测能力。def woe_iv_single(df, feature, target, bins10): work df[[feature, target]].copy() # 等频分箱duplicatesdrop 避免重复边界导致报错 work[bucket] pd.qcut(work[feature], qbins, duplicatesdrop) grouped work.groupby(bucket, observedTrue)[target].agg( totalcount, badsum ) grouped[good] grouped[total] - grouped[bad] grouped[bad_rate] grouped[bad] / grouped[total] total_bad grouped[bad].sum() total_good grouped[good].sum() dist_bad grouped[bad] / total_bad dist_good grouped[good] / total_good # WOE 取对数bad_rate 高于整体时 WOE 为负 grouped[woe] np.log(dist_good / dist_bad) # IV 好坏占比差 * WOE按分箱累加后用于特征筛选 grouped[iv] (dist_good - dist_bad) * grouped[woe] return grouped result woe_iv_single(df, age, is_default, bins10) print(result)参数上bins10是经验值不是死的。样本量足够大时可以用20箱让特征更细致样本少时减到5箱避免某些箱子总量太小。duplicatesdrop是必须加的否则年龄这种取整字段重复边界会直接抛异常。observedTrue对应 Pandas 2.0 之后的分类变量分组行为加上之后代码在旧版本也能稳定跑。分箱完成后肉眼检查每一箱的bad_rate。正常情况下好客户占比越高的箱子坏率应该越低WOE 应该单调上升或单调下降。如果中间某箱明显跳跃说明这箱样本太少或特征口径有问题需要手动合箱再算一遍。IV值方面小于0.02的特征基本没有区分度0.02到0.1算弱但可以保留0.1以上是强变量。信用评分里一般优先保留IV大于0.02且业务解释合理的字段而不是把所有特征全塞进模型。2.3 特征筛选与相关性去重少而精比多而全更重要个人信用数据集通常有几十个候选特征但真正稳健的评分模型只需要十到二十个。原因在于信用数据的特征之间高度相关比如“月收入”和“负债比”几乎天然相关同时放进模型会让逻辑回归的系数不稳定线上一旦某个特征缺失或波动分数就会跟着抖。常见做法是两步筛选第一步按IV值排序保留IV大于0.02的第二步算特征间的皮尔逊相关系数对相关系数绝对值超过0.7的两个特征保留IV更高、业务含义更直接的那个。这一步不用写复杂代码df.corr()就能批量跑关键是定好阈值。还有一点容易被忽略逻辑回归要求特征与目标的关系接近线性。经过WOE编码后特征值已经和Logit呈近似线性所以业内主流的做法是“先WOE再进模型”很少直接拿原始数值或归一化后的数值训练。WOE编码本身就是特征工程的一部分它把非线性关系提前消化掉了。3. 用Python搭建信用评分模型逻辑回归和树模型怎么选模型选型在信用评估里其实不太纠结。主流方案是逻辑回归做主力模型因为要的是稳定、可解释、可审计。树模型像LightGBM、XGBoost也常出现但多用于辅助场景比如特征重要性排序、拒绝客户的回捞排序或者做模型融合的一个子模型。这一章先讲逻辑回归为什么是基本盘再给一份最小可运行的训练代码最后补一下树模型在信用场景里的使用边界。3.1 为什么信用评分偏爱逻辑回归可解释性与监控逻辑逻辑回归输出的是一个0到1之间的概率这个概率经过公式换算可以变成整数分数。监管和业务部门看模型结果时不只是看“批不批”还要能说清楚为什么批、为什么拒。逻辑回归的权重是加性的每个特征对分数的贡献可以直接算出来这一条就足以让它在风控领域站稳脚跟。另一个原因是监控。评分卡上线后要定期做稳定性监控比如检验特征分布是否偏移、分数段坏率是否变化。逻辑回归的分数是各特征贡献的线性加总哪一块出了问题拆开查权重和特征分布就能定位。换成树模型要定位就和拆黑匣子一样SHAP值能解释但解释成本高监控也不好做。所以在这个标题的项目里主模型的默认选项就是逻辑回归。3.2 最小可运行的训练代码从sklearn到评分卡转换把WOE编码后的数据送进逻辑回归整个过程在sklearn里不超过十行。下面这份代码是能直接跑的最小集先随机切分训练集和测试集训练模型然后输出AUC。from sklearn.linear_model import LogisticRegression from sklearn.model_selection import train_test_split from sklearn.metrics import roc_auc_score # 假设 X 已经完成WOE编码y 是0/1标签1坏样本 X df[feature_cols].copy() y df[is_default].copy() # 随机切分只用于快速验证线上评估要用时间窗口切分后面会讲 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.3, random_state42, stratifyy ) model LogisticRegression( C0.1, max_iter300, class_weightbalanced ) model.fit(X_train, y_train) y_prob model.predict_proba(X_test)[:, 1] auc roc_auc_score(y_test, y_prob) print(fAUC: {auc:.4f})参数说明是这份代码的关键。C0.1控制正则化强度C越小正则越强系数越平滑。信用场景里不要追求C很大样本量几十万、特征十几个时C在0.05到1之间通常够用。class_weightbalanced用于处理好坏样本不平衡它按样本比例自动给少数类加权比手动调整阈值更省事。max_iter300是防止默认100次迭代不收敛的保险如果数据标准化过实际迭代次数一般远小于300。训练完别急着看准确率。信用场景里坏样本占比往往只有3%到10%准确率这种指标基本没有参考价值直接看AUC和KS才行。AUC在0.7以上算及格0.75到0.8在信贷场景已经是不错的建模结果想上0.9基本不现实也不可信。3.3 树模型的备选路线LightGBM与HistGradientBoosting的边界很多初学者会把LightGBM搬来当主模型理由是AUC更高。但AUC高了不代表能上线。树模型在信用数据上确实能挖掘更复杂的交互关系比如“年龄小且查询次数多”这类组合条件的区分度逻辑回归学不到。所以我的建议是把树模型当作对照模型和特征发现工具而不是直接替换评分卡。如果想快速实验不需要装额外的lightgbm包sklearn里的HistGradientBoostingClassifier就足够做对照实验。它和LightGBM一样是基于直方图的梯度提升实现参数也类似。from sklearn.ensemble import HistGradientBoostingClassifier tree_model HistGradientBoostingClassifier( max_depth4, min_samples_leaf100, learning_rate0.05, class_weightbalanced, early_stoppingTrue, validation_fraction0.2, random_state42 ) tree_model.fit(X_train, y_train) tree_prob tree_model.predict_proba(X_test)[:, 1] tree_auc roc_auc_score(y_test, tree_prob) print(fTree AUC: {tree_auc:.4f})参数上min_samples_leaf100是在风控场景里最需要盯紧的它控制叶子节点的最小样本量。信用数据噪声大叶子节点样本太少基本就是记数字泛化极差。max_depth4也是保守设置一般不要超过6。early_stoppingTrue搭配validation_fraction0.2让模型在验证集上早停防止训练后期过拟合。我一般会把逻辑回归和树模型的AUC放在一起对比。两者差距在0.03以内逻辑回归就是首选如果树模型显著更好我也不急着换主模型而是去查树模型用到了哪些特征组合把这些组合构造成新的交叉特征再喂回逻辑回归。这种做法有时能把逻辑回归的AUC拉高不少同时又保住了可解释性。4. 模型评估与评分卡校准KS、AUC和分数映射怎么做模型训练出来只是拿到一个原始概率距离业务能用的“分数”还差两步第一步是验证模型区分度是否合格第二步是把概率映射成整数评分卡。这一章把KS计算、评分卡公式、PSI监控三块串起来讲每一步都给出可复制的代码和参数经验值。4.1 KS与AUC看模型能不能把好人坏人分开AUC衡量的是模型整体排序能力但信用评估里大家更爱看KS。KS的核心思想是把样本按模型概率从高到低排序均匀切成十等份然后看每一份里坏客户累计占比与好客户累计占比的最大差距。这个差距越大说明模型把好坏客户区分得越开。计算KS的代码很简单但排序方向要小心。概率最高的一组坏客户占比应该明显高于好客户占比所以累计差距曲线先上升再回落取最大值。def ks_from_prob(y_true, y_prob, buckets10): df_ks pd.DataFrame({label: y_true, prob: y_prob}) # 按概率从高到低排序高风险客户在前 df_ks df_ks.sort_values(prob, ascendingFalse).reset_index(dropTrue) df_ks[bucket] pd.qcut(df_ks[prob], qbuckets, duplicatesdrop) grouped df_ks.groupby(bucket, observedTrue)[label].agg( totalcount, badsum ) grouped[good] grouped[total] - grouped[bad] # 累计占比从高风险组开始累加 grouped[cum_bad] grouped[bad].cumsum() / grouped[bad].sum() grouped[cum_good] grouped[good].cumsum() / grouped[good].sum() grouped[ks_bucket] grouped[cum_bad] - grouped[cum_good] return grouped[ks_bucket].max(), grouped ks_value, ks_table ks_from_prob(y_test, y_prob, buckets10) print(fKS: {ks_value:.4f})KS的经验区间0.2到0.3认为模型可用0.3到0.4说明区分度良好超过0.4要警惕可能是特征泄漏或过拟合。注意KS高不是单纯的好事如果KS在某一两个分箱里特别高其他区间贡献很小说明模型只在局部有区分度上线后阈值附近稍一波动区分能力就会塌方。除了KS我每次建模还会输出十分位表——就是把十等份里每一份的样本占比、坏客户占比和累计坏客户占比列出来。这个表比KS数字更实用因为它能直接告诉策略同事如果审批通过70%的客户会承担多少坏账。4.2 从模型概率到标准评分卡PDO与基准分怎么设模型输出的概率没法直接给业务用。概率是连续的业务要的是一个整数的、方向明确的分数——分数越高风险越低。业内标准做法是用一个线性变换把概率转成分数公式的核心是两个参数基准分和PDO。PDOPoints to Double the Odds的含义是好坏比每翻一倍分数增加多少分。比如PDO50意思是当违约几率降低一半时分数增加50分。常见设定是基准分600分对应好坏比1:1PDO为50分。具体换算公式和代码一起看def build_scorecard(model, feature_cols, base_score600, pdo50, reference_rowNone): # factor 表示好坏比每翻一倍分数对应变化的分值 factor pdo / np.log(2) coef model.coef_[0] intercept model.intercept_[0] # 以训练样本均值为参考组给参考组定基准分 if reference_row is None: reference_row X_train.mean(axis0) # 参考点对应的线性预测值 raw_ref intercept np.dot(coef, reference_row) # 偏移量保证参考组样本分数等于 base_score offset base_score factor * raw_ref # 每个特征每增加一个单位对分数的贡献 # 违约概率越高分数越低所以系数前加负号 scorecard pd.DataFrame({ feature: feature_cols, coef: coef, score_per_unit: -factor * coef }) def score_single(x): raw intercept np.dot(coef, x) return offset - factor * raw return scorecard, score_single scorecard, score_fn build_scorecard(model, feature_cols, base_score600, pdo50) print(scorecard)运行之后scorecard表里会有每个特征的score_per_unit含义是“该特征每增加一个单位客户分数下降多少”。比如查询次数的score_per_unit是-3.2意味着查询次数每多1次总分大约扣3.2分。使用这份代码时要注意一个前提逻辑回归是在WOE特征上训练的coef的绝对值和原始特征量纲已经无关所以score_per_unit对应的是WOE值增加一个单位的影响而不是原始年龄、收入增加一个单位的影响。要想把分数拆到原始变量的“每岁扣几分、每万元扣几分”需要把WOE分箱边界和箱内WOE值做进一步展开这里不展开但方向要清楚。4.3 用PSI盯住模型稳定性上线之后才开始的真正考验模型上线不是终点。客群结构会变征信数据口径会变收入分布会被新的经济环境带着走。所有这一切都会让模型分数的分布发生偏移PSIPopulation Stability Index群体稳定性指数就是衡量这个偏移的指标。PSI的计算逻辑和KS有点像也是分箱后比较占比但比较的是“同一批分箱边界下训练集分数分布和当前线上分数分布”的差异。允许代码固定训练集分位数后再把当前月分数放进去统计。def calculate_psi(expected_score, actual_score, buckets10): # 用训练集分数的分位数作为固定边界线上数据沿用同一组边界 _, bins pd.qcut(expected_score, qbuckets, duplicatesdrop, retbinsTrue) exp_dist pd.cut(expected_score, binsbins).value_counts(normalizeTrue).sort_index() act_dist pd.cut(actual_score, binsbins).value_counts(normalizeTrue).fillna(0).sort_index() psi_df pd.DataFrame({expected: exp_dist, actual: act_dist}).fillna(0.0) # 占比极小置底数避免除0和log0 psi_df[expected] psi_df[expected].clip(lower1e-6) psi_df[actual] psi_df[actual].clip(lower1e-6) psi ((psi_df[actual] - psi_df[expected]) * np.log(psi_df[actual] / psi_df[expected])).sum() return psiPSI的经验标准小于0.1说明稳定性良好不需要干预0.1到0.25说明分布有偏移需要排查原因大于0.25说明模型已经明显老化强烈建议重新训练。监控频率上我一般按月跑线上分数分布如果出现整体搬家第一件事不是调模型而是查特征口径和数据源。5. 信用评分实战避坑5个最容易翻车的地方做信用评估踩过的坑比模型本身复杂得多。下面这五条每一条都是我见过或亲身处理过的问题按“现象到原因到解决”的顺序写清楚。项目里如果照做能省不少血泪时间。5.1 样本不均衡好客户太多坏客户太少现象坏样本占比不到5%训练出来的模型把所有客人都预测成好客户测试集AUC看起来还很高甚至超过0.8。原因是准确率被占绝对多数的好客户拉满了模型实际上什么都没学到。原因损失函数被多数类主导模型倾向于把所有样本往大概率的那一侧推。信用场景天然就是不均衡的好客户比例高是常态这不算数据问题是建模策略问题。解决训练时给LogisticRegression加class_weightbalanced或者手动把坏样本的权重调高评估时不看准确率只看KS、AUC和十分位表。尤其注意类权重调整之后模型输出的概率绝对值不再等于实际违约率所以后续评分卡换算时的基准分要重新校准。还有一个更重的做法叫拒绝推断就是把被拒客户和通过客户一起纳入建模样本但这里不展开但要知道有这条路可走。5.2 时间穿越用未来数据训练模型现象抽样时随机切分训练集和测试集回测AUC有0.92上线后真实AUC不到0.6。原因随机切分把时间打乱了训练集里混入了未来信息。比如要预测“未来三个月是逾期”但数据里如果包含了客户到现在为止的贷后表现那模型等于提前看了答案。更隐蔽的情况是特征本身带了未来字段比如计算负债率时用了当期余额而这个余额在申请时点还没有产生。解决做数据切分时按申请时间排序前70%做训练后30%做测试保证测试集在时间上晚于训练集。特征加工时所有字段必须是以申请时点为截止的存量值不允许使用观察期之后发生的增量数据。这是信用建模铁律违反一次翻车一次。5.3 缺失值处理删除还是填充现象数据里某个字段缺失率30%直接dropna之后样本少了一大半训练集和线上评分的人群不一致改成填充0之后坏率反而比有值的箱子高出一截WOE曲线出现反常。原因信用场景的缺失往往不是随机缺失而是带有业务含义的。比如征信查询次数缺失可能代表客户不是征信白户收入字段缺失可能代表自雇人士没有固定薪资这些缺失本身就是信号。一刀切删除或填充等于把信息扔了再给模型喂噪声。解决常见做法是先加入一列“是否缺失”的二值特征再对连续变量做分箱时把缺失单独设成一个箱子而不是参与等频分箱。实际操作上可以用一个特征范围外的哨兵值比如-999填充缺失再做分箱分箱后单独把哨兵值所在的箱子命名为“缺失箱”它的WOE值通常很能说明问题。# 先标记缺失再填充哨兵值参与分箱 df[income_is_missing] df[monthly_income].isnull().astype(int) df[monthly_income] df[monthly_income].fillna(-999) result woe_iv_single(df, monthly_income, is_default, bins10) print(result)这里的关键是缺失箱的坏率如果显著高于有值箱说明“没收入数据”本身就是一个风险信号模型应该独立捕捉它。5.4 过拟合树模型的天然陷阱现象树模型训练集AUC 0.96测试集AUC掉到0.80特征数量一多这个差距还能继续拉大。原因信用数据特征数量不多但噪声不小树模型在高基数特征和交叉组合上有天然优势也天然容易把噪声记住。特别是把几十个原始类别特征直接做独热编码喂给树模型几乎必过拟合。解决树模型做实验可以但要限制复杂度。min_samples_leaf设置到100以上max_depth不超过6max_features保留大部分但不要全量。逻辑回归这边严格用L2正则化C控制在0.05到1之间。不管哪种模型最终评价以测试集KS为准训练集KS高出测试集0.1以上基本就是过拟合实锤。5.5 特征稳定性单一变量漂移就够让整张评分卡失效现象上线后整体PSI还在0.2以内但某个特征单独漂移特别严重。查下来是上游改了字段口径之前为空的字段开始有值或者某个枚举值含义变了。原因模型是全体特征的线性加总一个特征的分布搬了家对应那一项分数贡献就整体变化。比如“学历”字段原本缺失率很高上游系统修复后大量补充了真实学历值模型里“学历缺失箱”的WOE贡献突然消失客户分数普遍上涨。解决上线前对每个特征单独跑一份PSI基线上线后按月监控单特征PSI而不仅盯整体分数。单特征PSI超过0.25优先和上游确认口径如果口径变化不可逆只能重训模型或改造特征。这个坑排查起来最费时间因为问题往往不在模型代码里而在数据链路里。6. 从模型到落地双阈值策略与一个验证技巧模型分数算出来了最后一步是把它变成业务规则。这个环节最常犯的错是把阈值定成一个死数字——高于它全过低于它全拒。实际上客群、坏账目标、放款量都在动态变化我建议做双阈值策略。6.1 双阈值策略把模型分数变成业务决策双阈值就是在分数轴上画两条线。比如600分是参考基准那就设550为硬拒绝线700为硬通过线。分数低于550直接拒高于700直接过中间那一段不进模型决策转人工审核或走额外的反欺诈规则。这样做的好处是模型只需要在两端守住高确定性区域中间段把决策权交给策略整体坏账率和通过率都好控制。双阈值具体怎么定要回到十分位表来看。把测试集的分数分成十等份输出每一份的通过率、坏率、累计坏比例。如果目标是把整体坏率控制在2%以内就找到累计坏率刚好到2%的那个分数段用它的下沿做硬拒绝线。这个验证脚本很轻但每次调阈值前我都会跑一遍因为它能直观地看到“提高5分拒绝线会牺牲多少放款量”。6.2 验证分数单调性的一个笨办法最后给一个我每次上线前都会做的笨办法把验证集客户的模型分数从低到高拉一列再配上真实是否逾期算每个分数段的坏率然后肉眼确认坏率随分数升高而下降。信用评估模型的核心逻辑就是单调性——分数越高风险越低。如果排序过程中出现某一段坏率回升基本可以判定特征分箱或WOE编码出了问题这时先不要调阈值回头查特征。这个习惯我坚持了很长时间了每次模型迭代上线前都要做一遍哪怕AUC和KS都合格也不改。信用评分这种事数字不对劲大概率不是模型复杂度和参数的问题而是数据口径或时间窗口的问题。先查数据再调模型希望这个方法能帮你在做类似项目时少走弯路。本文还有配套的精品资源点击获取
