上个月帮一个做电商的朋友做用户分层他手上是一份两万多行的订单汇总表字段包含最近一次消费间隔、半年内下单次数、累计消费金额、平均客单价外加会员等级这种分类字段。他打开 SPSS在分析—分类菜单下面看到三个聚类入口问我的第一句话就是这三个到底该点哪个。我先用 k-均值跑了一遍出来五个群换成系统聚类对着树状图数下来是四个群再切到二阶聚类软件自己报了三个群的方案。三份结果并排放在屏幕上他反而更糊了。这种场面我见过太多次。聚类分析从来不是点一下就有标准答案的操作它更像一把需要自己校准的卡尺——量什么、用什么刻度、允许多大误差都得先想清楚。SPSS 把三种聚类方法塞在同一个菜单组里并不意味着它们可以互换它们吃进去的数据形态不同、对距离的定义不同、读结果的方式也不同。下面我把这三个入口从原理到操作拆一遍重点讲每一步为什么这么点、参数为什么这么填以及我在实际项目里真正踩过的坑。1. 三个聚类入口的底层分歧先看数据再选方法很多教程一上来就教点击路径我反而建议先退一步。聚类分析的本质是把彼此相近的个体归到一堆这句话里藏着两个关键问题个体是什么相近怎么定义。这两个问题想清楚了方法几乎是自动浮现的。反过来如果你连自己要分的是行还是列都没想明白后面所有参数都只是在瞎调。1.1 被分组的个体通常是样本不是变量先要分清一件事。聚类分析里的个体绝大多数情况下指样本也就是数据表里的行比如一个用户、一家门店、一个城市。我们要做的是把这些样本分成若干组让组内相似、组间差异大。这和把变量归归类是两码事后者属于降维或者因子分析的职责范围。SPSS 的系统聚类对话框里确实有一个聚类变量的单选项但那是个相当小众的用法新手点错之后拿到一张完全没法解释的树状图往往要花很久才反应过来。我在实际项目里遇到过一个典型误用有人把问卷里的十几个题项当成个体去聚类想找出哪些题目测的是同一个维度。这其实是因子分析或者多维尺度分析的活硬用聚类做出来的结果很难解释因为题目之间的相近要靠相关系数来衡量而不是欧氏距离。所以拿到数据先自问一句我要分组的是行还是列。绝大部分业务场景答案都是行。1.2 距离怎么算直接决定谁跟谁被塞进一堆聚类算法算的是距离距离的定义方式直接决定分组结果。同样是那批用户用欧氏距离和用余弦相似度跑出来的群可能天差地别。原因不难理解欧氏距离关心数值差多少余弦相似度只关心方向像不像一个消费 100 元和消费 10000 元的人在余弦眼里可能很接近在欧氏眼里差得很远。SPSS 提供的距离测度挺多常用的就那么几种我把它们的适用场景整理了一下距离测度计算特点更适合什么数据欧氏距离最直观的直线距离对量纲极其敏感连续变量且已经标准化平方欧氏距离放大较大差异的权重系统聚类搭配 Ward 法时常用余弦相似度只看方向不看数值大小文本向量、稀疏数据皮尔逊相关关心形状和趋势是否同步表达谱、时间趋势型数据卡方测度针对计数型频数交叉表形式的分类数据新手最容易忽略的是量纲问题。我第一次用 k-均值做客户分群时就栽过金额字段单位是元数值动辄几千上万而下单次数只有个位数跑出来的聚类结果几乎完全由金额决定次数那一列形同虚设。后面会专门讲怎么处理。1.3 三种方法的分工一张表说清k-均值、系统聚类、二阶聚类并不是三代产品的关系它们是针对不同场景的三条技术路线。下面这张表我建议存下来选方法的时候扫一眼能省很多试错时间对比维度k-均值聚类系统聚类二阶聚类是否需要预设类数必须预设 K不需要事后切树可自动也可指定支持的变量类型仅连续变量连续、计数、二值连续与分类可混合样本量适应性大样本友好几千行以内较稳大数据量设计主要输出聚类中心、方差表树状图、冰柱图聚类分布、变量重要性对异常值敏感度较敏感视连接方式而定可设噪声处理结果可复现性受初始中心影响完全确定受随机种子影响小看完这张表选方法的逻辑就很清楚了。手上全是连续变量、样本几万行、想快速得到分群走 k-均值变量混着分类项、想让软件自己定类数、还想看哪个变量对分组贡献最大用二阶聚类样本量不大、想看清楚分组是怎么一层层合并出来的、需要一个有说服力的过程图系统聚类更合适。2. k-均值聚类K 值、迭代与那些容易被忽略的选项k-均值是三种方法里跑得最快、用得最多、也最容易被滥用的一个。它的思路很朴素先随机撒 K 个中心点把每个样本分给最近的中心然后重新计算每组的中心再重新分配如此反复直到中心不再移动。朴素归朴素参数里藏着不少门道。2.1 K 值怎么定手肘法、轮廓系数和业务可行性k-均值最大的痛点是 K 要你自己给。SPSS 不会帮你选它只负责在你给定的 K 下把样本分好。常见的定 K 思路有三种。第一种是手肘法思路是随着 K 增大组内平方和SSE会持续下降但下降速度会在某个点明显放缓那个拐点就是比较合适的 K。麻烦在于 SPSS 的 k-均值对话框并不直接输出 SSE只提供与聚类中心的距离这个保存项。我自己的土办法是跑几个不同的 K把每次保存出来的距离列求平方和近似当作指标虽然不完全等价于标准 SSE但看趋势足够用。想做得更严谨就把数据导出去用其他工具算。第二种是轮廓系数衡量的是每个样本跟本组其他样本的紧密程度与跟最近邻组的分离程度。SPSS 原生不给这个指标需要自己写公式或者借助外部工具。它的好处是比手肘法更客观缺点是要额外折腾。第三种也是我实际项目里用得最多的是业务可解释性。你跑出 K7 的方案指标可能很好看但如果业务方只能接受三到四类人群去分别做运营动作那 K7 就是没用的。聚类最终要落到分完之后你打算干什么上这一步比任何统计指标都重要。我的常规做法是先看手肘和轮廓给出一个候选区间再在这个区间里挑业务能落地的那个数。2.2 迭代与分类和仅分类选错等于白跑SPSS 的 k-均值对话框里有一个方法区域两个单选项迭代与分类、仅分类。这两个的差别很多人没在意但用错场景就麻烦了。迭代与分类是完整流程先确定初始中心然后反复迭代每次迭代都重新分配样本并更新中心直到满足收敛条件。这是默认选项也是绝大多数情况该选的。你手上没有先验知识、想让数据自己说话时选它。仅分类则跳过迭代直接用你给定的中心点做一次分配不更新中心。它适合什么场景呢适合你已经有一套固定标准比如公司内部按行业惯例划定了四类客户中心的特征值现在要把新来的一批用户按这套标准归类。这时候你要的是分配不是重新划分标准选仅分类才对。如果在这种场景下误选了迭代中心会被新数据带跑跟既有标准就对不上了。2.3 初始中心与收敛判据默认值够用但知道原理更好初始中心的选取对结果有影响。k-均值本质是个局部最优算法不同的起点可能收敛到不同的解。SPSS 默认自己挑初始中心做法是从数据里选一组彼此分散的样本点。你也可以选读取初始聚类中心从外部文件读入一组指定的中心这在你有多期数据、想让每期用同一套基准做对比时特别有用。还有一个写入最终聚类中心把这次跑出来的中心存成文件下次拿来做仅分类的输入。迭代次数默认是 10收敛准则默认是 0。这个默认值在大多数数据上够用但如果你的数据分布比较复杂10 次可能没收敛就被截断了结果会带着一点随机性。我的习惯是把最大迭代次数调到 30 到 50收敛判据保持 0意思是中心点变化量归零才停代价只是多跑几秒钟。2.4 方差分析表别当真保存变量要用对k-均值输出里有一张方差分析表列出每个变量在组间的 F 值和显著性。刚接触的人往往会兴奋地拿着 p 值说这几个变量显著区分了聚类这是典型的误读。原因很简单k-均值的目标函数就是在最大化组间差异、最小化组内差异你让它做的事本身就是把组间拉开算出来的显著性是被系统性夸大的p 值几乎没有参考价值。这张表真正该看的是 F 值的相对大小——哪个变量的 F 值明显更高说明它在这次分组里起到了更大的区分作用仅此而已。保存里的两个选项反而是重点。勾选聚类成员SPSS 会在数据视图新增一列记录每个样本属于第几类勾选与聚类中心的距离会保存每个样本到它所属中心的距离。后者我强烈建议一起勾上因为这一步是后面找离群点的关键距离特别大的那些样本往往是硬塞进某个组的边缘个体做用户运营时可以单独拎出来看。保存完别忘了给新列加变量标签否则过两天你自己都忘了那一列 1 到 5 代表什么。3. 系统聚类标准化藏在哪树状图又该怎么切系统聚类的逻辑跟 k-均值完全不同。它不需要你先定类数而是从每个样本各成一类开始每次把最相近的两类合并一直合并到只剩一类为止整个过程记录下来就是一棵树。你要做的事变成了在这棵树上找个位置切一刀。听起来更自由实际上对操作细节更挑剔。3.1 标准化选项藏在方法按钮里这一步千万别跳过系统聚类对话框底部有个方法按钮点开之后界面分三块聚类方法、测度、转换值。第三块转换值就是标准化开关里面有 Z 得分、范围 -1 到 1、范围 0 到 1、最大值为 1、均值为 1、标准差为 1 这几个选项。默认是无也就是不标准化。这里有个特别容易被忽略的差异系统聚类自带标准化选项而 k-均值没有。也就是说做 k-均值之前你得先自己去分析—描述统计—描述里勾上将标准化得分另存为变量手动生成 Z 分数列。不少人是先做了 k-均值发现结果不对才回头找标准化选项结果在 k-均值对话框里怎么也找不到白白耗掉半天。Z 得分是最常用的选择把每个变量转成均值 0、标准差 1 的形态这样量纲就被抹平了各变量在距离计算里的权重才大致相当。范围 0 到 1 适合那些你希望保留相对大小、又不希望出现负值的情况。具体选哪个没有铁律但无这个默认值在字段量纲不一致时基本等于埋雷。3.2 连接方式决定了聚类的形状偏好合并两类的时候两类之间的距离怎么定义SPSS 给了七种方法它们对结果的影响比很多人想象的大。组间连接也叫平均连接法取两组样本两两距离的平均值结果比较稳健是我最常用的默认选择。组内连接取的是合并后组内所有样本对的平均距离倾向于产生比较紧凑的簇。最近邻只取两组间最短的那一对距离容易产生链式效应——一条细长的簇把本来不该在一起的样本串起来长条形分布的数据上特别明显。最远邻取两组间最远的那一对倾向产生大小相近的球状簇但对异常值很敏感一个极端样本就能把整个合并顺序带偏。重心法和中位数法用得相对少它们有个理论上的小毛病叫反转就是合并过程中出现的距离可能比上一次还小树状图上看起来会有交叉解释起来别扭。Ward 法是最小化合并带来的组内平方和增量倾向产出规模均衡的簇搭配平方欧氏距离使用最合适做市场细分时我经常选它。经验是先跑一遍组间连接看整体结构再用 Ward 法验证一下两套结果大致吻合就说明分组比较稳。3.3 树状图和冰柱图的读法以及切几刀的依据树状图是系统聚类的招牌输出。横轴一般显示重标距离范围 0 到 25纵轴列出所有样本。每个样本从右边开始随着距离缩短逐步合并成簇。找切点的诀窍是看那些长竖线——两条分支合并时的那一段竖线越长说明这一步合并的两个簇距离越远越不应该被合并。找最长的那根竖线在它上方水平切一刀切出来的分支数就是建议的类数。冰柱图是另一种呈现方式用一列列的空白和填充分区表示归属。它比树状图更适合看某几个特定样本的归属变化但整体结构感不如树状图直观。我的习惯是树状图定大局冰柱图核对个别样本。还有一点要提醒如果样本量超过一两百树状图会把纵向标签挤成一团根本看不清。这时候改用统计里的聚类成员设定一个解的范围比如从 3 类到 6 类让 SPSS 直接输出每个样本在这些方案下的归属配合频数表看每类规模是否合理比死盯树状图效率高得多。3.4 样本量一大系统聚类就不划算了系统聚类计算的是样本两两之间的距离矩阵样本量 n 对应的计算量大致按平方增长。一千行还行五千行开始明显卡顿上万行基本就跑到你失去耐心内存占用也很可观。这不是 SPSS 的问题是算法本身的特性。所以我的实操策略是样本量大时先用系统聚类对随机抽取的几百到一千个样本做一次看清数据大致能分成几层结构、合理类数大概是多少拿到这个结论之后再回到全量数据上用 k-均值或者二阶聚类按这个类数去分。这样既有系统聚类的探索性优势又避开了它的性能瓶颈。这个组合拳我用了很多次比硬扛着跑全量系统聚类省事得多。4. 二阶聚类连续变量和分类变量混在一起时的解二阶聚类的名字听起来玄其实它的定位非常明确当你的变量里既有连续型的消费金额、年龄、频次又有分类型的性别、会员等级、所在城市等级前两种方法都不太好使的时候它上场。k-均值吃不了分类变量系统聚类处理分类变量要选卡方测度、又只能处理纯分类的情况而二阶聚类是专门为混合类型设计的。4.1 两步走的 BIRCH 思路二阶这个名字来自它的两阶段流程。第一阶段叫预聚类SPSS 把数据扫描一遍边扫边构建一棵聚类特征树把彼此足够接近的样本压缩成一个微簇记录下每个微簇的样本数和特征摘要。这一阶段的作用是把数据规模大幅压缩几万行原始数据可能被压成几百个微簇。第二阶段对微簇做层次聚类合并得出最终的分组。这个设计带来两个直接好处。一是速度快一次扫描数据不需要反复迭代整个数据集比 k-均值更适合大数据量。二是能在压缩后的微簇层面做层次合并兼顾了探索性和效率。代价是聚类特征树的构建依赖一个叫紧密度的内部参数SPSS 会自动调整一般不用你操心但如果你发现聚类结果不稳定可以在选项里调整内存分配和噪声处理设置试试。4.2 自动定类与 BIC 准则软件帮你选 K 靠谱吗二阶聚类最省心的地方是可以让软件自己定类数。对话框里默认勾的是自动确定最大聚类数默认 15。它靠的是 BIC 准则也有 AIC 选项简单说就是给不同类数的方案各打一个分这个分同时考虑拟合优度和模型复杂度分数越低说明方案越好SPSS 会挑出其中表现突出的那个。输出里会有一张自动聚类的表格列出各个类数对应的 BIC 值、BIC 变化量、变化比率以及距离测量比率。看的时候不要只盯着 BIC 最小的那个因为 BIC 往往随着类数增加而持续下降最后取的是变化量开始明显收窄的那个位置。我一般结合这张表和最终的聚类分布一起看如果软件定的类数导致某一类只有十几个样本那基本就是过拟合了应该手动把类数调小再跑。自动定类适合探索性分析你对数据完全没有概念时的第一遍。但如果后续要做多期对比或者业务方要求分组口径固定我还是建议关掉自动、手动指定类数保证每期跑出来的分组口径一致否则不同批次的数据可能给出不同的类数对比就没法做了。4.3 变量重要性输出这是它比 k-均值方便的地方二阶聚类会输出一张变量重要性图用条形长度表示每个变量对区分聚类的贡献程度。连续变量用的是 t 检验统计量分类变量用的是卡方统计量都能直接看出哪些字段真正起到了区分作用。这个输出在 k-均值里是没有的你只能靠方差分析表的 F 值相对大小去大致判断。我自己用这个图的方式很直接把重要性最低、几乎不贡献区分度的变量挑出来删掉重跑一遍看看分组结果会不会明显变化。如果不变化说明这个字段确实可有可无如果变化很大说明它在背后起了隐性作用那就得回去想想为什么它的统计指标低但影响大通常是因为它和其他变量存在某种关联。还有两个设置值得注意。一是距离测度默认是对数似然适合混合类型如果改成欧氏距离分类变量必须事先转成虚拟变量麻烦不少。二是选项里可以设置噪声处理开启之后离群点会被单独标记成 -1 类不参与主聚类这在数据里混有大量异常样本时很有用能避免几个极端值把整体分组带偏。5. 结果出来之后验证、命名和落地聚类跑完屏幕上出现一堆中心和分布表这只是半成品。真正花时间的部分在后面验证这个分组稳不稳、给每一类起个业务能听懂的名字、判断它到底能不能指导决策。这三件事做不好前面所有参数调优都白费。5.1 用拆分文件和数据切分做稳定性检验同一个数据集换个随机起点或者换一批样本结果大不一样那这个分组就没有使用价值。检验稳定性有几种做法。最简单的是数据切分把原始数据随机分成两半各自跑一遍同样的聚类方案比较两边的聚类中心是否接近、样本的归属一致性有多高。SPSS 里可以用数据—选择个案随机抽样实现也可以用数据—拆分文件按某个维度分组后分别跑比如按地区拆看不同地区的分组结构是不是一致。拆分文件这个功能挺有意思它的作用是把后续所有分析都按拆分变量分组执行。用在聚类上你可以按渠道拆然后看每个渠道内部的用户分层情况。要注意的是拆分之后 k-均值会分别在每个组内做聚类得到的第 1 类在不同组之间不一定对应同一个概念比较之前得先核对聚类中心。我见过有人拆分之后直接把各组的聚类编号拉平对比结论完全跑偏。更稳的做法是把聚类成员保存下来用不同的参数不同 K、不同随机种子多跑几轮然后做交叉表看两套方案的一致比例。一致率能到七八成以上说明分组结构比较扎实如果只有三四成那这个数据可能本来就没有清晰的分群结构硬分出来的东西没法用。5.2 从聚类中心表到能讲给人听的用户画像聚类中心表是一堆数字业务方看不懂。你要做的是把它翻译成人话。翻译的方法是把每个聚类中心跟全局均值做个对比明显高、明显低、差不多三种状态分别对应高低中等。拿电商场景举例一个群表现为最近消费间隔短、下单次数高、金额高这就是核心活跃用户另一个群表现为间隔长、次数低但金额不低那就是沉睡的高价值用户值得单独做唤醒。起名字这一步别偷懒。见过太多报告里写着第 1 类cluster 3读的人完全没有抓手。名字要带业务含义比如高频低客单低频高客单新客试水型。名字一出来后面做什么运营动作基本上也就清楚了。同时记得给每一类配上规模占比一个占 60% 的大群和一个占 3% 的小群业务优先级完全不同。还有一个细节聚类分析是不带标签的所以各个类的编号本身没有大小顺序。你手动重命名的时候最好按业务价值从高到低重新编号输出的报告才好读。5.3 自然断点法、RFM 和聚类分析别混着说这块经常有人问我单独说清楚。自然断点法是地理信息系统里常用的一种分级方法目标是把一个连续变量切成若干档让档内差异最小、档间差异最大。它本质上是一维的分级处理的是单个变量的取值序列。而聚类分析处理的是多维样本每个样本带着好几个字段要在多维空间里衡量相似度。两者的对象和维度都不一样虽然数学上都在最小化组内差异但不能拿来互相替代。那什么场景用哪个如果你要把客单价这个字段分成高、中、低三档做分组统计或者地图着色自然断点法就够了简单直接。如果你要基于客单价、频次、间隔三个字段把用户分成几类人群那就是聚类分析的活。自然断点法可以看作聚类的一个特例别把特例当通解。RFM 模型是另一个容易和聚类混淆的东西。传统 RFM 是规则法对 R、F、M 三个指标各自按中位数或均值切一刀得到 2×2×2 共八种组合。它的优点是口径固定、解释成本低、每期结果可比缺点是分界点是人定的不够贴合数据分布。而把 R、F、M 当作三个连续变量丢进 k-均值或者二阶聚类得到的是数据驱动的分组可能跑出五类、六类每类的边界来自数据本身。我的建议是需要长期稳定对比、报告要交付给多个部门统一口径时用规则 RFM做一次性的探索、想看看数据自然形成了哪些人群时用聚类。两者也可以结合先用聚类找出自然分群再观察这些群在 RFM 三个维度上的取值规律反过来给规则法优化临界点。6. 几个我踩过的坑每一个都实打实浪费过时间前面讲的都是方法层面的东西这一节讲讲操作层面真正让我卡过壳的地方。这些细节在官方文档里几乎不会专门强调但实际做项目时踩中一个就够你排查半天。6.1 量纲不统一一个字段独裁整场聚类这是最常见也最致命的一个。只要有一个字段的量纲和其他字段差着几个数量级距离计算基本就被它垄断了。我最早做客户分群时消费金额单位是元取值几千到几万而下单次数只有个位数跑出来的分组几乎就是按金额切的次数那个维度完全没起作用当时还纳闷为什么分组结果看着怪怪的。解决办法前面提过系统聚类在方法—转换值里选 Z 得分k-均值要先在描述统计里生成标准化变量再拿去跑二阶聚类内部会自动处理连续变量的量纲相对省心。一个简单的判断方法是跑之前先看一眼各变量的取值范围如果最长和最短的差距超过两个数量级就老老实实做标准化别抱侥幸心理。6.2 缺失值和极端值会把中心点整个拽偏SPSS 的聚类对话框里缺失值处理选项藏在选项按钮下面k-均值有成列排除和成对排除两种。成列排除是只要这个样本在任一变量上缺失就把整行删掉成对排除是在计算某两个变量距离时才排除缺失。成对排除看起来保留了更多数据但它会让不同变量对之间的距离建立在不同的样本子集上结果的一致性会受影响。我现在基本统一用成列排除虽然样本量会少一些但逻辑干净。极端值的问题更大。k-均值是基于均值的一个离群点能把所在组的中心拉过去不少。系统聚类里最近邻和 Ward 法对离群点也敏感。我在做门店聚类时遇到过一家数据异常的门店各项指标都是别人的好几倍结果它自己单独成一类剩下所有门店挤在另外几类里整个分组失去意义。处理办法无非两种先做描述统计和箱线图把极端值找出来要么核实后修正要么在二阶聚类里打开噪声处理让它单独成组不参与主聚类。6.3 分类变量直接塞进 k-均值等于给它编了个假顺序k-均值只能处理连续变量这个限制很硬。有些人心急把会员等级里的 1、2、3、4 当成数值直接丢进去。问题在于等级 4 和等级 1 之间的距离被算成了 3这个 3 没有任何现实意义——等级之间的差距未必等距也未必真的存在数量关系。更离谱的是拿性别编码 1 和 2 去做 k-均值算出来男性和女性的距离是 1这个数字纯属虚构。正确的做法是分类变量要么交给二阶聚类处理它原生支持要么先转成虚拟变量。虚拟变量是把一个有 k 个取值的分类变量拆成 k-1 列 0/1 变量这样距离计算才有意义。但同时也要注意虚拟变量一多连续变量的权重会被稀释标准化的时候要一并考虑。6.4 反复调 K 直到结果好看是最隐蔽的自欺最后一个坑不涉及软件操作涉及心态。调 K 值的时候人会不自觉地被好看的结果吸引某几个 K 跑出来的分组正好符合你心里预设的结论于是你就选它把不符合的那些抛在脑后。这在技术上叫过度拟合本质上是在用聚类给一个你早就想好的结论找依据。我给自己定的规矩是先用客观指标手肘、BIC、轮廓系数圈定一个候选范围在这个范围内再考虑业务可解释性选定的 K 和理由都记下来。如果后面业务方要求改 K就明确说明这是基于业务需求的调整而不是数据支持这个类数。把这两件事分清楚报告的可信度会高很多你自己半年后回头看也不会觉得当时的结论来路不明。顺带说一句聚类分析的结论天然带有一定主观性不同的方法、不同的距离、不同的变量组合都可能给出不一样的分群。这不是方法有缺陷而是数据本身可能就存在多种合理的划分方式。遇到这种情况我的处理方式是把两三个稳定的方案都列出来说明各自的划分逻辑让业务方根据后续要执行的动作来选而不是强行宣称某一个方案是正确的。这三种聚类方法我前后用了七八年从最开始照着教程点菜单到后来能根据数据形态反推该用哪个方法、该调哪个参数中间交了不少学费。如果只让我留一句话给刚上手的人那就是先把字段的量纲和类型理一遍再决定点哪个菜单这一步做扎实了能省掉后面八成的返工。至于聚类数定几个别指望软件给你标准答案它只能告诉你数据里有几种结构至于这几种结构对你有没有用得你自己结合业务判断。
