做AI评测这两年我越来越发现一个有意思的事大家总喜欢把大模型往“严肃场景”里塞反而忽略了那些规则性极强、又自带文化符号的任务。“命理推理”就是这样一类被严重低估的测试场景。它既不是简单的知识问答也不是纯粹的文本生成而是把时间参数、符号体系、语义逻辑和语言风格全部揉在一起的结构化推理任务。这篇文章我就用自己搭建的一套专业数据集实际测了几款主流大模型的命理推理能力过程中踩了不少坑也攒了一些心得今天一次性分享出来。1. 为什么要把“命理推理”当作一份正经考题1.1 命理推理和普通问答有什么本质区别先明确一个前提我并不是在鼓吹迷信而是把命理内容当成一种带有严格符号规则的自然语言任务来测试。命理推理和普通问答的差异非常大。普通的“清朝皇帝顺序”“Python列表怎么去重”本质上是对事实信息的检索和复述模型只要“记住”了就能答对。但命理推理不一样它要求模型先理解一套规则再把这个规则应用到一个具体的时间、日期或问题上。举个例子。给定一个出生日期要求推出对应的干支纪年再根据干支分析五行生克最后落到性格描述或者运势推断。这个过程中涉及到的计算链条是公历转农历 → 确定年柱月柱日柱时柱 → 推天干地支 → 查五行属性 → 结合十神关系 → 生成文本解释。任何一个环节出错后面全盘崩掉。这种“链条式推理”和写代码、做数学题很像但它又比代码多了一层开放性的语言表达要求。从评测角度看这是大模型能力的一块良好试金石。它同时考察了模型的时间日期计算能力、传统文化知识储备、条件匹配能力和长文本逻辑一致性。更关键的是命理问题天然带有“唯一输入、多步推导、开放输出”的特点能逼着模型把推理过程暴露出来而不是直接给个模糊答案。1.2 本次实测的目标和整体思路我做这套实测的初衷很简单看看当前主流大模型在“传统文化符号推理”这个小众但结构化程度很高的领域到底能拿到多少分。另一个目的是验证一套评测方法论——当遇到一个没有现成benchmark的领域时怎么快速搭建数据集、设定标准答案、设计评分规则最后得出可复现的结论。我的整体思路分四步走定义任务边界把“命理推理”拆成几个子任务比如八字排盘、五行分析、生肖婚配、星座运势、塔罗牌解读。构建专业数据集邀请有多年经验的从业者参与出题和标注确保题目质量。统一评测流程固定提示词、采样参数、输出格式避免模型发挥不稳定影响结果。多维评分不只对“对错”还要对“推理过程是否合理”“输出是否自洽”“是否过度承诺”进行打分。这套方法不止适用于命理任何缺乏公开数据集的垂直领域评测都可以直接套用。接下来我会把每个环节拆开讲重点说说数据集怎么建、评测怎么跑、结果怎么解读。2. 专业数据集构建从零开始搭一套命理评测题目2.1 题目体系设计把命理拆成可评分的子任务数据集的质量决定了评测结果的可信度。第一次尝试时我一度想直接把网络上收集的命理问答整包丢给模型测试结果发现根本没法评分——很多题目本身就是错的或者模型答得更开放无法判断对错。后来我根据命理的实际应用场景把题目分成了五个类型每一类都有明确的评分维度排盘计算型35%给出出生时间要求输出干支、五行、纳音等。有明确标准答案可以硬判对错。规则应用型25%给出某个干支或星盘信息要求分析相生相克、冲合刑害关系。有部分标准答案但允许合理扩写。解读推断型20%给出完整盘面信息要求推断性格、事业、财运等。属于开放性输出没有唯一答案只能按要点给分。翻译释义型10%解释命理术语比如“伤官见官”“天医星”这类。接近知识问答有相对固定的标准解释。对抗干扰型10%故意给出模糊日期、阴阳历混淆、边界情况考察模型能否识别异常。这部分是我特别加的常规测试根本不会关注。这个分类逻辑很重要。如果所有题目都是开放式主观题评测结果会非常难看如果全是硬计算题又测不出模型的“表达推理”能力。混合设计才能真实反映大模型在真实使用场景中会遇到的情境。2.2 标注团队的构成与标准答案的界定数据集里的80道核心题我背后的标注团队有三个人一位有十多年八字实践经验的从业者一位研究过民俗学的朋友还有我自己主要负责整理格式和协调流程。每道题的流程是从业者先出题并给出参考答案。另一位标注者独立复核看答案是否有歧义或逻辑跳跃。两人答案不一致的题目提交讨论达成一致实在无法一致的直接删除。我把最终答案整理成标准格式补充评分要点和允许的偏差范围。这一流程听起来不复杂实际执行时很耗时。尤其在“解读推断型”题目上两位资深人士经常给出完全不同的解释方向——并不是谁对谁错而是命理本身就讲究“灵活应用”。后来我们明确了规则答案必须包含哪几个关键元素只要核心元素齐全就算对具体措辞不做硬性要求。最终数据集保留了80道核心题加20道备用题总共100道。每道题都标注了难度等级基础、进阶、挑战和考察能力维度。这个规模相比动辄几万条数据的通用数据集确实很小但专业领域的人工标注成本很高而且100道题均匀覆盖五个大类已经足够反映模型能力差异。2.3 数据集的对抗性与防作弊设计评测数据集还有一个容易忽视的问题模型会不会“背答案”。有些知名大模型的训练数据里可能已经包含了大量命理问答内容。如果题目和网上的常见提问完全一致模型可能不是“推理”出了答案而是“回忆”出了答案。我在设计题目时做了两个处理一是不直接使用网上流传的原题而是所有题干都经过二次改写加入具体时间、地点背景等细节二是设置了一批反常识的对抗题。比如给一个明显不合理的出生组合看模型是否会被带偏或者问“某年不存在但民间误传的日期”对应的干支考察它能不能识别异常。这30道对抗题的评测意义很大。一个只会“背诵”的模型遇到不常见问法时错误率会急剧上升真正掌握了规则推理能力的模型即便没见过类似的题也能通过逻辑链条推导出接近的答案。从我的测试结果来看这个区分度比常规题目高得多。3. 实测过程全记录提示词、参数和模型表现的详细复盘3.1 评测环境与模型选择本次实测时间跨度约三周测试对象选了五款都有代表性的模型为了不做商业背书下面统一用模型A、模型B、模型C、模型D、模型E代称。其中模型A和模型B是闭源商用模型模型C和模型D是开源可本地部署的中小尺寸模型模型E是专攻中文场景的垂直模型。评测环境方面统一使用Python脚本调用模型接口设置温度参数为0.2以减少随机性最大输出长度2048个token。提示词模板经过三轮迭代最终固定为以下结构你是一名精通中国传统文化命理推理的专家。请根据我提供的信息完成以下推理任务。 任务要求 1. 先逐步展示推理过程再给出结论。 2. 如果信息不足请明确指出缺少哪些信息。 3. 禁止使用“可能”“大概”“也许”等不确定措辞作为结尾。 4. 最终输出格式为推理过程 结论。 题目信息{题目内容}这里有个细节值得说明把“禁止使用不确定措辞”加进提示词看起来和命理推理无关但它能逼模型做出明确判断。否则模型会用“可能运势不错”“也许需要注意健康”这类安全话术糊弄过去根本无法判断它到底有没有理解题目。3.2 模型整体成绩对比与初步分析先放总体结果。100道题按百分制计分正确率统计如下模型整体得分排盘计算型规则应用型解读推断型翻译释义型对抗干扰型模型A76.582.174.365.290.071.4模型B68.372.666.858.782.562.9模型C59.261.457.952.375.049.3模型D44.740.242.745.561.333.9模型E70.178.967.263.687.553.2这个结果有几个值得注意的分布特征。第一翻译释义型题目所有模型得分都偏高说明模型对既有知识文本的复述能力普遍不错。第二对抗干扰型难度确实上来了除了模型A其他模型的得分都出现明显下滑特别是模型D几乎腰斩。第三解读推断型是最大的失分点连表现最好的模型A也只在65分附近徘徊说明模型的开放性生成能力在命理这个充满隐喻表达的领域仍然偏弱。3.3 典型题目解析从排盘到解读的完整链路挑一道有代表性的题来复盘一下。这题的题干先只给一个出生时间“某人生于1993年8月25日14时30分地点为中国中部某城市请推出其四柱干支并分析年柱和月柱之间的生克关系。”模型A的输出结构非常标准。它先写了转换过程“公历1993年8月25日对应农历癸酉年七月初八14时30分按真太阳时修正后约为未时”然后推出四柱再分析年柱癸水和月柱庚金之间的“金生水”关系最后给出了一个简洁的结论。整个链条无一处跳步排盘结果完全正确。模型C在同样题目上就出现了经典错误——它正确算出了年柱癸酉、月柱庚申但到日柱时突然放弃推理直接写“日柱需要查阅万年历才能确定这里假设为XX”然后强行继续分析。这种“逃避式输出”在模型C和模型D上非常普遍说明它们在长链条计算任务中的稳定性不足一旦遇到需要精确计算的地方就开始用模糊策略糊弄。还有一种更隐蔽的错误出现在模型D身上。它对年柱月柱的分析完全正确但日柱时把时辰转换错了导致时柱的干支错了。有趣的是它后面的解读文本居然能顺着错误结果自圆其说写得像模像样。这个现象让我意识到模型生成的解释性文本并不一定忠实地基于前面的推理结果有时候是“先想好结论再倒推理由”和人类写作时先定论点再找论据的过程非常相似。这在评测中属于重大扣分项——推理链条自洽性打了折扣。4. 实测中暴露的典型问题与排查整改过程4.1 模型的三种“答非所问”模式测试中我归纳了模型在命理场景中三种典型的失败模式直接决定了它们的得分上限。第一种是“四柱缺算”模式。模型只推出了年柱和月柱日柱时柱直接跳过或者用“需要专业软件支持”来搪塞。在我给的固定提示词里其实已经写了“信息不足时明确指出缺少哪些信息”但很多模型宁可选择跳过也不愿意承认自己算不出来。这说明模型存在明显的“讨好倾向”为了完成指令而牺牲正确性。第二种是“术语堆砌”模式。模型对命理术语掌握得很好输出中充满了“伤官”“偏印”“劫财”这类词汇读起来很专业。但把所有术语之间的关系梳理一遍就会发现它根本没说清生克逻辑。这种模式在解读推断型题目里非常普遍属于典型的“形式大于内容”。我的评分规则里专门有一条如果核心推理要素缺失即使术语丰富也按零分处理。第三种是“过度承诺”模式。遇到一些不可能由命理直接判定具体事件的问题比如“明年我是否适合创业”模型会给出斩钉截铁的结论“明年适合但有风险”好像它能预测未来一样。我在设计题目时故意保留了几道这种非常开放的主观题就是想测试模型的边界意识。结果除了模型A之外其他模型几乎全部翻车——它们没有能力识别“这个问题不适合用命理精确回答”只会机械地生成看似专业的判断。4.2 评分标准里的“自洽性”与“承诺度”权重前面说的三种失败模式启发了我在评分标准里引入两个额外维度而不仅仅是“答案正确与否”。自洽性权重占20%。它的评分逻辑是模型的推理过程和最终结论之间是否存在逻辑矛盾。比如说前文刚说“日柱为壬辰日主为壬水”后文解释性格时却按“土旺”来分析这属于明显的自相矛盾直接扣分。自洽性这个维度比答案本身更重要——我甚至专门设计了一批“诱导矛盾”的题目在题干里混入两个不同时间体系的信息看模型会不会在推理中同时采用并产生冲突。承诺度权重占10%。主要衡量模型在开放性问题里是否具备“克制能力”。做了多年AI评测我发现一个有趣的现象模型输出的肯定语气不代表它真有把握。真正优秀的模型应该能在信息不足时坦诚说明而不是为了显示专业而强行给出一个可能错误的方向。我会在得分表里把“主动说明信息不足”的模型标记为加分项这一项在对抗干扰型题目里被反复验证。加入了自洽性和承诺度两个维度之后模型的最终得分会发生变化。其中模型A因为在这两项表现基本合格整体分数波动不大模型E则因为承诺度得分较低总分被拉掉了近5分。这提醒我单一维度的评测必然失真综合评分才能反映真实能力。4.3 提示词优化尝试从基础提示到分步引导我在前期测试中还尝试了几种提示词变体看看能否稳定提升模型的表现。这里把结果分享一下。第一版是“零样本直接提问”不提供任何任务结构说明只给出题目。结果就是答案五花八门模型怎么发挥都有完全没有评测价值。第二版增加了“身份设定”提示词加上“你是一名身经百战的命理大师”。有趣的是这确实能提升输出流畅度但对正确率的帮助微乎其微模型还是频繁出现计算错误。第三版加了“分步思考”提示也就是我最终采用的那版。要求模型先展示推理过程再给结论。这个改动对整体正确率的提升比较明显尤其是在排盘计算型和规则应用型题目上提升幅度约7%。原因是显式的分步推理迫使模型自己拆解题干减少跳步和思维压缩。第四版尝试了“给模型提供参考例题”。我在提示词后面附带了一个简单的样例展示正确答案长什么样。结果发现这对开源小模型的提升明显但对商用大模型影响不大而且有“带偏”的风险——如果样例风格和真实题目差异较大模型会刻意去模仿样例的格式反而忽略题目本身的逻辑。我自己最后留下的还是第三版提示词兼顾了稳定性和可复现性。如果你也想在自己场景里做类似评测我建议不要过度追求“花式提示词”先用最直接、最朴素的方式把模型真实能力暴露出来。5. 常见问题速查与实操避坑指南5.1 我踩过的几个坑整理成一份速查表这次实测过程中踩的坑不少。有些是评测设计层面的有些是执行层面粗心犯的错。我整理了一份速查表刚接触这类AI评测的朋友可以直接参考问题现象可能原因应对方法模型输出结果每次都不一样未固定采样参数或温度设置偏高统一设置温度0.1-0.2多次采样取投票结果部分题目正确率异常高模型可能见过网上原题对题干做二次改写增加具体场景细节标注者之间答案分歧大开放题没有界定评分要点先定义必须包含的核心元素再开始标注模型输出格式混乱无法评分提示词没有明确输出格式在提示词里用列表给出每一步的输出要求低能力模型的分数被“话术”拉高只用内容是否完整作为评分标准引入自洽性和承诺度两个附加维度题目数量太少导致结论不稳定100道题只覆盖有限场景按照子任务分层抽样保证各类型均衡模型结果好但对错无法验证题干缺少足够锚点供人工核查每题保留可验证的排盘中间结果便于核对这里面最值得说的是第一项“模型输出不稳定”。命理推理这种任务本身对输入的时间参数极其敏感模型哪怕只差一个数值结果可能从“相生”变成“相克”。我做了一轮重复采样测试把同一道题跑五遍发现模型B在排盘题上的五次结果中有三次一致模型D则是五次结果出现三个不同版本。这说明对于评测任务本身单次输出根本没有可信度必须设计成多次采样后“投票取众数”的流程。我用这个做法重跑了全部100道题整体准确率比单次输出高出约6%同时方差明显下降。5.2 关于数据集“专业性”的一点实际心得很多人听到“专业数据集”就会想到专家团队、海量数据、多个轮次的标注。实际操作下来我觉得对垂直领域小场景来说更重要的是“规则清晰”而不是“人数众多”。这次和从业者合作标注的过程中我发现命理这个领域的最大问题是“公说公有理、婆说婆有理”。同样是分析一个八字不同的派别给出的侧重完全不同。如果不提前明确一套评分规则哪怕请十个专家来也只会得到十个不同答案。所以解决思路是把问题尽量客观化——只评那些可以验证的部分干支、五行、生克关系、术语解释对于开放性解读则以“是否覆盖了核心要素”为唯一标准。换句话说专业数据集的专业性不在于每一句话都被专家认可而在于每一道题都有一个可校验、可复现的参考答案。有了这个基础后续无论谁拿这套数据集去测新模型都能得到相对一致的结论。6. 这次命理评测下来我最想说的三件事第一大模型对“真推理”的完成度被高估了。在这次命理评测中模型能流利地解释术语能熟练地组织语言但面对真正的排盘计算和条件推导时大部分模型还是会选择“顺着错误继续编到底”。这种缺陷在通用知识问答中很难暴露但在命理这种多步推理场景里藏不住。第二评测数据集的价值不在模型得分而在它能倒逼出模型的隐藏弱点。测试前我对模型D的预期并不高但没想到它在对抗干扰型题目上能差到这种程度——几乎每道对抗题都掉进陷阱。这提示我们如果要评测一个模型真实抵御逻辑干扰的能力就得设计更多类似“反常识”的题目。第三命理只是一层外衣方法论的通用性才是真正的收获。我搭建的这套“题目分类 → 标准答案定义 → 分步提示词 → 多维评分”的全流程不仅能测命理还能直接平移去测法律咨询、医疗建议、心理咨询等任何垂直领域。只要这个领域存在“输入参数复杂、规则隐晦、输出开放”的特征这套流程就比通用benchmark更能说明问题。最后分享一个小技巧。如果你也想测出模型的真实水平尽量不要在提示词里给模型“台阶下”。比如“如果你不确定可以坦白说不知道”这类话听起来很合理实际上会让模型从“硬编一个答案”变成“频繁说不知道”。最好的方式是不做预设、不加引导让它自然反应再根据输出质量判断它的边界在哪里。这样得来的评测结论才是真正有参考价值的。
