从“一句话生成照片”到“一句话生成模型”中间隔着的不是滤镜而是整个几何内核。两年前我第一回看到某个工作室放出的“Text-to-CAD”演示视频第一反应是这玩意是不是拿视频剪辑软件糊弄人——提示词输入“带法兰的六角支柱”几秒钟后视图区里真的转起来一个带螺纹孔和安装面的实体模型还能直接导进CAM软件走刀路。后来自己动手部署、调参、复现流水线才意识到这条路比想象中宽也比想象中坑多。这篇文章不聊“未来已来”那种空话我直接把从零开始搭一套文本生成CAD模型工作流的完整过程拆开讲核心架构怎么选、数据从哪来、模型怎么训、推理后处理怎么把网格转成可编辑的BREP实体、踩过哪些雷、哪些环节其实用传统算法反而更稳。适合正在做CAD/CAM智能化改造的开发者、准备在三维建模工具里接AI能力的独立开发者以及只是想搞清楚“Text-to-CAD到底是不是套壳”的吃瓜工程师。1. 整体方案设计与关键思路拆解1.1 先认清一个本质这不是“文生图”的简单三维版很多人以为Text-to-CAD就是把扩散模型套个三维外壳输入文字吐出OBJ。实际上完全不是一回事。二维文生图的核心是像素分布建模模型只需要知道“什么样的颜色排列像一只猫”就够了。CAD模型的核心是边界表示也就是BREP——它由拓扑和几何共同构成面与面之间有严格的连接关系每条边都有明确的参数曲线支撑每个面都对应一个或多个参数曲面方程。模型不仅要“画得像”更要“几何上自洽、可加工、可装配”。举个例子一个“带四个沉头孔的铝合金安装板”二维图生成模型只需要画出四个圆形图案就能骗过人眼。CAD模型必须有真实的孔轴线、沉孔深度、底面倒角每个孔的中心距还要满足装配公差——这意味着生成过程必须做的是构造实体几何的操作而不是贴纹理。所以整个项目的架构选择上我最初就排除了主流的NeRF路线和纯隐式场路线。NeRF擅长表现真实世界的连续光照和材质但输出是隐式表面场转成CAD实体时边界极其粗糙清模、分型、抽壳这类操作几乎无从下手。最终方案采用了“特征提取隐式SDF中间层显式网格重建参数化后处理”的四段式pipeline。文字先经过预训练文本编码器变成语义向量语义向量经由一个条件生成网络映射成三维SDF场再通过Marching Cubes算法抽取网格最后用拟合算法把网格拟合为NURBS曲面并尝试识别其中的平面、圆柱面、圆锥面重组为BREP实体。这段链路的最大优势是每一级都有成熟的传统算法作为锚点模型只要负责最难的“语义到形状”的映射其余交给几何内核。实际工程中这一设计让排错变得非常容易——哪一级出了问题直接看中间产物就能定位。1.2 两条路线之争生成式 vs. 检索式重排在技术选型之前我还评估了一条“伪AI”路线用CLIP做图文匹配在建好的标准件库里检索最接近的模型。检索式方案起步极快一周就能做出demo但天花板太低。用户输入“带加强筋的塑料外壳侧面有两个USB开孔”标准件库几乎不可能命中。哪怕用多阶段检索召回再重排本质上还是数据库查询无法产出库中不存在的几何。生成式路线的代价是训练数据和算力门槛明显高。SDF场表征需要大量带符号距离场标注还不能直接拿公开的三维模型数据集硬套因为大多数公开数据集里的模型是游戏资产拓扑混乱、没有精确曲面方程、甚至存在非流形边。CAD数据集则稀少且昂贵好在现在有不少开源社区在整理带参数化历史的CAD数据配合合成渲染可以缓解数据荒。这两条路线并不互斥。实际部署时可以把检索作为兜底生成模型输出置信度低时自动切到最近邻检索至少在演示场景里不会出现太离谱的结果。这种混合策略在工业落地时既保住了效果下限又不至于让版本迭代的节奏完全卡在模型训练上。1.3 方案优势与避坑价值四段式架构还有一个隐藏好处中间任意一级产物都可以直接转成用户能看懂的东西。SDF场输出后可以快速体素化预览网格重建后可以做粗糙3D打印验证NURBS拟合后才交给精密加工。用户不会只看到“黑箱生成”而是每一阶段都有可检查的中间态。这在工程协作中是巨大的信任来源——无论内部调试还是对客户演示能“看一步走一步”的方案比端到端黑箱更容易推进。当然这个架构也有代价每一级的误差都会累积尤其“网格转BREP”这一步会让很多看似完美的生成结果功亏一篑。后面我会专门讲怎么在这条链路上做好误差控制。2. 核心模块设计与实操要点2.1 文本编码CLIP向量在这里只是起点文本编码器我第一批试的就是CLIP因为它在视觉-语言联合空间里表现稳定而且社区里微调权重一抓一把。但直接拿CLIP向量作为CAD生成的唯一条件效果平庸。原因在于CLIP训练语料是自然图像和自然语言它的语义空间对“视频接口”和“排针连接器”这类工业实体的区分度基本为零。我的做法是双塔文本编码一路用CLIP提取通用语义另一路用轻量BERT模型在自建的工业语料上做对比学习专门捕捉“带螺纹”“防爆”“IP67”这类工程属性。两条向量拼接后过一个交叉注意力层融合得到最终条件向量。实测下来通用语义和工程语义的分离表达能让生成模型更容易解耦“形状”和“功能标注”。比如“带把手的防水箱体”CLIP负责“箱子把手”的轮廓工程塔负责“防水纹路和密封槽”的细节。这里有个实操教训文本编码器的词表扩充必须和下游数据管线联动。只在编码器里加词但训练数据里没有对应几何等于白加。我踩过一次坑——给编码器加了“沉孔”“通孔”“盲孔”三个专业的区别定义结果生成模型对三个词的反应几乎一样检查下来发现合成数据里三类孔的SDF标注差异没有拉开模型根本学不到区别。2.2 SDF场与三平面特征几何生成的核心载体SDF即符号距离场每个三维点存储一个值正值表示点在实体外负值表示在实体内部零值所在的面即表面。选择SDF而非直接生成三角网格是因为SDF是连续函数天然支持任意拓扑不会像网格生成那样出现面片交叉、非流形边等病态结构。配合三平面特征表示——把三维特征分解为三个正交平面上的二维特征图——能在显存占用和表达精度之间取得较好平衡。三平面的具体做法是把条件向量通过映射网络变成三个特征平面XY/XZ/YZ每个平面用二维卷积网络处理。查询空间中任意点P时把它分别投影到三个平面各自采样特征并求和得到该点的特征描述。之后过一个小的MLP解码成SDF值和颜色可选。这个设计让模型从“直接回归坐标”这种不稳定的学习目标变成了“学习局部形状先验”的隐式表达收敛速度明显加快。训练时注意采样策略均匀采样会覆盖大量空旷空间浪费模型容量。我采用表面偏置采样——在真值表面附近高密度采样远离表面的区域低密度采样配合重要性加权损失函数让模型把容量集中在几何细节上。实测在相同参数量和训练步数下表面偏置采样的IoU比均匀采样高出近10个百分点。2.3 网格重建与BREP化最后一步才是鬼门关SDF场生成后需要抽取等值面得到三角网格这步我直接用Marching Cubes。网格质量好不好很大程度上取决于SDF场是否干净。如果模型输出有噪声抽取出的网格会有大量“麻点”后续拟合再强也救不回来。所以我会在重建前先对SDF场做一次截断——把距离值限制在[-0.02, 0.02]区间内再做一次3x3x3的中值滤波。这个预处理牺牲一点边缘锐度但换来网格流形的可靠度非常划算。网格转BREP是整个链路里最“传统”也最烦人的一步。基本思路是分割网格区域、识别几何基元类型平面/圆柱/球/圆锥/圆环、拟合参数曲面再通过曲面相交和拓扑重建得到BREP实体。这里的关键工具是几何内核的曲面拟合API和区域生长算法。我实测过对于生成模型的输出直接全自动拟合的失败率在40%左右——不是拟合算法不行而是网格本身存在孔洞、钉状物、自相交导致拓扑重建阶段彻底放弃。务实的做法是“可编辑优先”而不是“全自动完美”。具体策略如下先做网格修复填孔、去钉、统一法向把网格拉回流形状态再做语义分割用简单的曲率聚类把网格拆成若干片每片独立拟合曲面输出拟合误差用户对拟合误差大的区域可以手工修正或者回退到网格形态这套流程不能全自动但至少不会让项目卡死。在自动化工具成熟之前人机协同反而是最稳定的量产方式。2.4 二维草图和拉伸特征隐藏的高性价比路线追求直接生成BREP实体之外我后来发现一个折中方案——让模型生成参数化草图序列也就是先输出二维轮廓再通过拉伸、旋转、扫掠等特征操作构体。这个方案对“回转体类”零件尤其有效法兰、轴套、皮带轮这类件本质上就是一组圆和矩形加上倒角、开孔构成的旋转体。实现思路是把零件建模看作一个序列生成问题。解码端每一步输出一个基本图元圆/直线/圆弧的参数以及当前步骤对应的布尔操作类型并集/差集。训练数据来自参数化建模软件的建模历史每一条记录都是一棵特征树。这种方案生成的模型天然是参数化的可以直接进装配体和工程图完全绕开了网格拟合的误差地狱。代价是表达能力受限——完全自由曲面类的造型比如鼠标外壳就不适合这个方案。所以我的最终产品形态是双模型并联一个隐式场模型负责自由形态一个参数化序列模型负责规则零件路由规则按文本中检测到的关键词判断。如果一个提示词同时包含两类特征比如“外壳带USB开孔的流线型鼠标”则先生成主体再基于语义分割结果叠加孔特征。这种“混合特征建模”虽然工程复杂度高但产出质量和用户可控性都上了一个台阶。3. 实操过程与关键环节实现3.1 实战前的准备模型、数据与工具链先把工具链列清楚。硬件方面生成模型推理一张图需要大约6GB显存混合精度下训练一个中型模型则至少要单张24GB卡或者两张12GB卡跑数据并行。软件栈主要用到CUDA、PyTorch、几何内核库、网格处理库、NURBS拟合库、开源的参数化建模内核用于构建二维草图序列。数据方面建议优先自己合成。真实CAD模型数据稀缺且版权复杂合成数据则可控得多。我搭了一套离线渲染管线写一批参数化脚本法兰、托架、轴承座、外壳、齿轮用开源参数化建模脚本批量生成实体导出SDF真值和网格同时记录每个零件对应的文本标签。渲染阶段用光线追踪做一些体素化和表面点采样获得训练用的密集标注。文本标注是这活儿里最耗人工的部分。我到后期用LLM辅助生成提示词变体给定一个基础描述让LLM生成10种不同措辞的同义表达比如“带4个M5通孔的矩形底板”可以扩写成“四角分布M5安装孔的平板”“适配M5螺栓的矩形底座”等。这让模型学会对齐不同表述和同一几何大幅提升泛化能力。3.2 训练配置与关键参数参考以下是稳定复现的基础配置参数可以按显存和任务复杂度调整。# 模型结构 shape_encoder: sdf_conditioned_triplane triplane_resolution: 128 # 三平面分辨率 triplane_channels: 32 # 每平面特征通道数 sdf_decoder_layers: 4 # SDF解码MLP层数 sdf_decoder_hidden: 256 # 文本编码 text_encoder: - type: clip-vit-b/32 - type: bert-industrial-tiny # 训练配置 batch_size: 12 learning_rate: 1.5e-4 scheduler: cosine_with_warmup warmup_steps: 3000 total_steps: 120000 loss_weight: sdf_l1: 1.0 surface_normal: 0.5 eikonal: 0.05 laplacian_smooth: 0.1 # 采样配置 points_per_shape: 32768 surface_bias: 0.8 # 表面偏置采样比例 surface_sigma: 0.005 # 表面附近高斯采样范围Eikonal正则项的作用是约束SDF场的梯度模长接近1否则距离场在空间中的变化速度不一致容易导致重建出的表面出现伪层。Laplacian平滑项则抑制高频毛刺。两个约束权重不宜过大否则模型会“躺平”输出一个近似球体的形状细节全丢。训练监控除了常规loss曲线我强烈建议周期性可视化生成样本。每500步从验证集抽8个文本提示词完整跑一遍生成和网格重建肉眼检查是否出现“结构化坍塌”——比如不同的提示词都输出同一个长方体、圆柱等退化形状。这类问题loss曲线几乎看不出来只有可视化才能暴露。3.3 推理端代码骨架从文本到STEP文件的完整路径推理端我封装成一个命令行工具核心逻辑如下。def generate_cad_from_text(prompt: str, output_path: str, mode: str hybrid): # 1. 文本编码 clip_vec clip_encode(prompt) bert_vec bert_industrial_encode(prompt) cond fuse_features(clip_vec, bert_vec) # 2. 判断路由自由曲面 or 参数化序列 or 混合 route route_planner(prompt) if route implicit: mesh generate_mesh_from_sdf(cond) # 通过SDFMarching Cubes solid brep_fit_from_mesh(mesh) # 网格转BREP失败则保存mesh elif route parametric: sketch_seq decode_sketch_sequence(cond) solid build_solid_from_sketch_seq(sketch_seq) # 拉伸/旋转/布尔 else: mesh generate_mesh_from_sdf(cond) # 先检测面特征再叠加参数化孔/槽 solid brep_fit_with_feature_detection(mesh) if solid is not None: step_exporter(solid, output_path) else: mesh_exporter(mesh, output_path.replace(.step, .ply))值得特别说明的是混合模式下的“特征叠加”。网格转完BREP后如果用户在提示词里提到“M6通孔”我会先自动识别网格上的圆形区域生成孔轴线和半径参数再用几何内核的圆柱拉伸并做布尔差集而不是靠拟合器去猜。这类先验约束能显著提高输出实体对“加工语义”的还原度。3.4 效果参数评估不能只看IoU模型效果不能只看生成网格和真值网格的IoU。CAD场景更关心可编辑性和可制造性。我设置了三个维度的评价指标几何维度Chamfer距离、表面法向一致性、体素数IoU拓扑维度流形率生成网格是否全部为封闭二维流形、亏格误差工程维度拟合到BREP后的NURBS面数、加工模拟可制造性评分实测下来拓扑维度和工程维度的相关性远高于几何维度。不少生成结果Chamfer距离很好看但网格自带十几处自相交根本无法转为实体。因此我在验证集上做自动筛查时会优先过滤“流形率低于95%”的输出不做加工模拟的候选。这个阈值会丢掉少量高视觉质量样本但为了产线可用性值得。4. 常见问题与排查技巧实录4.1 问题速查表下面把最常见的八类问题整理成速查表标注了现象、根因和对应解法。问题现象根因分析排查与解决不同提示词生成结果几乎相同模型坍塌文本条件信息丢失检查文本编码器输出是否进入生成主干提高条件向量维度并加dropout生成模型有大量麻点和孤立小面SDF场噪声过大表面偏置采样权重过低对SDF场做截断和中值滤波后再重建网格网格存在孔洞无法封闭表面采样密度不足或损失权重偏低提高Marching Cubes网格分辨率加表面损失权重尝试孔洞填充算法BREP拟合大面积失败网格存在非流形边或自相交先做网格修复和特征分割对复杂区域允许输出缝合的曲面组合体螺纹孔生成成了光孔文本编码器与数据语义错位检查训练数据中螺纹特征是否与文本标签对齐扩充螺纹几何的标注生成结果过于规则缺乏变化训练数据分布过窄增加合成脚本随机性多改倒角半径、孔数量、布局偏移推理显存不够三平面分辨率和MLP宽度超限降三平面分辨率用半精度推理启用模型分片文本输入包含特殊符号时崩溃分词器未覆盖自定义分词器加特殊字符映射输入前清洗文本4.2 一个从“生成像样”到“能用”的真实调试案例某次测试输入是“带防护凸台的梯形底座下方有四个M4安装孔”。最初生成的网格从任何角度看都像个底座拓扑也封闭但放大后发现问题凸台部位有个小凹坑简直像是被反扣了一勺四个安装孔的位置倒是正确但有一个孔的轴线偏了2.3度。我先怀疑是三平面分辨率不够导致细节丢失把分辨率从96提到128重训一轮凹坑没了但孔轴线偏斜依旧。查渲染脚本才发现——合成数据里安装孔是用圆柱体做差集生成的差集时圆柱轴线加了随机扰动以模拟真实加工误差这一扰动被模型当成了“该学习到的特征”。修正方案是把扰动归零让孔严格垂直于安装面训练后轴线偏斜问题彻底消失。这个案例值得记下来的教训是合成数据里的“随机化”必须和现实世界的逻辑对应。如果模拟加工误差就要保证文本标签里也明确写了“允许偏差”否则模型会把噪声当成规律。数据管线里的每一个随机项都可能在生成端放大成系统性缺陷。4.3 网格转BREP的降级策略最让我头疼的还是网格转BREP的失败率。即使网格本身流形干净对于复杂的自由曲面拟合出的NURBS面数和阶数也会膨胀到无法编辑的程度。一开始我强求100%转BREP结果团队天天在拟合参数和曲面边界线上扯皮。后来定下一个三段式降级策略第一级区域识别成功的平面、圆柱、圆锥直接拟合为对应参数曲面生成标准BREP第二级区域太复杂时输出NURBS曲面组合体允许缝合处微小G1不连续但保证可导出STEP第三级以上都失败时保留高质量网格外壳标记为“需人工整理”但依然可做3D打印这个策略把“生成即废弃”的概率从40%降到8%。产品演示时我永远用第一级和第二级的成功案例但真实用户在后台看到的“半成品”也被保存了下来——不少用户反馈这些半成品反而激发了他们的改模灵感还能直接当造型参考。5. 数据质量、安全合规与系统边界5.1 合成数据污染的排查手法合成数据解决了数量问题却带来了系统性的数据偏置。合成脚本里常见的错误有单位不一致把毫米写成了英寸、倒角和圆角过量、壁厚低于加工极限。这都会让模型学到现实中不存在或不能制造的几何。我在数据管线里加了两个自动化过滤器。第一道是物理合理性检查计算每个实体的最小壁厚、最小圆角半径、体积与表面积比值任何低于加工阈值的样本直接剔除。第二道是“反向标注”验证把合成的文本描述解析成语义标签再对照实体几何计算描述中的特征是否存在。比如描述中说“四个孔”实际模型只有两个这组数据就判定为不一致。这个过滤器看起来朴素但真能揪出不少渲染脚本的隐性Bug。5.2 生成内容的安全约束与版权注意Text-to-CAD这类工具一旦开放给公共用户就必须面对内容安全约束。三维模型的输出不像文字和图片那样容易被审查但其危险性不低——某些零件结构的生成结果可能被用于非法用途。因此我在服务端加了文本前置校验对命中高风险词表的输入直接拒绝对生成的几何做简单判定例如检测尖锐刀具特征、疑似危险品结构自动打回重生成。版权层面也要留心。训练数据里如果包含第三方商业模型库中的模型哪怕是“改一改”仍然大概率构成侵权。自建合成数据管线不仅是技术选择更是法律安全垫。工业场景里用户上传参考模型让AI模仿生成也需要在协议里明确责任边界防止“AI生成的模型侵犯了别人的专利”这种事被扯到平台头上。我的做法是平台只提供生成能力输出模型的可制造性和权利状态由使用方自行验证协议里说清责任归属。5.3 系统边界什么该用AI什么不该用项目做了半年后我最大的心得不是“AI有多强”而是“边界比能力重要”。文本生成三维模型在概念设计阶段能大幅压缩从草图到原型的时间但在精确装配、公差标注、标准件选型这些环节传统CAD内核依然不可替代。强行让AI输出公差配合和形位公差标注目前是吃力不讨好。因此我的系统设计成“概念生成器参数化编辑器”的组合AI负责从无到有生成候选形状工程师在参数化环境里调整尺寸、标注公差、加入标准件。这条路看起来不如“全自动生成图纸”酷但它是真正能被制造业采纳的形态。6. 写在最后的实操心得整套工具从原型到可用我花了大半年推翻过三个版本。最初也想做一步到位的“文字→完美STEP文件”后来发现用户真正需要的是“文字→合理候选模型→快速调整→导出”中间的“合理”比“完美”重要得多。原因很简单CAD模型的价值不在形状本身而在于它能在下游被修改、被装配、被制造。不可编辑的完美模型在工程师眼里是死模型能编辑的粗糙模型反而是活的设计种子。如果现在让我重新做一遍我会更早放弃全自动网格转BREP更早把参数化序列生成作为主力路线。隐式场方法适合自由曲面和概念快速验证但有明确工程语义的规则件序列生成在参数可控性上完胜。另一个改变是从第一天就该让工程师参与评测——跑通Benchmark不难难的是让一个用惯传统CAD的老师傅觉得“这玩意儿能省事”。他的一句“这个模型可用”比模型在十个公开指标上刷到第一都值钱。最后给正在做类似方向的开发者留三句话第一数据合成尽量模拟真实加工场景不要让随机性污染文本标签第二哪怕全自动再诱人也要保留人工修正的入口第三评估模型别只看视觉像不像打开模型树查一查实体能不能编辑可能比渲染图诚实得多。
