)
MLIR与算子中间表示:从理论到实践030、Math Dialect:复杂数学函数(sin, cos, exp等)一、一个让我熬夜的bug去年做AI加速器编译器,客户反馈模型推理结果偶尔出现NaN。定位到某个卷积层后的激活函数——tanh。硬件上明明有tanh指令,但MLIR生成的LLVM IR里却变成了一串多项式逼近加查表。问题出在:Math Dialect里的tanh被lowering成了libm调用,而嵌入式环境里libm的精度和异常处理跟x86完全不同。更坑的是,某些芯片的libm实现里,tanh在输入绝对值大于某个阈值时直接返回1.0,而不是饱和到±1.0,导致梯度爆炸。从那以后,我对Math Dialect的lowering路径有了心理阴影。今天这篇笔记,就把这些坑一个个挖出来。二、Math Dialect到底管什么MLIR的Math Dialect不是给你写sin(x)用的——那是上层语言的事。它的定位是中间表示层的基础数学运算抽象。换句话说,当你把TensorFlow的tf.math.sin或者PyTorch的torch.sinlower到MLIR时,它们会变成math.sinop。这个op不关心你最终跑在x86、ARM还是GPU上,它只负责说:“这里需要一个正弦计算”。