谈到FP32,FP16,BF16的区别是什么可能我们的第一反应是FP3232 bit表示FP16、BF16:16bit表示所以他们能表示的数值范围、精度不同如果仅仅是知道这点那就太表面了。一个浮点数如何在计算机中存储的我们以FP32来举例一个浮点数是如果在计算机中存储的搞清楚这点我们就基本上搞清楚了FP32。那么FP16和BF16都是大同小异的。一个浮点数可三个方面来表示符号位1 bit。用来表示正负数负数1正数0.指数位8bit类似十进制中科学计数法的指数决定能表示多大范围的数。实际存储的还要先加上偏置值bias偏置k为指数位的位数在fp32中bias127。之所以要加上偏置是为了更方便的比较浮点数的大小。例如一个浮点数的指数位是2另一个指数位是-126。要比较两者真正的大小计算机硬件还要额外写一套判断符号的复杂逻辑但是加上偏置之后就可以直接比较了。尾数位23bit。体现精度。乍一看怎么不给指数位分多一点其实8bit的指数位已经足够大了。一个实际的例子我们以-6.33为例子1.确定符号位sign-6.33为负数S12.把6.33转成2进制整数部分小数部分0.33采用“乘3取整法”这个例子中可以发现0.33在二进制中是一个无法穷尽的小数也就是无法精确表示。组合起来3.二进制科学计数法从科学计数法中提取指数和尾数真实指数2。加上偏置之后尾数1.10010101000111101011100001因为二进制科学技术法中第一位一定是1所以可以省略那么有效尾数为10010101000111101011100001戒断23位100101010001111010111004.内存中的-6.33到此已经得到-6.33的关于符号位、指数、尾数的二进制表达了符号位1指数位10000001尾数10010101000111101011100这些就是-6.33在计算机中存储的二进制了复原过程1.符号位-1那么正负号为负数2.指数真实指数129-12723.尾数10010101000111101011100在前面补回省略的1得到1.10010101000111101011100转回十进制 1.582499980926513671875最终复原的值FP32能表示的数值范围从上面复原二进制到10进制的过程最终复原的值可以发现-1就是决定正负号的那么跟“范围”无关最大值那么一个数的最大值就是要让尾数和指数越大越好指数8bit的指数位理论上可表示的范围是0~255但是0(二进制全0)和255(二进制全1)规定用来留作特殊用途了。即1~254那么最大真实的次方254-127127尾数让二进制二数全为1那么最大的值最小值同理让指数和尾数最小指数1真实次方1-127-126尾数1.0那么最小值到此应该理解了FP32是个什么东西了FP32 FP16 BF16区分仅仅是指数位和尾数位不同而已BF16的指数位和FP32是一样的这是为了让BF16具备和FP32一样的极值范围实际不太一样因为尾数位不一样但是差异很小可忽略
