FP16（16-bit Floating Point）

FP16（16-bit Floating Point）

定义：

• FP16 是一种16位浮点数格式，用于表示浮点数的数值。
• 由IEEE标准定义，通常分为以下三个部分：1位符号位、5位指数位和10位尾数位。

结构：

• 符号位（1位）：表示数值的正负。
• 指数位（5位）：表示数值的指数部分。
• 尾数位（10位）：表示数值的有效数字部分。

优点：

• 存储效率：FP16使用的位数比FP32少，减少了存储空间和内存带宽的需求。
• 计算速度：在支持FP16计算的硬件上，FP16运算速度通常比FP32快。

缺点：

• 精度较低：由于尾数位较少，FP16表示的数值精度较低，可能会引入计算误差。

  BF16（Bfloat16）

定义：

• BF16 是另一种16位浮点数格式，用于表示浮点数。
• 由Google提出，主要用于优化机器学习和深度学习中的计算性能。

结构：

• 符号位（1位）：表示数值的正负。
• 指数位（8位）：与FP32中的指数部分相同，提供更大的范围。
• 尾数位（7位）：相对于FP32，BF16的尾数部分减少了，但保留了足够的信息来进行大部分机器学习任务。

优点：

• 范围更广：BF16的指数位与FP32相同，允许更大的数值范围，避免了FP16可能遇到的溢出问题。
• 计算效率：类似于FP16，BF16也能提高计算速度和存储效率。

缺点：

• 精度较低：由于尾数位较少，BF16的精度也较低，但它在许多机器学习任务中已经足够用。