1. 定位导航前面 11 篇建立了数学理论——线性代数和概率论。但当这些公式真正跑在计算机上时,会遇到一个全新的敌人:浮点数的有限精度。这是一个被新手严重低估的话题。深度学习中约 20% 的玄学 bug 都来自数值不稳定——你的损失突然变成 NaN、梯度爆炸、模型无法收敛……这些问题的根源往往不是算法或数据,而是浮点数的精度极限。2. 核心问题:浮点数的诅咒计算机必须用有限数量的位来表示无限多的实数。这意味着任何实数在计算机里都只是"近似值",必然引入舍入误差。当算法涉及大量运算时,这些微小的误差会累积、放大,最终导致数学上正确的算法在代码里彻底失效。3. 下溢(Underflow)3.1 定义下溢:非常接近零的正数被四舍五入为零。3.2 为什么危险0 和"非常小的正数"在数学上经常表现出质的不同:除以零:抛出异常或返回 NaN对零取对数/