|
|
|
@ -286,3 +286,16 @@ PaddlePaddle的参数使用名字 :code:`name` 作为参数的ID,相同名字
|
|
|
|
|
.. code-block:: bash
|
|
|
|
|
|
|
|
|
|
paddle train --use_gpu=true --trainer_count=2 --gpu_id=2
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
12. 训练过程中出现 :code:`Floating point exception`, 训练因此退出怎么办?
|
|
|
|
|
------------------------------------------------------------------------
|
|
|
|
|
|
|
|
|
|
Paddle二进制在运行时捕获了浮点数异常,只要出现浮点数异常(即训练过程中出现NaN或者Inf),立刻退出。浮点异常通常的原因是浮点数溢出、除零等问题。
|
|
|
|
|
主要原因包括两个方面:
|
|
|
|
|
|
|
|
|
|
* 训练过程中参数或者训练过程中的梯度尺度过大,导致参数累加,乘除等时候,导致了浮点数溢出。
|
|
|
|
|
* 模型一直不收敛,发散到了一个数值特别大的地方。
|
|
|
|
|
* 训练数据有问题,导致参数收敛到了一些奇异的情况。或者输入数据尺度过大,有些特征的取值达到数百万,这时进行矩阵乘法运算就可能导致浮点数溢出。
|
|
|
|
|
|
|
|
|
|
主要的解决办法是减小学习律或者对数据进行归一化处理。
|
|
|
|
|