如题： 最近初步接触了一下机器学习，其中关于学习速率的有个疑问。就是关于学习速率的选取问题。 从网络上的示例，大多都是一个一个固定值，或者给出的建议就是从某个值开始不断尝试。 请问除了试试，有没有一种更好的选取方式呢？
This topic created in 3350 days ago, the information mentioned may be changed or developed.
 |
1
写代码让他不断试吧，试多了就知道大概范围了，哇咔咔
|
1 |
2
不断尝试吧，好像没有更好的办法，有些复杂神经网络我用过 1e-7 的学习率，一般是 1e-4 的学习率，然后慢慢调
|
 |
3
loss 不收敛就向下调一个数量级吧，learning rate 本身对网络性能没什么影响，主要是训练过程中 loss 收敛的问题。
|
 |
4
|
 |
5
grid search
|
 |
6
还是得试试啊！
|
 |
7
迭代次数的选择，其实可以用验证集来做 early stopping，否则只看训练集 loss 的话容易过拟合
|
Select Language