今天的內容會帶大家了解
1. 什麼是 Reduce Learning Rate
2. 如何在 Keras 中,加入 ReduceLearningRate
Reduce Learning Rate: 隨訓練更新次數,將 Learning rate 逐步減小
因為通常損失函數越接近谷底的位置,開口越小
需要較小的 Learning rate 才可以再次下降
Reduce learning rate on plateau:模型沒辦法進步的可能是因為學習率太大
導致每次改變量太大而無法落入較低的損失平面
透過適度的降低,就有機會得到更好的結果
因為我們可以透過這樣的監控機制,初始的 Learning rate 可以調得比較高
讓訓練過程與 callback 來做適當的 learning rate 調降。
有了大概的理解之後,我們開始今天的學習吧!!!