logo
Loading...

訓練神經網路的細節與技巧 - 使用 callbacks 函數做 reduce learning rate - 機器學習百日 - Cupoy

今天的內容會帶大家了解 1. 什麼是 Reduce Learning Rate 2. 如何在 Keras 中,加入 ReduceLearningRate Reduce Learning Ra...

今天的內容會帶大家了解 1. 什麼是 Reduce Learning Rate 2. 如何在 Keras 中,加入 ReduceLearningRate Reduce Learning Rate: 隨訓練更新次數,將 Learning rate 逐步減小 因為通常損失函數越接近谷底的位置,開口越小 需要較小的 Learning rate 才可以再次下降 Reduce learning rate on plateau:模型沒辦法進步的可能是因為學習率太大 導致每次改變量太大而無法落入較低的損失平面 透過適度的降低,就有機會得到更好的結果 因為我們可以透過這樣的監控機制,初始的 Learning rate 可以調得比較高 讓訓練過程與 callback 來做適當的 learning rate 調降。 有了大概的理解之後,我們開始今天的學習吧!!!