Neural Network Optimisers

โดย ชิตพงษ์ กิตตินราดร | มกราคม 2563

มาจนถึงตอนนี้ เรารู้ว่ากลไกที่นำเอาอนุพันธ์ของตัวแปรต่างๆ มาอัปเดตเพื่อลด Loss ใน Cost function นั้นเรียกว่า Gradient descent ซึ่งทำงานโดยการนำเอาอนุพันธ์ไปถ่วงน้ำหนักด้วย Learning rate $\alpha$ แล้วลบออกจาก Parameter ดังนี้:

$$W^{[l]} := W^{[l]} - \alpha (dW^{[l]}) \tag{1}$$

$$b^{[l]} := b^{[l]} - \alpha (db^{[l]}) \tag{2}$$

โดย $[l]$ คือลำดับที่ของ Layer

กลไกการ Optimise แบบนี้ มักเกิดปัญหาว่าถ้าหากอนุพันธ์นั้นมีค่าน้อย (คือมีความชันน้อย) ก็จะทำให้ Parameter ถูกอัปเดตแต่ละรอบช้ามาก ส่งผลให้ใช้เวลานานกว่าโมเดลจะเทรนจนถึงจุดที่ Loss ค่ำที่สุดเท่าที่จะเป็นไปได้

ปัจจุบัน มี Algorithm ชั้นสูงเพื่อเพิ่มประสิทธิภาพการ Optimise ให้เลือกใช้ โดย Optimiser เหล่านี้ล้วนมีหลักการคล้ายกัน คือนำค่าอนุพันธ์ล่าสุดไปเพิ่มน้ำหนักให้แก่การ Optimise ในรอบถัดไป เพื่อเร่งความเร็วของการอัปเดตให้มากขึ้น ในบทนี้เราจึงจะมาเรียนรู้ Optimiser ชั้นสูง 3 ตัว ได้แก่ Momentum, RMSProp, และ Adam โดยเราสามารถเรียกใช้ Optimiser เหล่านี้ได้โดยการกำหนด Argument ใน Method .compile เช่น:

model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

Momentum

Momentum optimiser ใช้อนุพันธ์ล่าสุดมาทำให้การเคลื่อนที่ของ Cost function นั้นพุ่งไปข้างหน้าอย่างนุ่มนวล หัวใจหลักของความสามารถนี้คือการใช้ Exponentially weighted moving average (EMA) ของอนุพันธ์ มาอัปเดต Parameter

วิธีการคำนวน Momentum มีดังนี้:

1) คำนวน Vector ของ "น้ำหนักเร่ง" $v$ โดยใช้ EMA:

$$v_{dW^{[l]}} = \beta v_{dW^{[l]}} + (1-\beta)dW^{[l]} \tag{3}$$

$$v_{db^{[l]}} = \beta v_{db^{[l]}} + (1-\beta)db^{[l]} \tag{4}$$

• $v_{dW^{[l]}}$ และ $v_{db^{[l]}}$ คือ Vector ของน้ำหนักเร่งของ $dW$ และ $db$ ตัวที่แล้ว โดยเริ่ม Initialise ด้วย 0
• $\beta$ คือค่าน้ำหนักของ EMA ปกติตั้งที่ 0.9 ซึ่งแปลว่า "ค่าน้ำหนักเร่งใหม่ มาจากค่าน้ำหนักเร่งเก่า 9 ส่วน และ $dW$ 1 ส่วน"

2) นำค่าน้ำหนักเร่ง $v_{dW^{[l]}}$ และ $v_{db^{[l]}}$ ที่ได้ ไปถ่วง Learning rate $\alpha$ และลบออกจาก $W^{[l]}$ และ $b^{[l]}$:

$$W^{[l]} := W^{[l]} - \alpha (v_{dW^{[l]}}) \tag{5}$$

$$b^{[l]} := b^{[l]} - \alpha (v_{db^{[l]}}) \tag{6}$$

สังเกตว่าสมการที่ (5) และ (6) นั้นก็คือการอัปเดต Parameter ตามปกติ เพียงเปลี่ยนตัวแปรที่เอาไปถ่วงน้ำหนักและลบออก จากเดิมใช้ $dW^{[l]}$ และ $db^{[l]}$ เป็นค่าน้ำหนักเร่ง $v_{dW^{[l]}}$ และ $v_{db^{[l]}}$

RMSProp

RMSProp ย่อมาจาก Root Mean Square Propagation มีคุณสมบัติคล้ายกับ Momentum แต่แทนที่จะใช้ EMA ของอนุพันธ์ตัวที่ผ่านๆ มาในการอัปเดต Parameter เปลี่ยนไปใช้ EMA ของยกกำลังสองของอนุพันธ์แทน โดยมีวิธีการคำนวนดังนี้:

1) คำนวน Vector ของ "น้ำหนักเร่ง" $s$ โดยใช้ EMA ของยกกำลังสองของอนุพันธ์:

$$s_{dW^{[l]}} = \beta s_{dW^{[l]}} + (1-\beta)dW^{[l]2} \tag{7}$$

$$s_{db^{[l]}} = \beta s_{db^{[l]}} + (1-\beta)db^{[l]2} \tag{8}$$

2) นำค่าน้ำหนักเร่ง $s_{dW^{[l]}}$ และ $s_{db^{[l]}}$ ที่ได้ ไปประกอบกับ $dW^{[l]}$ และ $db^{[l]}$ และถ่วงกับ Learning rate $\alpha$ ตามสมการด้านล่าง แล้วลบออกจาก $W^{[l]}$ และ $b^{[l]}$:

$$W^{[l]} := W^{[l]} - \alpha \left(\frac{dW^{[l]}}{\sqrt{s_{dW^{[l]}}} + \epsilon}\right) \tag{9}$$

$$b^{[l]} := b^{[l]} - \alpha \left(\frac{db^{[l]}}{\sqrt{s_{db^{[l]}}} + \epsilon}\right) \tag{10}$$

โดย $\epsilon$ คือค่าคงที่ขนาดเล็กๆ ที่ป้องกันไม่ให้ตัวหารเป็น 0

สังเกตว่า Term ที่เอาไปถ่วงกับ Learning rate นั้นไม่เหมือน Momentum กล่าวคือเป็นการนำ Square root ของค่าน้ำหนักเร่งไปหารออกจากอนุพันธ์ วิธีการนี้จะช่วยจำกัดความแปรผันในทิศที่ตั้งฉากกับทิศทางที่ไปสู่จุดต่ำสุดของ Cost function ในขณะที่ Momentum สนใจในการสร้างแรงที่มุ่งไปสู่ทิศต่ำสุดของ Cost function อย่างเดียว

Adam

Adam ย่อมาจาก Adaptive Moment Estimation เป็นการรวม Momentum และ RMSProp เข้าด้วยกัน ถือว่าเป็น Optimiser ที่ดีที่สุดในปัจจุบัน มีวิธีการคำนวนดังนี้ (แสดงเฉพาะสำหรับ $w$):

1) คำนวน Vector ของ "น้ำหนักเร่ง" $v$ โดยใช้ EMA ตามแบบ Momentum และ Vector ของ "น้ำหนักเร่ง" $s$ โดยใช้ EMA ตามแบบ RMSProp แล้วแก้ Bias ที่เกิดจากการที่ $v$ และ $s$ ถูก Initialise ด้วย 0 (ถ้าไม่แก้จะทำให้ $v$ และ $s$ รอบแรกๆ มีค่าต่ำกว่าที่ควรจะเป็น):

$$v_{dW^{[l]}} = \beta_1 v_{dW^{[l]}} + (1-\beta_1)dW^{[l]} \tag{11}$$

$$v_{dW^{[l]}}^{corrected} = \frac{v_{dW^{[l]}}}{1-\beta_1^t} \tag{12}$$

$$s_{dW^{[l]}} = \beta_2 s_{dW^{[l]}} + (1-\beta_2)dW^{[l]2} \tag{13}$$

$$s_{dW^{[l]}}^{corrected} = \frac{s_{dW^{[l]}}}{1-\beta_2^t} \tag{14}$$

2) นำค่าน้ำหนักเร่ง $v_{dW^{[l]}}^{corrected}$ และ $s_{dW^{[l]}}^{corrected}$ ไปประกอบกันในลักษณะเดียวกับ RMSProp คือ $v_{dW^{[l]}}^{corrected}$ เป็นตัวตั้ง หารด้วย Square root ของ $s_{dW^{[l]}}^{corrected}$ เพื่อจำกัดความแปรผันในทิศที่ตั้งฉากกับทิศทางที่ไปสู่จุดต่ำสุดของ Cost function แล้วถ่วงกับ Learning rate $\alpha$ แล้วลบออกจาก $W^{[l]}$ และ $b^{[l]}$:

$$W^{[l]} := W^{[l]} - \alpha \left(\frac{v_{dW^{[l]}}^{corrected}}{\sqrt{s_{dW^{[l]}}^{corrected}} + \epsilon}\right) \tag{15}$$

ในทางปฏิบัติ แนะนำให้ใช้ Adam ไปเลย เว้นแต่จะมีปัญหาก็สามารถลองใช้ Momentum ได้

ในบทต่อไปจะพูดถึงเทคนิคการ Regularise deep neural network ซึ่งรวมทั้ง Dropout layer

หน้าแรก | บทที่ 16 Neural Network Vanishing Gradients | บทที่ 18 Neural Network Regularisation