(bootcourse -딥러닝 1단계)2. 신경망과 로지스틱회귀 (2)

 

네이버 부트캠프 (URL : https://www.boostcourse.org/) 공부 정리

 

과목 : 딥러닝 1단계: 신경망과 딥러닝

강사 : Andrew Ng

 

---

4. 경사하강법 (Gradient Descent)

• 로지스틱 회귀의 Loss Function => 전체 데이터셋 기준 예측 정확도를 보는 것
• 로지스틱 회귀의  경사하강법 => 이를 가능케하는 예측 모델의 파라미터 w, b를 찾는 방법 중 하나
  • 비용 함수는 볼록해야 함 (볼록하지 않은 함수의 경우, 경사하강법 적용 불가능)
  • 함수의 최소값을 모르기 때문에 임의의 점을 잡고 시작
  • 아래 x, y축은 w, b 파라미터, z축(높이)이 J(w, b) 값
  • 가장 가파른(steepest) 방향, 즉 함수의 기울기를 따라 최적의 값으로 한 스텝씩 업데이트하게 됨 (가장 아래 점이 Global Optimum)
    

    

• 경사하강법을 더 직관적으로 보면, 비용함수 J(w, b) 가 아래처럼 1 → 2 로 업데이트를 하며 w, b의 최적화된 값을 찾게 됨
• α : Learning Rate (학습률), w, b : Parameters
• dw > 0 인 경우, w는 기존보다 작은 값 방향으로 업데이트 됨 (b도 동일)
• dw < 0 인 경우, w는 기존보다 큰 방향으로 업데이트 됨 (b도 동일)

 

 

---

5. 미분

• 도함수(=어떤 함수의 기울기)란 변수 a를 조금만 변화했을 때, 함수 f(a) 가 얼만큼 변하는지는 측정하는 것
  

---

6. 더 많은 미분 예제

• 도함수는 선의 기울기일 뿐
• 함수의 기울기는 함수의 위치에 따라 다른 값을 가질 수 있음