(bootcourse -딥러닝 1단계)2. 신경망과 로지스틱회귀 (1)

 

네이버 부트캠프 (URL : https://www.boostcourse.org/) 공부 정리

 

과목 : 딥러닝 1단계: 신경망과 딥러닝

강사 : Andrew Ng

---

01. 이진 분류

• 로지스틱 회귀는 이진 분류를 위한 알고리즘
• 이진분류(Binary Classification)란? 입력값에 따라 모델이 분류한 카테고리가 두 가지(0, 1)인 분류 알고리즘
  • 이미지의 경우, 컴퓨터에서 n_x = n x n x 3 행렬로 표현 가능 하며 n_x 차원 feature vector(X)로 표현 가능
  • 이진분류의 목표는 사진을 나타내는 feature vector 'X'에 대해 label 'y' (0 or 1)가 있다면, X -> y 를 예측할 수 있는 분류기를 학습하는 것

 

• Notation

Training Dataset Notation

 

---

02. 로지스틱 회귀

• 로지스틱 회귀란, 답이 (0 or 1)로 정해져있는 이진 분류 문제에 사용되는 알고리즘
• 입력 특성 x가 주어졌을 때, y(=1)의 예측값은 아래와 같이 표기함

• 로지스틱 회귀의 파라미터 w (weight), b (bias)는 아래와 같이 표기함 

• 그런데 y의 예측값은 0, 1 사이어야 하기 때문에 시그모이드 함수를 사용하여 확률값을 output으로 만듦
  

  

---

03. 로지스틱 회귀와 비용함수

• 로지스틱 회귀의 파라미터인 W, b 를 학습하기 위해 비용함수를 정의해야 함
• 로지스틱 회귀에서는 경사 하강법을 적용하지 못함 (Why? 최적화를 더 수비게 하기 위해?)
• 로지스틱 회귀에서는 경사 하강법 대신 아래 비용함수를 사용 (아래 2가지 이유로 비용 함수 검증)
  • 모델 학습은 비용함수를 최소화 하는 방향으로 학습
  • y^은 0과 1사이 값

• m개의 학습 데이터가 있고 모델의 비용 함수를 J 로 정의한다면 아래의 수식을 최소화 하는 방향으로 w, b를 찾게 됨

로지스틱 회귀 비용 함수