Study - AI/AI
(boostcourse -딥러닝 1단계)1. 딥러닝 소개
PaPs
2024. 10. 25. 19:55
네이버 부트캠프 (URL : https://www.boostcourse.org/) 공부 정리
과목 : 딥러닝 1단계: 신경망과 딥러닝
강사 : Andrew Ng
딥러닝 소개
01. 환영합니다.
- AI is the new Electricity
- 제조, 헬스케어 등 다양한 산업에서 전기가 필요한것처럼 AI도 그런 역할을 할 것임
- Courses in this sequence (Specialization)
- Neural Networks and Deep Learning
- Improving Deep Neural Networks : Hyperparameter tuning, Regularization and Optimization
- Structuring your Machine Learning project (Train / Dev / Test / End-to-End Learning)
- Convolutional Neural Networks (CNN)
- Natural Language Processing: Building sequence models (RNN, LSTM)
02. 신경망은 무엇인가?
- Network란? 입력(x)와 출력(y)를 매칭해주는 함수를 찾는 과정
- 주택 가격 예측 예시와 신경망 예측 예시
- 모든 Input 특성들은 Hidden Unit (동그란 원)에 모두 연결되어 있기 때문에 y를 예측할 때 모든 특성을 고려함
- 즉, 충분한 양의 (X, y) 데이터셋이 있다면 X와 y를 연결시켜주는 함수를 찾기에 뛰어난 성능을 보일 것이라고 예상됨
03. 신경망을 이용한 지도학습
- Supervised Learning 이란 ? 정답이 주어져있는 데이터를 사용하여 컴퓨터를 학습시키는 방법
- 분야에 따라 X, y 데이터 유형이 다름
| Input (X) | Output (y) | Application |
| Home features | Price | Real Estate |
| Ad, user info | Click on ad? (0/1) | Online Advetising |
| Image | Object (1, ... , 1000) | Photo tagging |
| Audio | Text transcript | Speech recognition |
| English | Chinese | Machine translation |
| Image, Radar info | Position of other cars | Autonomous driving |
- 적용 가능한 Neural Network 예시
- 구조적 데이터(Structed Data) vs 비구조적 데이터(Unstructured Data)
- 구조적 데이터: 데이터베이스로 표현된 데이터, 정보의 특성이 잘 정의됨
- 비구조적 데이터 : 이미지, 오디오와 같이 특징적인 값을 추출하기 어려운 형태의 데이터 (딥러닝 연관성 ↑)
04. 왜 딥러닝이 뜨고 있을까요?
- 데이터의 양 ↑ =>
- NN의 높은 성능을 위해 필요한 2가지
- 충분히 많은 양의 데이터
- 충분히 큰 신경망
- 훈련할 데이터가 많지 않다면 구현 방법에 따라 성능이 결정되는 경우가 많음 => SVM이 큰 신경망(Large NN)보다 나을 수 있음
- 훈련할 데이터가 많을 경우, 큰 신경망 (Large NN) 이 일관되게 다른 알고리즘들을 압도하는 경향을 보임
- 최근 딥러닝이 강력한 방법론으로 부상한 이유
- 데이터 양 증가
- 컴퓨터 성능 향상
- 알고리즘의 개선
- 예시) Sigmoid 함수가 아닌 ReLU 함수를 상요함으로 Gradient 소멸 문제 해결
- sigmoid는 왼쪽, 오른쪽 끝으로 가면 미분값이 0이 되기 때문에 Gradient 가 소멸하는 문제가 발생하는데, ReLU 함수를 사용하므로 문제를 해결할 수 있습니다.
- 예시) Sigmoid 함수가 아닌 ReLU 함수를 상요함으로 Gradient 소멸 문제 해결