Regularization 기법
: 오버피팅(OverFitting)을 방지할 수 있도록 만들어주는 기법을 총칭하는 말
오버피팅? 이전 글 참고
2021.10.14 - [Study/Deep Learning] - 머신러닝 Data 종류
머신러닝 Data 종류
머신러닝 모델은 크게 트레이닝 과정과 테스트 과정으로 나뉜다. ▷ 트레이닝 과정 - 대량의 데이터와 충분한 시간을 들여 모델의 최적 파라미터를 찾음 ▷ 테스트 과정 - 트레이닝 과정에서 구
these-dayss.tistory.com
Dropout이 대표적인 Regularization 기법 중 하나
= 학습 과정에서 일부 노드를 사용하지 않는 형태로 만들어서 오버피팅을 방지할 수 있도록 만들어주는 기법
%를 정해서 일부 노드를 배제.
적은 노드 개수를 이용해 전체 특징을 학습시켜야 하기 때문에 모델의 압축적인 표현으로 효율성이 높아지게 된다.
Training Data에 대해서는 오버피팅을 방지하기 위해서 Dropout을 수행하지만 Test Data에 대해서는 Dropout을 수행하지 않는다.
<Tensorflow에서 제공하는 드롭아웃 API>
tf.nn.dropout
https://www.tensorflow.org/api_docs/python/tf/nn/dropout
tf.nn.dropout | TensorFlow Core v2.6.0
Computes dropout: randomly sets elements to zero to prevent overfitting.
www.tensorflow.org
'Study > Deep Learning' 카테고리의 다른 글
| TensorBoard 이용하기 (0) | 2021.10.18 |
|---|---|
| tf.train.CheckpointManager API (0) | 2021.10.18 |
| TensorFlow 2.0을 이용한 MNIST 숫자분류를 위한 CNN 구현 (0) | 2021.10.17 |
| CNN(Convolutional Neural Networks) (0) | 2021.10.17 |
| CNN 의 등장 (0) | 2021.10.16 |