Deep Learning | Autoencoder

Autoencoder

 

머신러닝 학습 방법은 지도 학습과 비지도 학습으로 나눌 수 있다.

 

지도 학습은 프로그램에게 원하는 결과를 알려주고 학습하게 하는 방법이다.

X와 Y가 둘 다 있는 상태에서 학습하는 것.

 

비지도 학습은 입력값으로부터 데이터의 특징을 찾아내는 학습 방법이다.

X만 있는 상태에서 학습하는 것.

 

 

비지도 학습 중 가장 널리 쓰이는 신경망으로 Autoencoder가 있다.

 

 

What is Autoencoder?

입력값과 출력값을 같게 하는 신경망으로, 가운데 계층의 노드 수가 입력값보다 적다.

입력 데이터를 압축하는 효과를 얻을 수 있고, 이 과정은 노이즈 제거에 효과적이다.

 

 

오토인코더의 핵심 기능

 

입력층으로 들어온 데이터를 인코더를 통해 은닉층으로 보내고,

은닉층의 데이터를 디코더를 통해 출력층으로 내보낸 뒤,

만들어진 출력값과 입력값을 비슷해지도록 만드는 weight 값을 찾는 것이다.

 

 

Autoencoder의 종류

- Variational Autoencoder

- Denoising Autoencoder

- Stacked Autoencoder

- Sparse Autoencoder

 

 

 

Autoencoder의 학습 단계

1. input과 hidden layer의 weight를 계산해서 활성화 함수를 통과시킨다.
2. 1의 결과와 output layer의 weight를 계산해서 활성화 함수를 통과시킨다.
3. 2의 결과를 이용해서 MSE(Mean Squarded Error)를 계산한다.
4. 3의 결과로 나온 loss 값을 SGD로 최적화시키고 오류역전파를 사용하여 가중치를 갱신한다.