다층 인공 신경망

다층 신경망의 구성

- 입력층(input layer)

- 출력층(output layer)

- 은닉충(hidden layer)

• 입력값의 특성을 파악하여 목표한 출력을 내도록 하는 역할
• 은닉층에 부여된 가중치에 따라 출력값의 패턴이 결정
• 은닉충 多 -> 분류성능 상승, 하지만 과적합(overfitting)에 빠질 위험이 있어 일반화 성능은 감소할 수 있음

전방향 연산에 의해 획득된 에러를 앞으로 되돌려 가중치를 갱신하는 오류역전파 알고리즘(error backpropagation algorithm)을 사용하여 다층 신경망 구성

 

원-핫 인코딩(One-Hot Encoding)

- 표현하고 싶은 클래스만 1로 표시하고, 나머지는 0으로 표시하는 방법

- 클래스 정보를 표현하는 방법

- 추론시 사용

 

소프트맥스 함수(Softmax function)

- 활성화 함수의 일종

- 모델의 출력을 확률로 해석할 수 있게 변환해주는 연산 수행

- 분류(classification) 문제 해결을 위해 출력층의 활성화 함수로 사용

 

교차 엔트로피(cross entropy, categorical_crossentropy)

- 분류(classification) 문제에서 손실함수(loss function)으로 사용

- 학습을 통해 최적 가중치(W)를 결정하기 위한 지표로 손실함수를 사용, 오차(loss)를 적게 만드는 것이 신경학습망 목표

yk : 신경망 출력, tk : 정답 레이블(one-hot encoding), n : 데이터 개수

-log(x) 그래프에서, yk값이 0에 가까워질수록 loss값이 증가함

 

 

분류(classification) 문제에서 prediction value(yk)가 true value(tk)에 가깝게 나오도록 학습하기 위해 loss함수로 cross entropy를 사용하고, 활성 함수로 Softmax를 사용한다.

 

※ 분류(classification)란 입력 데이터가 어느 클래스에 속하는지 나타냄 ex)입력 데이터가 이미지이고, 클래스가 사자,코끼리,기린 일 때 알고리즘을 통해 어떤 클래스 라벨에 속하는지 분류해서 나타냄.

 

※ 검출(detection)이란 이미지 내에서 알고리즘을 훈련시킬 때 사용된 클래스 라벨에 속하는 모든 물체를 검출하고, 그 위치들을 바운딩 박스로 알려줌. 만약 훈련된 클래스 라벨에 속하는 물체가 이미지 내에 없으면 아무것도 검출해내지 않는다.

딥러닝 객체 검출 용어 정리 Deep learning Object detection terminology [1] (tistory.com) 참조