밑바닥부터시작하는딥러닝4 [Deeplearning Part.4] 오차역전파법 오차역전파법 경사하강법으로 손실함수의 최솟값을 찾으려는 방법을 이전 장에서 알아봤습니다. 오차역전파법은 오차를 역으로 전파하는 방법으로 가중치 매개변수의 기울기를 효율적으로 계산하는 방법입니다. 오차역전파법을 위한 도구로 연쇄 법칙을 알아보고, 신경망에서의 오차역전파 전체를 한 번 보겠습니다. 1. 연쇄 법칙 Chain rule 오차역전파법을 이해하기 위해서는 기본적으로 연쇄 법칙에 대해 이해해야합니다. 연쇄 법칙은 합성함수의 미분을 각 함수의 미분의 곱으로 나타내는 것입니다. 위 식과 같은 합성함수 z가 있을 때 미분은 다음과 같이 나타낼 수 있습니다. 우변의 t가 지워져 좌변과 같아지는 것을 알 수 있습니다. 여기서 우변의 두 분수는 z를 t로 미분한 것과 t를 x로 미분한 것입니다. 이것은 x ->.. 2022. 1. 6. [Deeplearning Part.3] 신경망 학습 신경망 학습이란 신경망 학습이란 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것을 뜻합니다. 한 조합의 가중치 매개변수는 특정한 예측값들을 만들고, 그 예측값과 실제값의 차이를 이용해 손실함수를 결과값을 만들 수 있습니다. 이제 이 손실함수의 결과값을 가급적 작게 만드는 방향으로 가중치 매개변수를 조절하여 신경망의 학습이 이루어집니다. 학습의 전환 세 번째 학습이 다른 두 학습과 다른 점은 신경망이 데이터의 "있는 그대로"를 학습한다는 것입니다. 두 번째 접근방식은 특징을 사람이 설계했지만, 신경망은 이미지에 포함된 특징까지도 기계가 스스로 학습합니다. 1. 손실함수 1) 평균 제곱 오차 MSE y는 신경망의 출력, t는 정답 레이블, k는 데이터의 차원 수를 나타냅니다. y-t에 제곱.. 2022. 1. 6. [Deeplearning Part.2] 신경망 퍼셉트론에서 신경망으로의 진화 퍼셉트론은 우리가 직접 가중치 매개변수의 적절한 값을 설정해 논리회로들에 맞는 값을 출력할 수 있도록 했습니다. 하지만 신경망은 이 가중치 매개변수의 적절한 값을 데이터로부터 자동으로 학습하는 능력이 있습니다. 1. 신경망의 예와 퍼셉트론 복습 그림에도 보이다시피 신경망의 가장 왼쪽 층은 입력층, 중간은 은닉층, 맨 오른쪽은 출력층이라고 합니다. 여기서 여러 신호를 입력받아 하나의 출력신호를 내보내는 퍼셉트론을 확대해 보겠습니다. 여기서 b는 퍼셉트론 수식의 θ를 -b로 치환하여 편향으로 계산해준 것입니다. 편향 : 뉴런이 얼마나 쉽게 활성화되느냐를 제어 가중치 : 각 신호의 영향력을 제어 2. 활성화 함수 편향을 추가한 퍼셉트론에서 y의 값을 a로 두고, 이 a를 h()라.. 2022. 1. 5. [Deeplearning Part.1]퍼셉트론과 단순 논리 회로 1. 퍼셉트론 퍼셉트론은 다수의 신호를 입력으로 받아 하나의 신호를 출력합니다. 위 그림은 입력으로 2개의 신호를 받은 퍼셉트론의 예입니다. 각 x값들은 입력신호, y값은 출력신호, w값들은 가중치를 뜻합니다. 그림의 원을 뉴런 혹은 노드라고 부릅니다. 위 그림은 첫 번째 그림으 퍼셉트론을 수식으로 나타낸 것입니다. 퍼셉트론은 복수의 입력 신호 각각에 고유한 가중치를 부여하고, 이 가중치는 결과에 주는 영향력을 조절하는 요소로 작용합니다. 2. 단순한 논리회로 AND 게이트는 두 입력이 모두 1일 떄만 1을 출력하고, 그 외에는 0을 출력합니다. 이것을 만족하는 퍼셉트론 수식의 매개변수 조합은 무한히 많습니다. NAND와 OR 게이트의 진리표도 마찬가지입니다. 적절한 가중치와 임계값을 설정한다면 진리표의.. 2022. 1. 5. 이전 1 다음
