Ann9 [ANN] 09. Back Propagation of Neural Network 이제 ANN(인공신경망)에서 알아보아야 할 많은 부분을 정리해보았습니다. 순전파(Forward Propagation)부터 Loss Function을 통한 오차를 구하고, 오차를 최소화하기위해 수치미분을 통해 기울기를 구하고, 그것으로부터 Global Min 혹은 Local Min을 찾아 최소화하는 GDA(Gradient Descent Algorithm)을 통해 학습의 기본까지 확인했습니다. 이제 그 마지막 단계인 역전파(Back Propagation)를 통해서, 도출된 오류를 뒤의 Layer로 계속 전달하여 변수인 weight, bias를 자동으로 학습하는 내용에 대해서 알아보겠습니다. 오류 역전파는 이제 그 종착지라고 생각하면 마음이 편해질 것 입니다. 인공신경망(ANN)의 개요 및 퍼셉트론과의 차이점.. 2020. 5. 16. [ANN] 08. GDA(Gradient Descent) of Neural Network 지난 시간에 이어서 신경망 학습의 최우선 과제인 학습에 대해서 마저 알아보겠습니다. 학습의 목적은 결국 ANN(인공신경망)모델 내 구성된 변수인 weight, bias에 대해서 최적의 값을 찾아내는 것이고, 이는 Loss Function의 최소값을 찾는 것이라고도 했습니다. 그리고 이를 위해서 미분을 알아보았고, 그 연장선 상으로 GDA(Gradient Descent Algorithm, 경사하강법)에 대해서 운을 살짝 뗐습니다. 그럼 이제는 본격적으로 GDA를 통해서 Global Min 과 Local Min을 찾는 여정을 떠나보겠습니다. 인공신경망(ANN)의 개요 및 퍼셉트론과의 차이점 인공신경망(ANN)의 활성화함수(AF, Activation Function) 인공신경망(ANN)의 출력층 설계 및 순전.. 2020. 5. 15. [ANN] 07. Differential of Neural Network 지난 글에서 드디어 학습을 위한 첫 발을 뗐습니다. Loss Function을 통해서 현재 ANN(인공신경망) 모델의 상태를 알 수 있었습니다. 그 값이 높으면 부정확한 모델이 될테고, 낮을수록 정확한 모델이 됩니다. 물론 무조건 낮다고 좋은 모델이 아니겠죠?? 왜냐하면 해당 모델이 overfitting이 발생했을 수도 있으니까요. 이제는 이 상태를 가지고 오차를 최소화하여 모델을 최적화하는 방법을 찾아야 합니다. 결국 Loss Function도 함수이기 때문에 특정모양의 곡선이 그려질 것이고... 이 곡선에서 최소값을 찾는 문제가 될 것입니다. 곡선에서 최소값을 찾는다는 말은 돌려서... 수학적인 접근을 시도하면 기울기가 0인 곳을 찾는 문제가 될 것이고, 기울기를 구한다는 것은 결국 미분을 한다는 말.. 2020. 5. 14. [ANN] 06. Loss Function of Neural Network 지금까지 인공신경망(ANN)의 개요부터 Layer의 구조, 활성화함수(AF) 그리고 출력층설계와 순전파 (Forward Propagation) 까지 알아보았습니다. 이렇게 되면 학습전의 인공신경망(ANN)의 로직은 어느정도 알아보았다고 생각됩니다. 이제 남은 부분은 학습에 대한 부분과 이를 인공신경망 내 변수들에게 반영하는 방법입니다. 오늘은 그 중에서 학습을 위한 손실함수(Loss)에 대해서 알아보겠습니다. 인공신경망(ANN)의 개요 및 퍼셉트론과의 차이점 인공신경망(ANN)의 활성화함수(AF, Activation Function) 인공신경망(ANN)의 출력층 설계 및 순전파(Forward Propagation) 인공신경망(ANN)의 손실함수(Loss) 구현 수치미분 및 편미분, 그리고 GDA 인공신경.. 2020. 5. 13. 이전 1 2 3 다음
