수치미분2 [ANN] 08. GDA(Gradient Descent) of Neural Network 지난 시간에 이어서 신경망 학습의 최우선 과제인 학습에 대해서 마저 알아보겠습니다. 학습의 목적은 결국 ANN(인공신경망)모델 내 구성된 변수인 weight, bias에 대해서 최적의 값을 찾아내는 것이고, 이는 Loss Function의 최소값을 찾는 것이라고도 했습니다. 그리고 이를 위해서 미분을 알아보았고, 그 연장선 상으로 GDA(Gradient Descent Algorithm, 경사하강법)에 대해서 운을 살짝 뗐습니다. 그럼 이제는 본격적으로 GDA를 통해서 Global Min 과 Local Min을 찾는 여정을 떠나보겠습니다. 인공신경망(ANN)의 개요 및 퍼셉트론과의 차이점 인공신경망(ANN)의 활성화함수(AF, Activation Function) 인공신경망(ANN)의 출력층 설계 및 순전.. 2020. 5. 15. [ANN] 07. Differential of Neural Network 지난 글에서 드디어 학습을 위한 첫 발을 뗐습니다. Loss Function을 통해서 현재 ANN(인공신경망) 모델의 상태를 알 수 있었습니다. 그 값이 높으면 부정확한 모델이 될테고, 낮을수록 정확한 모델이 됩니다. 물론 무조건 낮다고 좋은 모델이 아니겠죠?? 왜냐하면 해당 모델이 overfitting이 발생했을 수도 있으니까요. 이제는 이 상태를 가지고 오차를 최소화하여 모델을 최적화하는 방법을 찾아야 합니다. 결국 Loss Function도 함수이기 때문에 특정모양의 곡선이 그려질 것이고... 이 곡선에서 최소값을 찾는 문제가 될 것입니다. 곡선에서 최소값을 찾는다는 말은 돌려서... 수학적인 접근을 시도하면 기울기가 0인 곳을 찾는 문제가 될 것이고, 기울기를 구한다는 것은 결국 미분을 한다는 말.. 2020. 5. 14. 이전 1 다음
