Tensorflow26 [ANN] 11. 활성화함수's Back Propagation (Affine, Softmax) 지금까지 역전파(Back Propagation)에 대해서 많은 시간을 들여 알아보고 있습니다. Graph를 그려서 기본적인 흐름을 살펴보고, 실제로 활성화함수(Activation Function)에서 동작방식을 알아보았습니다. 그리고 최종적으로 python코드로 구현함으로써 내재화도 시켰습니다. 바로 전에는 활성화함수에 대해서 알아보다가... 너무 길어져서 2개로 나눴었습니다. ReLU와 Sigmoid는 살펴보았고, 이번에는 Affine과 Softmax에 대해서 알아보겠습니다. 인공신경망(ANN)의 개요 및 퍼셉트론과의 차이점 인공신경망(ANN)의 활성화함수(AF, Activation Function) 인공신경망(ANN)의 출력층 설계 및 순전파(Forward Propagation) 인공신경망(ANN)의.. 2020. 5. 22. [ANN] 10. 활성화함수's Back Propagation (ReLU, Sigmoid) 역전파(Back Propagation)를 시작하고, 그래도 나름 상세하려고 노력해본 설명과 예시를 통해서 이해를 높여보려고 했습니다. 제 노력이 전달됬는지 모르겠습니다...ㅠㅠ 그래도 일단 그 다음내용을 더 확인해보겠습니다. 저는 더 어려운 단계를 통해서 이전의 단계가 쉽게 느껴지고 이해가 갈 가능성이 높다고 신봉하는 사람중에 한명이라...ㅎㅎ 지금까지는 일반연산자를 가지고 역전파에 대해서 알아보았습니다. 하지만 사실 실제 인공신경망의 노드는 일반연산자가 일부 사용되기는 하지만 실제에 적용하기는 무리가 있습니다. 그래서 실제 활성화함수에 대해서 역전파를 알아보고 구현해 보도록 하겠습니다. 인공신경망(ANN)의 개요 및 퍼셉트론과의 차이점 인공신경망(ANN)의 활성화함수(AF, Activation Func.. 2020. 5. 21. [ANN] 09. Back Propagation of Neural Network 이제 ANN(인공신경망)에서 알아보아야 할 많은 부분을 정리해보았습니다. 순전파(Forward Propagation)부터 Loss Function을 통한 오차를 구하고, 오차를 최소화하기위해 수치미분을 통해 기울기를 구하고, 그것으로부터 Global Min 혹은 Local Min을 찾아 최소화하는 GDA(Gradient Descent Algorithm)을 통해 학습의 기본까지 확인했습니다. 이제 그 마지막 단계인 역전파(Back Propagation)를 통해서, 도출된 오류를 뒤의 Layer로 계속 전달하여 변수인 weight, bias를 자동으로 학습하는 내용에 대해서 알아보겠습니다. 오류 역전파는 이제 그 종착지라고 생각하면 마음이 편해질 것 입니다. 인공신경망(ANN)의 개요 및 퍼셉트론과의 차이점.. 2020. 5. 16. [ANN] 08. GDA(Gradient Descent) of Neural Network 지난 시간에 이어서 신경망 학습의 최우선 과제인 학습에 대해서 마저 알아보겠습니다. 학습의 목적은 결국 ANN(인공신경망)모델 내 구성된 변수인 weight, bias에 대해서 최적의 값을 찾아내는 것이고, 이는 Loss Function의 최소값을 찾는 것이라고도 했습니다. 그리고 이를 위해서 미분을 알아보았고, 그 연장선 상으로 GDA(Gradient Descent Algorithm, 경사하강법)에 대해서 운을 살짝 뗐습니다. 그럼 이제는 본격적으로 GDA를 통해서 Global Min 과 Local Min을 찾는 여정을 떠나보겠습니다. 인공신경망(ANN)의 개요 및 퍼셉트론과의 차이점 인공신경망(ANN)의 활성화함수(AF, Activation Function) 인공신경망(ANN)의 출력층 설계 및 순전.. 2020. 5. 15. 이전 1 2 3 4 ··· 7 다음
