Tensorflow26 [ANN] 07. Differential of Neural Network 지난 글에서 드디어 학습을 위한 첫 발을 뗐습니다. Loss Function을 통해서 현재 ANN(인공신경망) 모델의 상태를 알 수 있었습니다. 그 값이 높으면 부정확한 모델이 될테고, 낮을수록 정확한 모델이 됩니다. 물론 무조건 낮다고 좋은 모델이 아니겠죠?? 왜냐하면 해당 모델이 overfitting이 발생했을 수도 있으니까요. 이제는 이 상태를 가지고 오차를 최소화하여 모델을 최적화하는 방법을 찾아야 합니다. 결국 Loss Function도 함수이기 때문에 특정모양의 곡선이 그려질 것이고... 이 곡선에서 최소값을 찾는 문제가 될 것입니다. 곡선에서 최소값을 찾는다는 말은 돌려서... 수학적인 접근을 시도하면 기울기가 0인 곳을 찾는 문제가 될 것이고, 기울기를 구한다는 것은 결국 미분을 한다는 말.. 2020. 5. 14. [ANN] 06. Loss Function of Neural Network 지금까지 인공신경망(ANN)의 개요부터 Layer의 구조, 활성화함수(AF) 그리고 출력층설계와 순전파 (Forward Propagation) 까지 알아보았습니다. 이렇게 되면 학습전의 인공신경망(ANN)의 로직은 어느정도 알아보았다고 생각됩니다. 이제 남은 부분은 학습에 대한 부분과 이를 인공신경망 내 변수들에게 반영하는 방법입니다. 오늘은 그 중에서 학습을 위한 손실함수(Loss)에 대해서 알아보겠습니다. 인공신경망(ANN)의 개요 및 퍼셉트론과의 차이점 인공신경망(ANN)의 활성화함수(AF, Activation Function) 인공신경망(ANN)의 출력층 설계 및 순전파(Forward Propagation) 인공신경망(ANN)의 손실함수(Loss) 구현 수치미분 및 편미분, 그리고 GDA 인공신경.. 2020. 5. 13. [ANN] 05. Output Layer and Forward Propagation 이번에는 세번째 글로 인공신경망(ANN)의 출력층 설계 및 순전파에 대해서 알아보겠습니다. 예전에 Regression에서 알아본 내용을 다시 회상해보면서 시작해 보겠습니다. 인공신경망(ANN)의 개요 및 퍼셉트론과의 차이점 인공신경망(ANN)의 활성화함수(AF, Activation Function) 인공신경망(ANN)의 출력층 설계 및 순전파(Forward Propagation) 인공신경망(ANN)의 손실함수(Loss) 구현 수치미분 및 편미분, 그리고 GDA 인공신경망(ANN)의 역전파(Back Propagation) 개념 인공신경망(ANN)의 역전파(Back Propagation) 구현 0. Regression 회상 이전에 Regression에 대해서 목적과 실제 코드로 구현하여 3가지 종류에 대해서.. 2020. 5. 12. [ANN] 04. Activation Function of Neural Network 이번에는 ANN의 개별 node에 적용되는 활성화함수(AF, Activation Function)에 대해서 알아보도록 하겠습니다. 기존에 퍼셉트론에서 알아본 node에 적용된 임계치를 통해서 넘을때 1, 못넘으면 0... 이것도 활성화함수(AF)의 종류중에 하나입니다. 인공신경망(ANN)의 개요 및 퍼셉트론과의 차이점 인공신경망(ANN)의 활성화함수(AF, Activation Function) 인공신경망(ANN)의 출력층 설계 및 순전파(Forward Propagation) 인공신경망(ANN)의 손실함수(Loss) 구현 수치미분 및 편미분, 그리고 GDA 인공신경망(ANN)의 역전파(Back Propagation) 개념 인공신경망(ANN)의 역전파(Back Propagation) 구현 활성화함수는 기본적.. 2020. 5. 9. 이전 1 2 3 4 5 ··· 7 다음
