[토막 딥러닝] 시그모이드 도함수 도출

- 퍼셉트론으로 신경망을 조직할 때, 각각의 퍼셉트론에서 다음 퍼셉트론으로 넘어갈 때 값의 역치를 어떻게 조절할지 결정해주는 것이 활성함수이다.

-시그모이드는 가장 대표적인 활성함수중 하나로 공식은 " sig(x) = 1 / 1 - exp(-x) " 이다. (exp는 자연상수, 파라미터는 지수)

-Gradient Descent는 모든 데이터를 다 학습하고 Loss(오차) function의 값을 다 보고 경사하강 및 갱신을 하는데, 이는 Cost 관점에서 보았을 때 너무 계산이 많이 요구된다. 이에 대한 한계를 극복하기 위해  SGD(Stochastic Gradient Descent)가 등장. 하나의 학습 데이터 마다 오차를 계산해서 신경망의 가중치를 바로 조절하는 방법이다.

-SGD(Stochastic Gradient Descent)를 할 때 이동하는 거리를 구하는 함수를 구하기 위해 시그모이드함수의 도함수가 필요하다. ( w = w - 도함수 )

-아래는 그 도함수 도출의 과정