모조리 기획해주마

출처 - KB 지식비타민

분포란? 

확률밀도함수가 생긴 모양새

 - 연속형확률 분포 : 지수분포, 로그정규분포, t분포, 카이제곱분포, 감마분포 등

 - 이산형 확률분포 : 베르누이분포, 이항분포, 포아송분포 등

모수란?

Prameters, 모든 확률분포의 모양을 결정짓는 결정적인 수. 모든 확률 분포는 한 개 이상의 모수를 가진다.

 - 가령, 가장 유명한 정규분포의 경우 평균,분산의 2개의 모수가 존재

 - 대부분의 경우 모수를 정확히 알 수 없고, 이를 추측하는 과정을 추정(Estimation)이라 함.

비모수적 모델?

모수를 통해 모델을 결정짓지 못하는 경우 비모수적 모델이라 함

 - Ex : KNN

이 경우, 학습 이전에 조건을 주게 되는데 이는 모수와는 다른 개념이다.

정리하자면,

 - 모수적 모델: 회귀모델, 로지스틱회귀모델, 1차/2차 판별모델

 - 비모수적 모델: 의사결정나무, 랜덤포레스트 (Random Forest), K-최근접이웃

- 퍼셉트론으로 신경망을 조직할 때, 각각의 퍼셉트론에서 다음 퍼셉트론으로 넘어갈 때 값의 역치를 어떻게 조절할지 결정해주는 것이 활성함수이다.

-시그모이드는 가장 대표적인 활성함수중 하나로 공식은 " sig(x) = 1 / 1 - exp(-x) " 이다. (exp는 자연상수, 파라미터는 지수)

-Gradient Descent는 모든 데이터를 다 학습하고 Loss(오차) function의 값을 다 보고 경사하강 및 갱신을 하는데, 이는 Cost 관점에서 보았을 때 너무 계산이 많이 요구된다. 이에 대한 한계를 극복하기 위해  SGD(Stochastic Gradient Descent)가 등장. 하나의 학습 데이터 마다 오차를 계산해서 신경망의 가중치를 바로 조절하는 방법이다.

-SGD(Stochastic Gradient Descent)를 할 때 이동하는 거리를 구하는 함수를 구하기 위해 시그모이드함수의 도함수가 필요하다. ( w = w - 도함수 )

-아래는 그 도함수 도출의 과정

선형회귀의 기본 가정 4가지

1) X의 각 값 x에 대하여 Y 값들로 구성되는 한 확률 분포가 대응된다. 이것을 x에 대응되는 Y의 부분모집단이라 하고 이 부분 모집단은 정규분포를 따른다. 

2) 이 부분 모집단의 분산은 모두 같다,

3) Y의 부분 모집단의 평균은 모두 동일 직선 위에 존재한다. 이것은 X = x 에서의 Y의 기대값 E[Y|X = x], 즉 평균은 y축 절편이 B0이고 기울기가 B1인 직선위에 있음을 의미한다.

4) y의 값은 확률적으로 서로 독립이다.

편미분 : 

다변수함수(多變數函數)에 대하여, 그 중 하나의 변수에 주목하고 나머지 변수의 값을 고정시켜 놓고 그 변수로 미분하는 일을 가리킨다.

http://terms.naver.com/entry.nhn?docId=1157964&cid=40942&categoryId=32220