nn

과적합 가능성, 해석X, 최후의 수단?

perceptron $ x_1,...,x_n \xrightarrow[\text{weights}]{w_1,...,w_n} \sum w_ix_i $ → 1 or -1

perceptron : 1957년 고안
Artificial neuron, 다수의 신호를 입력으로 받아 하나의 신호를 출력
논리회로 : AND, NAND, OR 표현할 수 있음

XOR(배타적 논리합) : 단순 퍼셉트론으로는 불가능

그림

직선 하나로는 불가능, 직선 제약을 없애면 가능

다층 퍼셉트론, 층을 쌓아서 가능

신경망
입력층, 은닉층, 출력층

활성화 함수activation function
입력신호의 총합이 h(x)를 통해 변환

step function
sigmoid function
ReLu(Rectified Linear Unit)

identity function
softmax function (분류)

MNIST

batch : 하나로 묶은 입력 데이터
mini-batch : 훈련 데이터 중 일부를 무작위로 꺼내고(mini-batch), 그 미니배치에 대해서 경사법으로 매개변수를 갱신

손실함수
MSE mean squared error
CEE cross entropy error

정확도를 지표로 삼으면 안되는 이유? 미분값이 대부분의 장소에서 0이 됨
- 정확도는 매개변수 조금 조정하게 되면 개선되지 않고 일정하게 유지.. discrete
- 손실함수는 연속적으로 변함

gradient descent method : 가중치 매개변수의 기울기(가중치 매개변수에 대한 손실 함수의 기울기)를 이용, 기울어진 방향으로 가중치의 값을 갱신
학습률

수치미분을 이용한 계산에는 시간이 걸리지만, 구현이 간단
back-propagation of error은 기울기를 고속으로 구할 수 있다.

code