Tags » Overfit

Weight Decay Revisited

The question why l2 weight decay helps to regularize (linear) models has been answered several times. And often the explanation is done graphically to show the effect on the decision boundary which is useful to understand the impact of different values. 477 more words


Neural network에 대한 재미있는 문서
TensorFlow에 대해 찾아보다가 이 문서를 찾았다(http://cs231n.github.io/neural-networks-1/). 설명이 꽤 잘 되어있었고, 잘 모르는 내게는 모든 내용이 신선했다. Neuron에서 사용하는 activation function의 종류와 장단점, 그리고 hidden layer와 neuron의 수에 관련된 내용이 재미있었다. 30 more words

1) Memo