Tags » Overfit

Weight Decay Revisited

The question why l2 weight decay helps to regularize (linear) models has been answered several times. And often the explanation is done graphically to show the effect on the decision boundary which is useful to understand the impact of different values. 477 more words

20160726

Neural network에 대한 재미있는 문서
TensorFlow에 대해 찾아보다가 이 문서를 찾았다(http://cs231n.github.io/neural-networks-1/). 설명이 꽤 잘 되어있었고, 잘 모르는 내게는 모든 내용이 신선했다. Neuron에서 사용하는 activation function의 종류와 장단점, 그리고 hidden layer와 neuron의 수에 관련된 내용이 재미있었다. 30 more words

1) Memo

20160107

1. Decision tree
– decision tree를 생성했을 때 overfitting이 발생할 수 있고, 이는 pruning을 통해 어느 정도 해결 가능함.
– scikit-learn 패키지는 현재로서는 pruning을 지원하지 않음. 26 more words

1) Memo