반응형

목록batch normalization (1)

반응형

타임트리

Problems of MLP

이번 게시물에서는 MLP를 사용할 때 발생하는 문제점을 알아보고, 이러한 문제점을 해결하기 위한 방법에 대해서도 함께 다룬다.1. Problems of MLP: Overfitting(1) Model Capacitiy(Complexity) Regression 문제를 가정해보자. Real vlaue의 분포가 3차 함수와 유사할 때, 두 가지 모델을 파라미터 관점에서 생각해보자.  $H(x)$는 2개의 파라미터를 갖고 있는 데 반해, $H_2(x)$는 4개로 더 많은 파라미터를 갖고 있다. 이처럼 모델의 파라미터 개수가 증가할수록 즉, 모델이 복잡해질수록 더 복잡한 함수를 근사할 수 있다.  복잡한 현상을 예측하기 위해 MLP의 Model Capacitiy를 크게 만드는 방법은 두 가지가 있다.(1) Laye..
Deep Learning/Tips 2022. 6. 13. 00:50
이전 Prev 1 Next 다음