layer normalization1 Normalization의 종류 Normalization & Standardization & Regularization 데이터과학, 머신러닝 등을 공부하다 보면 정규화라는 단어를 자주 접할 수 있는데, Normalization, Standardization, Regularization 세 가지 영어표현을 모두 정규화라고 하는 것은 문제가 있다. Normalization의 종류에 대해 알아보기 전에 세 가지 method의 차이에 대해 짚고 넘어간다. 1. Normalization & Standardization 둘 다 데이터의 분산을 줄이기 위해 값의 범위를 축소하는 rescaling 과정이다. scale의 범위가 크다면 노이즈 데이터가 생성될 가능성이 커지고, Overfitting이 될 가능성이 높아지고, 활성화 함수의 의미가 희미해진.. 2024. 1. 16. 이전 1 다음
