activation function1 5강 Training Neural Networks 1 Activation functionsigmoid function넓은 범위의 숫자를 0,1 사이의 숫자로 스쿼시 하며, 입력값에 대해 가중치 영향력 주기에 적합하다.단점1. 뉴런이 포화(0 또는 1의 매우 가까운 결과값)되어 gradient를 없애버린다. (vanishing gradient)2. 결과가 0을 중심으로 이루어지지 않아 수렴(convergence)이 매우 느려진다. 3. exp()는 연산적으로 매우 비싼 함수이므로 성능의 저하를 가져올 수 있다. tanh(x)-1부터 1까지 스쿼시하고, 0 중심이다. 문제점: x의 값이 매우 작거나 큰 경우에 saturaion이 발생 가능한다. saturation(포화 현상): activation function의 출력값이 한쪽 끝에 가까워지는 현상 ReLU.. 2025. 4. 4. 이전 1 다음
