"전 ~~할땐 sigmoid 보다 tanh 를 써요. 결과가 더 ~~ 하데요"
"tanh 는 생각못했는데 그것도 괜찮겠네요~"
라는 식의 글을 봤다.
하지만, 불행히도.
sigmoid function 과 tanh function을 google씨에게 물어보면..
engineering 관점에서 두 function이 동일한 function임을 쉽게 알 수 있다.
-engineering 관점에서 동일하다함은, tuning value의 조정만으로 같아지는 function이라는 얘기다
말하자면 위의 대화는
"전 2+2보다 2*2가 결과가 잘나오는거 같아요~"
뭐 이런...식이라고 해야하겠지..ㅎㄷㄷ
중학생도 알 수 있을만큼 복잡하지 않은 변환으로 알 수 있는 내용이니..
설마 수식을 보고도 몰랐을 리는 없고..
요는,
sigmoid 건, tanh 건 어떤 논문을 통해서건 아니면 누군가의 블로그, 칼럼을 통해서건
아~ 이럴때 이런 function을 쓴다더라
라고 하면, 그 내용에 대한 최소한의 조사도 없이 맹목적으로 사용한다는 것이겠지.
거기다... 그들이 불행히도 검색업계의 알만한 기업에서 어느 정도 포지션을 갖고 있다는 것이..
암담한 현실이랄까.
덧붙이기 : 아아..거기다가 sigmoid는 0~1 value 를 가지니 확률로도 사상할 수 있다~ 라는...
무시무시한 소리도....0~1이라 확률로..라니..확률이 뭐라고 알고 있길래;;
(물론 ,0~1 value를 갖는 연속내지는 미분가능함수는 확률로 사상할 수 있다.
cdf로 보고, pdf 의 distribution을 domain이 만족한다는 가정 혹은 증명 아래서 말이지.
0~1 이 되니 아무거나 집어넣어놓고 확률이에요 하면 곤란하다고..)
