[Discussion] Bias는 왜 필요할까?

Background

• Bias란, 여러가지 의미로 사용되는데 공통적인 속성은 어떤 한 쪽에 치우쳐진 것을 의미합니다.

• 즉, 우리의 output이 target에 비해서 얼마나 한쪽으로 치우쳐져있나를 고려할 때 사용할 수 있습니다.

• 따라서 bias를 가해준다는 의미는 어떤 것에게 offset을 더해준다 고 말할 수 있을거라 생각합니다.

Bias가 뭔지는 알겠는데, 그게 왜 필요해?

• 예를 들어, sigmoid activation function이 네트워크에 적용되어있는 경우를 생각해 보겠습니다.

• 그래프가 아래와 같을 때

• 이 상태에서는 아무리 sigmoid 함수를 사용하더라도, x=5일 때, result 값이 0.5인 target에는 닿을 수 없습니다. 따라서 저 target과의 간극을 좁힐래야 좁힐 수 없습니다.

• 일반적으로, bias는 function의 output에 더해주는 식으로 사용되기 때문에, 이번 경우에도 그렇게 활용을 해서, offset을 5 주도록 해보겠습니다.

• 절대 닿을 수 없을 것 같았던 target을 output이 포함하고 있습니다.

• 이러한 식으로 bias를 활용하여 전체적인 output value를 보정함으로써 더욱 정확한 decision boundary를 만들어낼 수 있습니다.

Reference

• https://chanhyeonglee.tistory.com/5