Logistic Regression은 왜 Linear Method라고 불리는가?

결론부터

결론 먼저 말하자면 logistic regression이 제공하는 decision boundary가 linear하기 때문에 linear method로 분류된다. Linear regression처럼 linear equation을 풀지는 않지만, 그보다 훨씬 복잡한 계산 과정을 통했더라도 좌우지간 linear decision boundary를 제공하기 때문인 것이다.

Logistic regression은 linear regression이 해주는 것보다 더욱 이치에 맞는 결과를 내 주는데, 왜냐하면 logistic regression은 확률의 성질을 linear regression보다 더 잘 지킬 수 있도록 보완된 것이기 때문이다.

본문은 이제

결론이 첫 문장에 나와서 놀랐을 수도 있겠지만, 본래 Jupyter notebook에 모든 내용이 있기 때문에 어쩔 수 없는 글의 구성임을 양해바란다. 아래에 kyso.io에 올려놓은 그 notebook을 첨부한다. 도중에 수식이 깨져나오는 부분이 있기 때문에 이해가 안 가는 부분은 원본으로 보시길 추천한다. 원본은 github repo를 통해 볼 수 있다 (영문 버전도 있다).

---

참고 자료

The Elements of Statistical Learning 웹페이지: 무료 pdf와 함께 책에서 사용된 data set도 제공한다.
web.stanford.edu/~hastie/ElemStatLearn

ESL 공부를 위한 Jupyter notebook (shameless plug)
github.com/dgkim5360/the-elements-of-statistical-learning-notebooks

Wikipedia: Linear Classifier
wikipedia.org/wiki/Linear_classifier