개발새발로그

이 글은 Christopher Olah가 2014년 7월에 쓴 글을 우리 말로 번역한 것이다. Deep learning이 자연어 처리(natural language processing, NLP) 분야에서 성취해낸 많은 연구 결과들을 짚어보면서, 도대체 어떻게 deep learning이 이렇게 문제를 잘 해결해 내는 것인지에 대한 대답을 굉장히 구체적으로 설명한 멋진 글이라고 생각한다. 기본적으로 neural network에 대해서 이해하고 있어야 이 글의 내용을 원활하게 이해할 수 있으리라 생각한다. 저자의 홈페이지에 neural network에 대한 주옥같은 글들이 많으므로 관심이 있다면 둘러보시길 추천한다. 우리 말로 옮기기 애매한 용어는 영어 단어 그대로 표기했고, 원문에 있는 그림을 그대로 가져다..

이 글은 Christopher Olah가 2015년 8월에 쓴 글을 우리 말로 번역한 것이다. Recurrent neural network의 개념을 쉽게 설명했고, 그 중 획기적인 모델인 LSTM을 이론적으로 이해할 수 있도록 좋은 그림과 함께 한 걸음씩 설명하는 멋진 글이라고 생각한다. 기본적으로 neural network에 대해서 이해하고 있어야 이 글의 내용을 원활하게 이해할 수 있으리라 생각한다. 저자의 홈페이지에 neural network에 대한 주옥같은 글들이 많으므로 관심이 있다면 둘러보시길 추천한다. 우리 말로 옮기기 애매한 용어는 영어 단어 그대로 표기했고, 원문에 있는 그림을 그대로 가져다 썼다. 물론 저자의 허락을 받고 번역했다. 오역에 대한 지적이나 내용에 대한 피드백은 항상 감사합..

이 글은 Christopher Olah가 2014년 7월에 쓴 글을 우리 말로 번역한 것이다. Convolutional layer가 기존 neural network를 어떻게 발전시켰는지에 대해 좋은 그림들과 함께 이론적으로 잘 설명했고, 그 당시 핫한 연구 결과를 토대로 그 의미를 느낄 수 있도록 한 굉장히 좋은 글이라고 생각한다. 저자의 홈페이지에 neural network에 대한 주옥같은 글들이 많으므로 관심이 있다면 둘러보시길 추천한다.기본적으로 neural network에 대해서 이해하고 있어야 이 글의 내용을 원활하게 이해할 수 있으리라 생각한다. (염치없는 홍보 문구) 혹시 neural network를 먼저 알고 싶다면 역자의 다른 글도 나쁘지 않다. 우리 말로 옮기기 애매한 용어는 영어 단어..

Neural network를 위한 나의 첫 framework으로 PyTorch를 선택해서 알아가고 있다. PyTorch documentation의 tutorial 부분만 차근 차근 보고 있는데, 생각보다 내용이 좋다. 단순히 자기네 framework 사용법 뿐만이 아니라 deep learning의 여러 전반적인 기초에 대해서 잘 설명해주고 있다. 그 중에서 Beginner Tutorial 섹션의 "Deep Learning for NLP with Pytorch" 튜토리얼을 우리 말로 옮겨보았다. 세 번째 번역 부분은 recurrent neural network의 개념을 소개하고 NLP에서의 활용으로 LSTM 모델을 구현해본다. Exercise까지 해보려고 했으나 발버둥만 남았다. 꼭 업데이트 하리... 수..

Neural network를 위한 나의 첫 framework으로 PyTorch를 선택해서 알아가고 있다. PyTorch documentation의 tutorial 부분만 차근 차근 보고 있는데, 생각보다 내용이 좋다. 단순히 자기네 framework 사용법 뿐만이 아니라 deep learning의 여러 전반적인 기초에 대해서 잘 설명해주고 있다. 그 중에서 Beginner Tutorial 섹션의 "Deep Learning for NLP with Pytorch" 튜토리얼을 우리 말로 옮겨보았다. 두 번째 번역 부분은 NLP의 첫 발걸음으로 word embedding을 이용한 N-gram language modeling을 직접 해본다. 수식이 깨지는 등의 문제가 있는 경우 Github을 통해 볼 수도 있다...

Neural network를 위한 나의 첫 framework으로 PyTorch를 선택해서 알아가고 있다. PyTorch documentation의 tutorial 부분만 차근 차근 보고 있는데, 생각보다 내용이 좋다. 단순히 자기네 framework 사용법 뿐만이 아니라 deep learning의 여러 전반적인 기초에 대해서 잘 설명해주고 있다. 그 중에서 Beginner Tutorial 섹션의 "Deep Learning for NLP with Pytorch" 튜토리얼을 우리 말로 옮겨보았다.첫 번역 부분은 PyTorch의 기본적인 개념 및 사용법과 neural network의 이론적인 기초를 다룬다. 수식이 깨질 경우 Github을 통해 볼 수도 있다. NLP 분야에 관한 기초 지식이 없어서, 번역에 ..

Neural Network은 자식새끼 알아서 크라고 냅두는 시골 엄마다 계속 핫한 숯같은 딥러닝, 그 기초 개념인 neural network을 알아보려고 한다. Neural network에 대해서 이래 저래 인터넷을 찾아봐도 잘 모르겠어서, 차근차근 ESL을 통해 neural network를 알아가는 과정을 기록했다. Engineering 입장에서가 아닌 stat/math 입장에서 저술한 책으로, 좋은 평가를 받은 책으로 알고 있기 때문에, 출처는 믿을만 하다고 본다. Supervised learning의 기본적인 개념 안에서 neural network를 설명할 수 있는 가장 기초적인 방법들부터 그 의미를 풀어나가고자 하는 것이 주 목적이다. 여기서 언급하는 각각의 방법론에 대한 설명은 각종 이론서에 굉..

결론부터 결론 먼저 말하자면 logistic regression이 제공하는 decision boundary가 linear하기 때문에 linear method로 분류된다. Linear regression처럼 linear equation을 풀지는 않지만, 그보다 훨씬 복잡한 계산 과정을 통했더라도 좌우지간 linear decision boundary를 제공하기 때문인 것이다. Logistic regression은 linear regression이 해주는 것보다 더욱 이치에 맞는 결과를 내 주는데, 왜냐하면 logistic regression은 확률의 성질을 linear regression보다 더 잘 지킬 수 있도록 보완된 것이기 때문이다. 본문은 이제 결론이 첫 문장에 나와서 놀랐을 수도 있겠지만, 본래 J..

안내 사항 이 시리즈는 더 이상 업데이트 되지 않습니다. 대신 새롭게 제 github 레포에 jupyter notebook을 기반으로 다시 정리하고 있습니다. 이 작업이 다 끝나고 스스로 이해한 것을 한글로 정리하게 될 때가 오기를 바랍니다. 우리는 지금까지 supervised learning의 대표적인 방법인 least squares와 kNN을 알아보았다. 다시 두 방법이 만들어내는 decision boundary를 흘끗 보자. least squares를 이용한 선형 모델은 매우 매끄러운 decision boundary를 만들어내며, 데이터에 맞추기에 일관적인 면모를 드러낸다. 딱 봐도 좋아보인다. 다만 우리는 least squares가 적합한 방법이라는 믿음을 가지고 있기 때문에 사용을 했다는 점을 ..

안내 사항 이 시리즈는 더 이상 업데이트 되지 않습니다. 대신 새롭게 제 github 레포에 jupyter notebook을 기반으로 다시 정리하고 있습니다. 이 작업이 다 끝나고 스스로 이해한 것을 한글로 정리하게 될 때가 오기를 바랍니다. 주의이 글의 내용은 Hastie, Tibshirani 등이 쓴 책 "The Elements of Statistical Learning"의 순서와 내용을 기반으로 정리한 글입니다. 따라서 잘못된 내용이 있을 수도 있으니 그럴 경우 제보해주시면 감사드리겠습니다. 이전 글2-1. Least squares k-Nearest-Neighbor (kNN) 이전 글에서 선형 모델로 맞추듯(fit), kNN을 통한 fitting \(\hat{Y}\)을 다음과 같이 나타낸다.\[\h..