johanjun

Skip-gram (2013) 딥러닝을 위해 사용되는 Word Embedding 기법 중 그 유명한 Word2Vec에 대해서 알아보자. CBOW와 Skip-gram이라는 두 가지 방법이 있는데, 간단히 정리하면 CBOW는 주변 단어를 통해서 원하는 단어를 예측하는 것이고, Skip-gram은 원하는 단어를 통해서 주변 단어들을 예측하는 것이다. 기본적인 개념(구조)은 오토인코더와 매우 비슷하다. Skip-gram의 구조를 자세히 보면 input 으로 원하는 중심 단어를 one-hot 벡터가 들어가고, hidden layer에서 linear한 계산을 거쳐 주변 단어 들을 softmax로 출력하는 분류(classification) 문제이다. 단어 위치 W(t-2) W(t-1) Wt W(t+1) W(t+2) ..