johanjun

준지도 학습 (SSL; Self-supervised Learning) 비지도(Unsupervised), 지도(supervised) 학습은 많이 들어봤어도, 준지도(self-supervised) 학습은 입문자에게 낯설다. 단어 뜻을 토대로 유추해보면, 자기가 스스로 label을 생성하는 것이라고 유추해 볼 수 있겠다. 사람이 레이블링을 하는 것은 많은 리소스가 들어간다(그래서 따로 외주를 주는 것). 준지도 학습에서 레이블들은 입력으로 넣지 않은 나머지 데이터들이 y 삼아서 예측하도록 학습한다. "I love ___ go to school." 위 문장의 예시에서 빈 칸을 예측하는 태스크를 준지도 학습으로 해결하고자 한다면, 빈 칸을 제외한 나머지 단어들을(토큰) 다른 단어(토큰)들로 예측하도록 학습시키는 ..

자연어처리는 딥러닝을 통해서 로켓을 탄 것 같다. 불과 3~4년 전만 해도 구글 번역기로 번역을 돌리면 '피식'하고 웃음이 먼저 났다. 자연어처리를 매우 부자연스럽게 처리한 결과들이 더 많이 보였기 때문이다. 딥러닝이 등장(?)하면서 자연어처리는 어떻게 변했고, 어떤 일들을 할 수 있는지 알아보자. 자연어처리와 한국어 전통적인 NLP 딥러닝을 통한 NLP - 단어를 Symbolic 데이터로 취급 - 통계 기반으로 번역기 모델링 - 연산 속도가 느림 - 단어를 연속적인 값으로 변환(embedding) - 신경망을 이용하기 때문에 사람이 이해하기 어려움 자연어처리의 시스템을 아주 간략하게 정리하면 세 단계다. Encoder 임베딩 계층 : 사람이 쓰는 단어(symbolic) → 신경망이 좋아하는 단어(con..