johanjun

자연어처리는 딥러닝을 통해서 로켓을 탄 것 같다. 불과 3~4년 전만 해도 구글 번역기로 번역을 돌리면 '피식'하고 웃음이 먼저 났다. 자연어처리를 매우 부자연스럽게 처리한 결과들이 더 많이 보였기 때문이다. 딥러닝이 등장(?)하면서 자연어처리는 어떻게 변했고, 어떤 일들을 할 수 있는지 알아보자. 자연어처리와 한국어 전통적인 NLP 딥러닝을 통한 NLP - 단어를 Symbolic 데이터로 취급 - 통계 기반으로 번역기 모델링 - 연산 속도가 느림 - 단어를 연속적인 값으로 변환(embedding) - 신경망을 이용하기 때문에 사람이 이해하기 어려움 자연어처리의 시스템을 아주 간략하게 정리하면 세 단계다. Encoder 임베딩 계층 : 사람이 쓰는 단어(symbolic) → 신경망이 좋아하는 단어(con..