#"Natural Language Processing" (1) 커리큘럼 - NLP 개요 및 실습

날짜:

 과목 : Natural Language Processing (NLP)


"AI 챗봇" 도입 업무와 자연어 처리 과목을 수강 하며 느낀 점은
논문 "Attention Is All You Need 의 'Transformer' 와 "BERT" 그리고 GPT-2 가 발표된 시점부터, 'AI 챗봇',"상담 지원 서비스" 와 같은 Dialog System 그리고 그 중심에 있는 NLP 기술에 대한 기업과 학생들의 관심이 크게 늘어났다는 것입니다.

이러한 변화는 사람들에게 자연어 서비스가 큰 거부감 없이 받아 드려질 정도로 기술이 발전했기 때문이라 봐도 될 것 입니다. 

이에 자연어 처리란 무엇이며 어떠한 기술 때문에 우리의 관심이 급격히 늘게 된 것인지 알아보고 나아가 자연어 처리 기술에 기반한 AI 서비스 개발을 위해 요구되는 사항과 함께 구현 방법을 소개 하고자 합니다.


접근 방향(목표) : 자연어 처리 이해와 BERT 를 활용한 AI 챗봇 개발  -2020년 09월~ -




목   차


1. 개요

  • 인공지능 vs 자연어 처리
  • SQuAD vs KorQuAD
2. 수학적 배경
3. Natural Language Processing 기초
  • 자연어 처리 단계
    • 형태소 분석
  • Word embedding     
3. Language Model (LM)
  • 모델의 정의
  • Markov 확률 모델
  • RNN(Recurrent Neural Network)
  • Attention 모델
  • Self-Attention 
  • Multi-head Self Attention 모델
  • Multi-head Self Attention encoder 모델

5. 주요 논문
  • Background
    • Feed Forward
    • Softmax
    • Positional Encoding
  • BERT vs OpenAI GPT vs ELMo
    • BERT (Pre training of Deep Bidirectional Transformers for Language Understanding)
    • OpenAI GPT 1 Improving Language Understanding by GPT(Generative Pre Training )
    • ELMo : Deep contextualized word representations

5.  실습 (환경 구축 및 시행 착오 review)
  • 한국어 형태소 분석기
    • preprocessing
    • Evaluation of Sequence labeling
  • STT
  • TTS
  • AI 챗봇


Reference

- 서 적) 텐서플로 2 와 머신러닝으로 시작하는 자연어 처리

- 외부 강의 ) 자연어 언어모델 ‘BERT (Bidirectional Encoder Representations form       Transformer)’ * T Academy & 솔트룩스 강의

- http://hunkim.github.io/ml/ 모두를 위한 머신러닝/딥러닝 강의 - 홍콩과기대 김성훈-

시즌 NLP - Deep NLP

(TBA)