[weekly-NLP]7

google Assistant NLP팀의 computational linguist이신 박지호님의 위클리 NLP(week 7)를 읽고 정리한 내용이다.

 

jiho-ml

jiho-ml

 

 

 

 

 

자연어 처리 Natural Language Processing (NLP)

 

 

 

 

 

 

 

 

(week7)//NLU, CFG

 

언어

 

 

 

언어이해(natural language understanding, NLU) :

유저가 원하는 것을 이해하고 답을 도출 대화시스템(dialogue system), user가 어떤 주제에 어떤 감성을 갖는지 파악하고 숫자로 나타내는 감성분석(sentiment analysis) 등 거의 모든 NLP의 part에서 필요하다.

 

 

 

context free grammer(CFG, 언어규칙) :

 자연어에 존재하며 프로그래밍언어 제작의 경우에도 사용된다.

프로그래밍언어는 컴파일러가 이해하는 artigicial language 인공언어로서 무조건 규칙에 의해 파생된 구문만이 이해가 가능하지만, 자연어는 예외문법 또한 처리할 수 있어야한다는 측면이 차이를 갖는다.

 

 

 

 

따라서 언어라는 고차원함수는 정확한 답을 찾는 것이 아닌, 근사치(function approximation)를 구한다.

(linear regression또한 선형함수의 approximate를 data를 통해 구한 것이다.)

 

---

 

 

머신러닝은 수많은 데이터를 어떠한 형태의 함수에 fit하는 것으로 ,

특별히 딥러닝은 복잡하고 parameter가 많은 non-linear function을 approximate하는데 유용하다.

따라서 언어, NLP의 문제에는 머신러닝, 딥러닝을 통한 해결이 가장 유용하다.

 

 

현재 NLP시스템은 구체적인 문제들을 해결하는 기능적인 요소에 충실하다.

그 예로 감정 분석 (sentiment  analysis), 기계 번역 (machine translation), 이미지 설명 (image captioning) 등이 존재하며, 

각 문제는 별도의 subfunction을 학습하는 방식을 선택한다.