[T아카데미] 딥러닝을 활용한 자연어 처리 기술 실습 -1

tacademy.skplanet.com/live/player/onlineLectureDetail.action?seq=123&preType=my

딥러닝을 활용한 자연어 처리 기술 실습 | T아카데미 온라인강의

 

1. 딥러닝 및 자연어처리 소개

데이터 마이닝 → 클러스터링

응용문제 → 클래스피케이션 ( 문제 풀이에는 더 많이 사용)

Classification

→ Supervised Learning

1) 예제 문제를 풀게하고

2) 정답 비교하여

3) 잘 맞추는 방향으로 학습

정해진 class에 score 부여해서 가장 높은 score가진 class 선택

[감성분석]

class 설계 (4개 class)

1. Positive ( 다음에 또 해야지!)
2. Negative ( 이게 좀 안좋은 느낌을 주네!)
3. Neutral ( 역시나 비싼게 좋아)
4. Objective ( 무료 Wifi)

Class 정의 → Network 구성 → Class별 scoring → 입력 → 계산 → 높은 점수 선택

(문제)

• Score의 의미는?
• 모르는 것에 대해 모른다고 이야기 할 수 있나?
• Class 개수가 1인 경우는 ?

정답을 어떻게 맞추게 해야하나?

→ 여러 가지 제약사항을 둔다. : One-Hot Representation

 

 

• Soft Max 사용, 합이 1이 되도록

이를 통해 점수 정규화 (손실 값 계산 하기)

그 중 우아하게 계산 하는 방법이

Cross Entropy이다.

위 두 개의 확률을 각 각 확률 분포라고 가정하고 두개의 확률 분포간 차이를 계산 (Cross Entropy)

---

이를 바탕으로 Cost Value를 최대한 줄이는 것이 목표 !

이때 경사하강법 사용 (Local Minimum주의하고 Global Minimum찾기)

파라미터 업데이트 (Weight Optimization) 백프로퍼게이션