0. 실습 1. GAN GAN(Generative Adversarial Network을 약자다. 장점 : 통계적 추론에 의한 대체함수 미사용 : 신경망, CNN 사용 : 경사하강법 사용(상대적으로 적은 시간) 좋은 성능에 힘입어 최근에 많이 사용되고 있다. GAN은 게임이론을 적용한 Incremental 개선을 기본 원리로 한다. 무슨 말이냐;; 밑에서 천천히 설명하겠다. 가. 생성 모델 (Generative model) 훈련 데이터를 사용해서 해당 클래스의 표본 자체를 출력(생성)하는 모델. 예를 들어 고양이 사진을 데이터로 투입하면 생성모델은 학습을 통해서 “고양이 같은 사진”을 만들어 낸다. 나. 변별 모델 (Discriminative model) 학습을 통해서 주어진 입력이 무엇에 해당하는지 판별..

0. 기계번역의 연혁 1. Seq2Seq 모델 인코더와 디코더로 구성되며, 인코더에서 context를 디코더로 전달한다. 인코더와 디코더 모두 RNN을 활용했다. 인코더의 마지막 은닉층의 출력값을 context로 활용한다. SOS : Start Of Sequence EOS : End Of Sequence 가. Seq2Seq 문제점 Seq2Seq 모델에서 사용하는 context는 입력 시퀀스의 크기와는 상관없이 크기가 고정되어 있다. 또한 가장 마지막 은닉벡터의 출력값의 context로 사용한다. 이에 2가지 문제점이 나타난다. 입력 시퀀스의 크기가 커지면, 시퀀스의 앞부분 단어에 대한 정보가 손실된다. 입력 단어별 관련성에 관한 정보의 사용이 불가하다. 나. 해법 모든 단어를 평등하게 고려하여 conte..

1. NLP (자연어 처리) 자연어란 사람이 사용하는 언어를 지칭한다. 자연어 처리(NLP)는 컴퓨터를 이용해서 자연어를 이해, 생성하기 위한 분야다. 가. NLP 기술 보기에도 많은 기술이 사용된다. 나. 머신러닝과 NLP 머신러닝을 이용해서 NLP하는 전체 과정을 간략하게 표현한 것. NLP를 위한 머신러닝 모델의 입력으로 사용할 대부분의 특징은 형태소 분석기와 같은 도구(software)를 통해서 제작한다. 2. 코퍼스 (Corpus) 머신러닝 모델을 학습시키기 위해서 실제 언어가 사용된 사례가 필요하다. 이에 분석에 활용할 텍스트 모음을 코퍼스라고 한다. 코퍼스의 예시로 한국어 위키피디어를 활용한 코퍼스, Naver 영화 리뷰를 활용한 코퍼스, IMDB 영화 리뷰를 활용한 코퍼스 등이 있다. 가...

1. RNN 가. 순차 데이터 (data sequence) 데이터 간 상호 순서상 연관성을 갖는 경우. 시계열 데이터 : 주가 변동, 환율 변동, 모션 시계열 신호 또는 이미지 : 음성신호, 동영상 프레임 구두 연설, 문서 텍스트 나. RNN의 기능 순차 데이터 처리의 종류 예측 : 주가 예측, 문장에서 다음 단어 예측, 동영상에서 다음 프레임 예측 등 분류/판단 : 문장 요약, 문법오류판단 등 생성 : 번역, 캡션생성(장면 묘사) 등 위와 같은 처리를 위해서는 과거의 상태(과거의 입력)를 기억할 필요가 있음. 다. RNN의 구조 RNN은 이전 상태를 저장할 수 있는 기능을 가진다. 위와 같이 표현하는 방법을 ‘시간 펼침 (Unrolling in time)’이라고 한다. RNN 분석 및 학습을 편리하게 ..

1. CNN 활용 개요 CNN은 주로 컴퓨터 비전에 많이 활용된다. 컴퓨터 비전의 주요 tasks Classification Semantic Segmentation Classification + Localization Object Detection Instance Segmentation 가. 이미지 분류 (Classification) CNN의 가장 기본적인 활용 분야로 지정된 개수의 카테고리로 이미지를 분류한다. 대표적인 학습 데이터로 MNIST와 ImageNet이 있다. MNIST 0~9까지의 손글씨 이미지를 분류한 공개 학습 데이터. 미국의 우편번호 손글씨를 스캔해서 만들었다. 28*28 1채널 (회색) 이미지로 각 픽셀은 0~255의 값을 가진다. 훈련용 이미지 60000장에 검증용 이미지 1000..

1. 딥러닝 개요 가. 딥러닝의 등장과 확산 1) 딥러닝의 등장 다층 신경망은 계층의 개수가 커지면서 신경망의 학습이 제대로 이뤄지지 않는 문제가 있다. 기울기 소실과 기울기 폭증과 관련된 문제다. 심층 신경망 (deep neural network : deep learning)은 이러한 문제를 해결하면서 등장했다. 2006년 힌튼 (Hinton) 교수가 심층신경망의 학습 가능성을 제시했다. 이는 적층 RBM(Stack Restricted Bolzmann Manchin) 기반 가중치 학습, 심층신경망인 DBN, 사전학습(pretrain) 후 상세 조정(wake-sleep 알고리즘)과 같은 기술을 사용했다. 2) 딥러닝의 확산 딥러닝은 아래와 같은 배경에서 활성화되었다. 혁신 알고리즘 공개 개발환경 고성능 ..

1. 기울기 강하 기법 가. 학습법 개관 (1) 신경망 학습법 개관 분석적 기법 : 방적식을 구한 후 해를 계산하는 방식 → 계산이 복잡하고 비가역적이면 계산이 불가하다. 에러 정정 학습법 : 오차를 점직적으로 줄여가는 방식 (2) 에러 정정 기법 주어진 입력 샘플에 대해 출력을 산출한다. 이후 출력과 목표 출력 간의 차이가 줄어들도록 가중치를 변경한다. 손실(Loss, 에러)를 어떻게 계산할 것인가? → 손실 함수로 정량화 손실이 줄어들도록 가중치를 조정하는 방법 → 기울기 강하 기법 활용 나. 손실함수 (1) 손실 함수 손실 함수는 목표치와 실제 출력 간의 차이(손실, 에러)를 계량화하는 함수. 에러 함수의 종류는 다양한다. ex) 평균제곱에러, 교차엔트로피 에러 등 (2) 평균제곱에러 평균 제곱 에..

1. 다층 신경망 (FNN) 2 계층으로 구성된 다층 퍼셉트론(MLP)은 XOR 기능을 구현해냈다. 이로써 퍼셉트론의 선형 분리성의 한계를 극복했다. 오류 역전파 알고리즘(Backpropagation)으로 다 계층 구조 활용의 최대 걸림돌인 학습 문제를 해결했다. 활성화 함수로 비선형 활성화 함수(시그모이드 함수)를 적용하면서 다양한 함수 기능 구현. 시그모이드 함수를 사용하는 순간부턴 다층 퍼셉트론보단 다층 신경망, 일반 신경망(FNN)이라 칭한다. 선형/비선형 회귀, 이진 분류, 다중 분류 등에 활용된다. 가. FNN 구조 Feed forward 구조 한 개의 히든 계층 다양한 활성화 함수 사용 일반적으로 완전연결층(fully-connected) 보통 ‘계층’이라 함은 앞 단 계층과의 가중치까지 포함..