2022-11-13 AI입문_9

1. CNN 활용 개요

 

CNN은 주로 컴퓨터 비전에 많이 활용된다.

 

컴퓨터 비전의 주요 tasks

• Classification
• Semantic Segmentation
• Classification + Localization
• Object Detection
• Instance Segmentation

 

---

가. 이미지 분류 (Classification)

 

CNN의 가장 기본적인 활용 분야로 지정된 개수의 카테고리로 이미지를 분류한다.

 

대표적인 학습 데이터로 MNIST와 ImageNet이 있다.

 

• MNIST
  • 0~9까지의 손글씨 이미지를 분류한 공개 학습 데이터.
  • 미국의 우편번호 손글씨를 스캔해서 만들었다.
  • 28*28 1채널 (회색) 이미지로 각 픽셀은 0~255의 값을 가진다.
  • 훈련용 이미지 60000장에 검증용 이미지 10000장으로 구성된다.

 

---

나. 영역 분할 (Segmentation)

 

영역 분할에는 크게 2가지 종류가 있다.

 

사용자의 의도에 맞게 잘 사용하면 복잡한 계산을 줄일 수 있다.

 

• 의미적 영역 분할(semantic segmentation) : 각 화소가 어떤 클래스에 속하는지 결정한다.
• 사물별 영역 분할 (instance segmentation) : 각 화소가 어떤 인스턴스에 속하는지 결정한다.

 

 

이미지 출처 : https://wikidocs.net/148872

 

---

다. 사물 인식 (Object detection)

 

물체 인식, 객체 인식이라고도 불림.

 

디지털 이미지와 비디오로 특정한 계열의 시맨틱 객체 인스턴스(예: 인간, 건물, 자동차)를 감지하는 일을 다룬다.

 

어떤 이미지를 입력했을 때 결괏값으로 각각의 객체를 localization하고, 해당 객체들이 각각 무엇인지 classification까지 해준다.

 

여기서 localization이란 bounding box라는 직사각형으로 인스턴스의 의치와 범위를 표시해주는 것이다.

 

 

출처 : https://ko.wikipedia.org/wiki/객체_탐지

출처 : https://89douner.tistory.com/75

이미지 출처 : https://wikidocs.net/148872

 

---

라. 멀리 모달 (multi-modal) 응용

 

모달리티(Modality)는 '양식', '양상'이라는 뜻이다.

 

여기선 어떤 형태로 나타나는 현상이나 그것을 받아들이는 방식을 뜻한다.

 

인류는 개념을 이해하기 위해서 시각과 미각, 촉각, 텍스트까지 여러 모달리티를 통합해서 인식을 한다.

 

인류처럼 시각, 청각을 비롯한 여러 인터페이스를 통해서 정보를 주고받는 것을 말하는 개념이며, 이렇게 다양한 채널의 모달리티를 동시에 받아들여서 학습하고 사고하는 AI를 '멀티모달 AI'라고 한다.

 

CNN과 RNN등의 여러 딥러닝 모델을 조합한 기술을 사용한다.

 

대표적으로 Image captioning(영상 주석 달기), Visual question & answering 등에 활용된다.

 

대표적인 학습 데이터셋으로 COCO가 있다.

 

출처 : https://www.samsungsds.com/kr/insights/multi-modal-ai.html

---

마. 실습 파일

 

실습5-CNN-mnist 분류.ipynb

1.63MB

 

Google의 colab을 이용하면 별도의 환경설정 없이 웹에서 바로 동작시킬 수 있다.

 

코드의 구성에 대하여 설명하자면…

 

1. 패키지(numpy, matplotlib, tqdm, pytorch) import
2. CNN 훈련
   1. MNIST 학습 및 검증 dataset 구축
   2. 훈련 및 검증 dataloader 구축
   3. CNN 모델 클래스 및 성능 측정 함수
   4. CNN 모델 훈련
3. CNN 활용
   1. 한 개의 입력 이미지 분류하기
   2. 시험용 이미지 전체 분류하고 오류가 발생한 이미지 보기
   3. 훈련용 이미지 전체 분류하고 오류가 발생한 이미지 보기

 

AI 입문 강의 특성상 깊게 하나하나를 분석하진 않았다.

 

기술의 핵심 아이디어와 전체적인 흐름에 집중한다.

 

출처 : 대구대 AI입문 10주차 강의

 

---