캡스톤 디자인2(1) - intro

이번 개인 연구 프로젝트 주제는 데이터 증강(Data Augmentation) 기법으로 정했다.

 

AI 분야에 대한 투자와 관심으로 학습 모델이 끊임 없이 발전하고 있다.

하지만 모델 학습에 요구되는 데이터의 축적은 한계가 있으며, 

적절한 학습 데이터의 양은 다다익선으로, 많으면 많을수록 모델의 성능은 증가한다.

 

따라서, 현존하는 데이터에 변형을 주어 적절하면서도 새로운 데이터를 생성하는 방법,

Data Augmentation이 중요시 되고 있다.

 

 

데이터 증강 기법 조사

1. Affine Translation : 이미지 이동, 확대, 회전, 기울이기 등 기하학적 변환을 기반으로 한 데이터 변환 

2. Color Jitter : RGB 수치에 노이즈를 줌으로써 색감을 변환

3. Mixup, Cutout, CutMix : 이미지를 겹치거나 blank 처리하거나, 오려 붙이는 방법 

source:  arXiv:1905.04899

4. GAN을 이용한 방법.

 

---

 

새로운 데이터 증강 기법 고안

- 현재 사용되는 기하학적 변환 및 색감 조절 기법 등은 원본의 비율을 항상 유지시키며, 

  획기적인 방법을 고안하는데 한계가 있다.

- 두가지 이상의 이미지를 혼합하는 방식은 이미 실험한 논문이 있음

- GAN을 이용한 데이터 증강은 결국 GAN을 위한 추가적인 학습과 데이터셋이 요구된다.

 

→ 원본을 유지시키지 않으면서 이미지에 기하학적 변환을 주는 방법을 고안해보자.

- crop, flip, rotation 과 같은 방법은 애초에 원본 객체의 비율을 변형하지 않는다.

- scale은 width, height만 변경하면 원본의 비율이 변형되지만,

  원본을 드라마틱하게 바꾸기 힘들다.

 

Try 1 : Random scale  

 

 

X : 0 ~ length

r : resizing 범위(random)

d : resize 길이(random)

Tot_increase = Tot_decrease

 

- 하나의 축(width or height)을 기준으로 X를 평행이동하며

rescale할 범위를 random하게 선정

- rescale 값을 random하게 적용

- 축의 length까지 진행

(단, rescale하며 총 증가 범위 = 총 감소 범위

: 원본 이미지 크기를 유지하면서 내부적으로 random하게 rescale해주는 것이 원본 변형에 효율적일것 같다)

 

concept를 설명하기 위해 (이상적인 부분에) rescale을 간단하게 적용한 결과, 실제로는 깔끔하지 못한 사진이 나올것으로 예상

 

 

---

Base

 

이미지를 대상으로 한 데이터 증강이기 때문에 가장 널리 알려진 CIFAR - 10 데이터셋을 사용하기로 했다.

Dataset : torchvision 모듈로 다운 or 공식 홈페이지 참고 www.cs.toronto.edu/~kriz/cifar.html

CIFAR-10 and CIFAR-100 datasets

 

이제 계획은,

1. Random scale을 구현하는 것

2. 성능 테스트를 위한 CNN 모델 및 hyperparameters 선정,

3.  2번이 완료되면 1번이 완벽하게 구현될 때까지 선정한 모델들을 학습 및 성능 데이터 저장  

 

 

 

 

출처:

Mikołajczyk, Agnieszka, and Michał Grochowski. "Data augmentation for improving deep learning in image classification problem." 2018 international interdisciplinary PhD workshop (IIPhDW). IEEE, 2018.

 

DeVries, Terrance, and Graham W. Taylor. "Improved regularization of convolutional neural networks with cutout." arXiv preprint arXiv:1708.04552 (2017).

 

Yun, Sangdoo, et al. "Cutmix: Regularization strategy to train strong classifiers with localizable features." Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019.

He, Kaiming, et al. "Deep residual learning for image recognition." Proceedings of the IEEE conference on computer vision and pattern recognition. 2016.

 

Zhang, Hongyi, et al. "mixup: Beyond empirical risk minimization." arXiv preprint arXiv:1710.09412 (2017).