모두의 딥러닝2 Lec 18~21 review [CNN은 왜 잘 작동할까?]
2021-02-05
온라인 스터디
황준성 김정민 서지민 김주안 차원범 문종연
convolution이란 무엇인가?
•2D Convolution
•주어진 filter로 입력 영상에 Convolution하여 출력 영상을 얻어내는 과정
•딥러닝에서는 해당 filter를 하나의 ‘가중치’로 보고 학습시키는 대상이 됨
•RGB Convolution
•컬러 이미지는 R,G,B 3개의 이미지로 구성됨
•해당 이미지를 Convolution하기 위해서는 3개의 필터를 사용하여 1개의 Output을 가지는 것이 일반적
•Multi Channel Convolution
•1개의 층에서 여러 Convolution 출력 값을 도출해내기 위해 여러 Filter를 사용하여 Convolution 실시
Convolution을 왜 사용하는가?
CNN은 왜 잘 작동하는가?
1.Convolution을 사용하면 연산량이 적어짐
컨볼루션 연산을 사용한 희소연결 구조로 낮은 복잡도
가중치(커널)이 공유되어 적은 매개변수
2.특징 추출에 용이
•Convolution은 원래 영상처리에 자주 사용되는 기법
•ex) Sobel mask를 사용해 영상에서 모서리를 검출
•이러한 작업을 ‘특징 추출‘ 이라고 표현
실습
torch.nn 라이브러리를 임포트해주고
인풋 1x1x28x28을 설정해준다.
CNN에서 사용되는 계층을 .nn 라이브러리 함수를 이용하여 정의해주는 모습이다.
각종 레이어에 통과 시켜서 .shape로 찍어 보면 데이터의 형태가 변한것을 알 수 있다.
마지막으로 view함수를 사용해 일자로 편 후에 Fc 레이어를 통과시켜주는 모습이다.
fc 역시 .nn 라이브러리를 이용하여 정의할 수 있다.
64x7x7=3136으로 계산된다.
시각화툴 visdom & tensorboard
왜 Batch Normalization을 사용하는가?
