KAU-Deeperent

VGGNet은 2014 ImageNet Challenge에서 GoogLeNet 다음으로 2등을 차지한 네트워크입니다. 하지만 GoogLeNet보다 더 간결한 구조로 인해 더 각광받았습니다. VGGNet의 특징은 다음과 같으며 이는 논문의 핵심이 됩니다. 이전 대회(~2015 ILVSRC)보다 2배 이상의 깊이(19 layers)를 가진 네트워크를 구성 3x3 Convolutional layer만을 사용

C팀 : 김경태 남서아 김태현 백윤성 이상민 발표자 : 백윤성 이번 주는 CNN의 개념, 구조에 대해 배우고 데이터를 받아와 학습시켜보는 과정을 공부했습니다. 발표자는 CNN이 Vision에서 강점을 나타내는 것이 CNN의 어떤 특성 때문인지에 대해 찾아보았습니다. 추가로 저번 주 Batch Normalization에서 나온 학습 파라미터 Gamma, Beta를 왜 학습시키는지에 대해 리뷰하겠습니다. 1. CNN과 Vision 합성곱 신경망은 image processing에서 강점을 나타내며 자율 주행 자동차, 얼굴 인식 애플리케이션과 같이 객체 인식과 컴퓨터 비전이 필요한 분야에서 많이 사용합니다. 그렇다면 CNN은 왜 image processing에서 강점을 나타낼까요? 발표자는 CNN의 기원이 되는..

안녕하세요 이번 C조 발표를 맡은 김태현입니다. 오늘 발표할 내용은 weight initialization(가중치 초기화)에 대한 내용입니다. 다른 내용들은 앞에서 잘 발표해주실거라 믿어서 가중치 초기화에 더 집중해서 설명해보려고 합니다. 먼저 Weight initialization이 중요한 가장 큰 이유는 학습이 제대로 안되서입니다. 이 부분에 대해서는 강의에 잘 나와있기 때문에 넘어가도록 하겠습니다. 원래는 vanishing gradient 문제 때문에 두 번째 Neural Network의 암흑기를 겪고 있었는데 2006년, 딥러닝의 아버지, 제프리 힌튼 교수가 RBM을 사용하여 가중치를 초기화를 하고 학습시키면 훨씬 좋은 결과를 낼 수 있다는 것을 논문으로 발표를 합니다. “Geoffrey Hint..

안녕하세요. 이번 3주차 모두의 딥러닝2 강의 리뷰를 맡게된 C조 남서아입니다. 그럼 리뷰 시작해보겠습니다. 먼저 목차를 소개해드리자면, 강의의 순서랑 같게 진행이 됩니다. 먼저 오버피팅과 그래디언트 디센트 등을 소개한 뒤에 이를 구현한 예제를 살펴보겠습니다. 또 MNIST가 무엇인지, 여기에 어떤 개념들이 중요하게 사용되는지 다루겠습니다. 다음으로 퍼셉트론, 그 다음에 멀티레이어, 즉 다층 퍼셉트론. 이런 식으로 진행하겠습니다. 또, 이번 강의에 다루지는 않았지만, 간략히 이름만 나왔던 정규화 방식 2가지에 대해 따로 소개 드리고. 마지막으로 이번 수업내용에서 떠올린 제 의문점을 제시하겠습니다. 첫 번째로 소개할 내용은 MLE인데요. 이건 통계학적인 방법이면서, 원하는 값들이 나올 가능도를 최대로 만드..

C팀 : 김경태 남서아 김태현 백윤성 이상민 발표자 : 이상민 유튜브 채널 Deep Learning Zero To All 님의 '모두를 위한 딥러닝 시즌2 - Pytorch' 6~9 번째 강의를 듣고 리뷰하며 이전 학기 수업에서 사용한 데이터를 통해 직접 네트워크를 구성하여 모델 훈련 과정까지 보여드립니다. 모든 코드는 Google Colab을 이용하였으며 Pytorch와 scikit-learn, pandas 모듈을 사용하였습니다. 1. Multivariate Linear Regression 이전 강의에서는 Input이 하나인 Single Linear Regression을 배웠습니다. Input $x$ 하나로부터 가설 $H(x)=wx+b$ 를 세워 Output을 유추 하고 이를 실제 output $y$ ..

C팀 : 김경태 남서아 김태현 백윤성 이상민 발표자 : 백윤성 모두의 딥러닝 강의에서 나온 Linear regression에서 사용된 함수에 대해 발표자가 개인적으로 궁금했던 부분에 대해 리뷰하고, 간단한 데이터 셋으로 하나의 input을 갖는 선형 회귀 모델을 만들어 보겠습니다. 1. optim.SGD() 강의에서 선형 회귀 모델을 만드는 optimizer로 확률적 경사하강법(이하 SGD)를 사용하였습니다. 이를 기본적인 경사하강법과의 차이에 대해 알아보았습니다. GD는 각 step마다 전체 데이터를 이용하여 가중치를 update합니다. 반면 SGD는 데이터의 일부분을 추출하여 각 step마다 mini-batch만을 이용하여 update를 진행합니다. 이러한 방법은 최적값을 찾아나가는 과정이 노이즈가 ..