KAU-Deeperent

VGGNet은 2014 ImageNet Challenge에서 GoogLeNet 다음으로 2등을 차지한 네트워크입니다. 하지만 GoogLeNet보다 더 간결한 구조로 인해 더 각광받았습니다. VGGNet의 특징은 다음과 같으며 이는 논문의 핵심이 됩니다. 이전 대회(~2015 ILVSRC)보다 2배 이상의 깊이(19 layers)를 가진 네트워크를 구성 3x3 Convolutional layer만을 사용

논문 핵심 요약 www.youtube.com/watch?v=671BsKl8d0E shortcut connection or skip connection -->추가적인 파라미터는 필요 없다. 앞서 학습했던 정보를 가져오고 그대로 가져오고 추가적으로 F를 더해주겠다는 것이다. 잔여 한 정보인 F만 추가적으로 학습시켜주는 형태 전체를 다 학습하는 경우보다 훨씬 쉽다. H(x)는 개별적으로 학습을 진행할 필요가 있어서 수렴 난이도가 높아지게 된다. 반면에 우측 네트워크는 학습했던 정보를 가져오고 추가적으로 학습이 필요한 부분만 학습시키면 된다. 동일한 답을 도출한다고 하더라도 F를 학습시키는것이 더 쉽다. 매번 새로운 맵핑 값들에 대해서 학습 하는 대신 4. Experiments 1000의 클래스로 구성된 [Im..

오랜만에 즐거운 machine learning 시간 데이터 셋이 필요하기 때문에 Kaggle에서 X-ray 데이터 셋을 다운로드 받아옵니다. www.kaggle.com/paultimothymooney/chest-xray-pneumonia Chest X-Ray Images (Pneumonia) 5,863 images, 2 categories www.kaggle.com 우한 폐렴 데이터도 준비했습니다. 우리는 colab을 사용할것이기 때문에 데이터 셋을 구글 드라이브에 올려주도록 합시다. 실습 import torchvision from torchvision import transforms from torch.utils.data import DataLoader 토치 비전 라이브러리와 데이터 로더 라이브러리를 ..

나는 왜 여자 친구가 없을까? 3자가 본다면 바로 의심해볼 만할 구석이 있겠지만, 정작 자신은 받아들이기 힘든 이유가 있습니다. 제가 생각하는 연인이 있을 확률은 다음과 같습니다. 제가 생각하는 외모가 1인 사람은 원빈입니다. 머신러닝을 통해 제 얼굴을 원빈과 고릴라와 비교하여 보겠습니다. 이 과정에서 Siamese Network를 통한 얼굴인식, One_shot Learning에 대해서도 알아볼 수 있을 것입니다. [One Shot Learning] 소규모의 데이터 혹은 한번 본 물체를 많은 데이터와 비교하고 분류할 때 사용하는 방법입니다. 기존의 딥러닝 방식은 Convolution network가 충분히 학습할 수 있도록 많은 양의 데이터를 요구합니다. 하지만 얼굴 인식에서는 많은 데이터 확보가 어렵..

머신러닝을 하는 중 데이터 수집 단계에서 복사-붙여 넣기의 유혹에 빠지곤 합니다. 데이터를 모으기도 귀찮고, 원하는 이미지 데이터를 직접 잘라내는 일도 만만치 않은 작업입니다. 다행히 우리는 DATA Augmentation이라는 데이터 뻥튀기하는 방법을 알고 있습니다. [DATA Augmentation이란?] 한정된 데이터를 적절한 작업을 통해 늘릴 수 있습니다. 우선 다음 사진을 보겠습니다. 인간의 눈으로 보면 위 사진은 같은 고양이를 약간 돌리거나 좌우 반전한 모습에 지나지 않습니다. 하지만 컴퓨터의 눈으로 위 사진을 본다면, 살짝 돌리거나 좌우 반전한 같은 고양이의 사진은 완전히 새로운 데이터가 될 것입니다. 컴퓨터는 이미지를 볼 때 세 개의 채널(RGB)로 나누고, 각 픽셀의 RGB농도를 조절하여..

C팀 : 김경태 남서아 김태현 백윤성 이상민 발표자 : 백윤성 이번 주는 CNN의 개념, 구조에 대해 배우고 데이터를 받아와 학습시켜보는 과정을 공부했습니다. 발표자는 CNN이 Vision에서 강점을 나타내는 것이 CNN의 어떤 특성 때문인지에 대해 찾아보았습니다. 추가로 저번 주 Batch Normalization에서 나온 학습 파라미터 Gamma, Beta를 왜 학습시키는지에 대해 리뷰하겠습니다. 1. CNN과 Vision 합성곱 신경망은 image processing에서 강점을 나타내며 자율 주행 자동차, 얼굴 인식 애플리케이션과 같이 객체 인식과 컴퓨터 비전이 필요한 분야에서 많이 사용합니다. 그렇다면 CNN은 왜 image processing에서 강점을 나타낼까요? 발표자는 CNN의 기원이 되는..

2021-02-05 온라인 스터디 황준성 김정민 서지민 김주안 차원범 문종연 convolution이란 무엇인가? •2D Convolution •주어진 filter로 입력 영상에 Convolution하여 출력 영상을 얻어내는 과정 •딥러닝에서는 해당 filter를 하나의 ‘가중치’로 보고 학습시키는 대상이 됨 •RGB Convolution •컬러 이미지는 R,G,B 3개의 이미지로 구성됨 •해당 이미지를 Convolution하기 위해서는 3개의 필터를 사용하여 1개의 Output을 가지는 것이 일반적 •Multi Channel Convolution •1개의 층에서 여러 Convolution 출력 값을 도출해내기 위해 여러 Filter를 사용하여 Convolution 실시 Convolution을 왜 사용하는..

안녕하세요? A조 발표를 맡은 홍혜선입니다. 강의 내용은 14~17강의 전반적인 내용과 조별 회의에서 다뤘던 내용을 중심으로 준비했습니다. 먼저 저는 강의별로 내용을 정리했습니다. 14강에서는 ReLU를 다뤘습니다. 기존에 사용했던 Sigmoid는 양 끝 Gradient는 0에 수렴하는 값을 가지기에 Vanishing Gradient 현상이 일어날 수 있습니다. Vanishing Gradient는 다음 사진과 같이 여러 레이어를 쓸 때 Backpropagation으로 Gradient가 소멸되는 현상입니다. 그럼 ReLU의 어떤 특징이 Vanishing Gradient문제를 해결할 수 있었을까요? ReLU는 x가 0보다 작을 때 0을 출력하고, X가 0보다 클 때 자기 자신 출력합니다. 그래프로 나타내면 ..

안녕하세요 B조 김주안입니다. 팀내에서 나온 질문과 토의했던 부분을 중심으로 리뷰하도록 하겠습니다. 1. "Sigmoid 는 왜 Vanishing Problem 이 생기는 가?" 에 대한 수학적 고찰 이 궁금증을 해결하기 위해서는 몇가지 요건을 이해해야 합니다. 퍼즐조각 모으듯이 하나둘 관찰하면 나중엔 노력하지 않아도 이해할 수 있습니다. 먼저 sigmoid 를 미분해야 합니다. 위의 식처럼 미분이 되는데요, 그래프를 그려보면 sigmoid 함수의 미분값은 1/4을 넘지 않는다는 것을 알 수 있습니다. (이거 나중에 쓸겁니다. 기억하세요) 다음은 Back propagation을 할때 사용하는 Chain rule 을 이해해 보는 것입니다. 일단 간단한 예시를 위해 몇 가지 조건이 붙은 신경망을 그렸습니다...

안녕하세요 이번 C조 발표를 맡은 김태현입니다. 오늘 발표할 내용은 weight initialization(가중치 초기화)에 대한 내용입니다. 다른 내용들은 앞에서 잘 발표해주실거라 믿어서 가중치 초기화에 더 집중해서 설명해보려고 합니다. 먼저 Weight initialization이 중요한 가장 큰 이유는 학습이 제대로 안되서입니다. 이 부분에 대해서는 강의에 잘 나와있기 때문에 넘어가도록 하겠습니다. 원래는 vanishing gradient 문제 때문에 두 번째 Neural Network의 암흑기를 겪고 있었는데 2006년, 딥러닝의 아버지, 제프리 힌튼 교수가 RBM을 사용하여 가중치를 초기화를 하고 학습시키면 훨씬 좋은 결과를 낼 수 있다는 것을 논문으로 발표를 합니다. “Geoffrey Hint..