KAU-Deeperent

논문 핵심 요약 www.youtube.com/watch?v=671BsKl8d0E shortcut connection or skip connection -->추가적인 파라미터는 필요 없다. 앞서 학습했던 정보를 가져오고 그대로 가져오고 추가적으로 F를 더해주겠다는 것이다. 잔여 한 정보인 F만 추가적으로 학습시켜주는 형태 전체를 다 학습하는 경우보다 훨씬 쉽다. H(x)는 개별적으로 학습을 진행할 필요가 있어서 수렴 난이도가 높아지게 된다. 반면에 우측 네트워크는 학습했던 정보를 가져오고 추가적으로 학습이 필요한 부분만 학습시키면 된다. 동일한 답을 도출한다고 하더라도 F를 학습시키는것이 더 쉽다. 매번 새로운 맵핑 값들에 대해서 학습 하는 대신 4. Experiments 1000의 클래스로 구성된 [Im..

오랜만에 즐거운 machine learning 시간 데이터 셋이 필요하기 때문에 Kaggle에서 X-ray 데이터 셋을 다운로드 받아옵니다. www.kaggle.com/paultimothymooney/chest-xray-pneumonia Chest X-Ray Images (Pneumonia) 5,863 images, 2 categories www.kaggle.com 우한 폐렴 데이터도 준비했습니다. 우리는 colab을 사용할것이기 때문에 데이터 셋을 구글 드라이브에 올려주도록 합시다. 실습 import torchvision from torchvision import transforms from torch.utils.data import DataLoader 토치 비전 라이브러리와 데이터 로더 라이브러리를 ..

2021-02-05 온라인 스터디 황준성 김정민 서지민 김주안 차원범 문종연 convolution이란 무엇인가? •2D Convolution •주어진 filter로 입력 영상에 Convolution하여 출력 영상을 얻어내는 과정 •딥러닝에서는 해당 filter를 하나의 ‘가중치’로 보고 학습시키는 대상이 됨 •RGB Convolution •컬러 이미지는 R,G,B 3개의 이미지로 구성됨 •해당 이미지를 Convolution하기 위해서는 3개의 필터를 사용하여 1개의 Output을 가지는 것이 일반적 •Multi Channel Convolution •1개의 층에서 여러 Convolution 출력 값을 도출해내기 위해 여러 Filter를 사용하여 Convolution 실시 Convolution을 왜 사용하는..

안녕하세요 B조 김주안입니다. 팀내에서 나온 질문과 토의했던 부분을 중심으로 리뷰하도록 하겠습니다. 1. "Sigmoid 는 왜 Vanishing Problem 이 생기는 가?" 에 대한 수학적 고찰 이 궁금증을 해결하기 위해서는 몇가지 요건을 이해해야 합니다. 퍼즐조각 모으듯이 하나둘 관찰하면 나중엔 노력하지 않아도 이해할 수 있습니다. 먼저 sigmoid 를 미분해야 합니다. 위의 식처럼 미분이 되는데요, 그래프를 그려보면 sigmoid 함수의 미분값은 1/4을 넘지 않는다는 것을 알 수 있습니다. (이거 나중에 쓸겁니다. 기억하세요) 다음은 Back propagation을 할때 사용하는 Chain rule 을 이해해 보는 것입니다. 일단 간단한 예시를 위해 몇 가지 조건이 붙은 신경망을 그렸습니다...

2021-01-23 온라인 스터디 황준성 김정민 서지민 김주안 차원범 문종연 1-1) Probabilistic Perspective 머신러닝은 주어진 데이터를 가장 잘 설명하는 '함수'를 찾는 알고리즘을 디자인하는 것이라고 볼 수 있다. 이를 확률적 관점에서 보면, 머신러닝은 '확률 밀도'를 찾는 것으로 생각할 수 있다. 즉, 함수 대신 '확률 밀도'를 찾는 것을 목표로 하고, 적절한 확률 분포의 parameter를 유추하는 것이다. Function parameter -> Probability Density Function parameter 1-2) Maximum Likelihood Estimation (MLE) : Probability Theory 랜덤 변수에 대한 parameter를 estimate하..

2021-01-16 온라인 스터디 황준성 김정민 서지민 김주안 차원범 문종연 Lab 4 review part1. Multivariable Linear regression multivariate(다변수) 선형회귀는 여러개의 입력변수로부터 결과값을 도출하는 방식입니다. 그림에 써진것과 같이 일반적인 선형회귀는 하나의 입력변수로부터 결과를 얻습니다. 반면 multivariate 선형회귀는 결과에 미치는 변수들이 여러개 존재할때 사용하게 됩니다. 이러한 여러 변수 입력을 표현하기위해 pytorch에선 뉴럴네트워크 모듈을 사용하여 간단히 표현할수 있습니다. multivariate 선형회귀의 cost function은 일반선형 회귀와 동일한 평균제곱 오차식을 사용하게됩니다. 따라서 pytorch에서 표현 할 때는 ..

2021-01-08 온라인 스터디 황준성 김정민 서지민 김주안 차원범 문종연 Lab 1 review part 1. 스칼라, 벡터, 행렬, 텐서 우리가 앞으로 다룰 가장 기본적인 스칼라, 벡터, 행렬, 텐서에 대해서 개념을 정리해 봅시다. 스칼라(Scalar)는 차원이 없는 숫자 하나로 이루어진 데이터입니다.(ex: x = +5) 벡터(Vector)의 물리적인 의미는 크기와 방향을 가지고 있으면 벡터라고 합니다. 여기서는 스칼라의 배열 이라고 생각하시면 됩니다. (ex : x = [1 , 2]) 행렬(matrix)은 2차원의 배열입니다. 가장 대표적인 예로 가로 세로의 2차원 이미지를 생각하시면 됩니다.(ex : x = [1, 2: 3, 4]) 텐서(Tensor)는 2차원 이상의 배열을 생각하시면 됩니다...