KAU-Deeperent

안녕하세요? A조 발표를 맡은 홍혜선입니다. 강의 내용은 14~17강의 전반적인 내용과 조별 회의에서 다뤘던 내용을 중심으로 준비했습니다. 먼저 저는 강의별로 내용을 정리했습니다. 14강에서는 ReLU를 다뤘습니다. 기존에 사용했던 Sigmoid는 양 끝 Gradient는 0에 수렴하는 값을 가지기에 Vanishing Gradient 현상이 일어날 수 있습니다. Vanishing Gradient는 다음 사진과 같이 여러 레이어를 쓸 때 Backpropagation으로 Gradient가 소멸되는 현상입니다. 그럼 ReLU의 어떤 특징이 Vanishing Gradient문제를 해결할 수 있었을까요? ReLU는 x가 0보다 작을 때 0을 출력하고, X가 0보다 클 때 자기 자신 출력합니다. 그래프로 나타내면 ..

안녕하세요 B조 김주안입니다. 팀내에서 나온 질문과 토의했던 부분을 중심으로 리뷰하도록 하겠습니다. 1. "Sigmoid 는 왜 Vanishing Problem 이 생기는 가?" 에 대한 수학적 고찰 이 궁금증을 해결하기 위해서는 몇가지 요건을 이해해야 합니다. 퍼즐조각 모으듯이 하나둘 관찰하면 나중엔 노력하지 않아도 이해할 수 있습니다. 먼저 sigmoid 를 미분해야 합니다. 위의 식처럼 미분이 되는데요, 그래프를 그려보면 sigmoid 함수의 미분값은 1/4을 넘지 않는다는 것을 알 수 있습니다. (이거 나중에 쓸겁니다. 기억하세요) 다음은 Back propagation을 할때 사용하는 Chain rule 을 이해해 보는 것입니다. 일단 간단한 예시를 위해 몇 가지 조건이 붙은 신경망을 그렸습니다...

안녕하세요 이번 C조 발표를 맡은 김태현입니다. 오늘 발표할 내용은 weight initialization(가중치 초기화)에 대한 내용입니다. 다른 내용들은 앞에서 잘 발표해주실거라 믿어서 가중치 초기화에 더 집중해서 설명해보려고 합니다. 먼저 Weight initialization이 중요한 가장 큰 이유는 학습이 제대로 안되서입니다. 이 부분에 대해서는 강의에 잘 나와있기 때문에 넘어가도록 하겠습니다. 원래는 vanishing gradient 문제 때문에 두 번째 Neural Network의 암흑기를 겪고 있었는데 2006년, 딥러닝의 아버지, 제프리 힌튼 교수가 RBM을 사용하여 가중치를 초기화를 하고 학습시키면 훨씬 좋은 결과를 낼 수 있다는 것을 논문으로 발표를 합니다. “Geoffrey Hint..

2021-01-23 온라인 스터디 황준성 김정민 서지민 김주안 차원범 문종연 1-1) Probabilistic Perspective 머신러닝은 주어진 데이터를 가장 잘 설명하는 '함수'를 찾는 알고리즘을 디자인하는 것이라고 볼 수 있다. 이를 확률적 관점에서 보면, 머신러닝은 '확률 밀도'를 찾는 것으로 생각할 수 있다. 즉, 함수 대신 '확률 밀도'를 찾는 것을 목표로 하고, 적절한 확률 분포의 parameter를 유추하는 것이다. Function parameter -> Probability Density Function parameter 1-2) Maximum Likelihood Estimation (MLE) : Probability Theory 랜덤 변수에 대한 parameter를 estimate하..

안녕하세요. 이번 3주차 모두의 딥러닝2 강의 리뷰를 맡게된 C조 남서아입니다. 그럼 리뷰 시작해보겠습니다. 먼저 목차를 소개해드리자면, 강의의 순서랑 같게 진행이 됩니다. 먼저 오버피팅과 그래디언트 디센트 등을 소개한 뒤에 이를 구현한 예제를 살펴보겠습니다. 또 MNIST가 무엇인지, 여기에 어떤 개념들이 중요하게 사용되는지 다루겠습니다. 다음으로 퍼셉트론, 그 다음에 멀티레이어, 즉 다층 퍼셉트론. 이런 식으로 진행하겠습니다. 또, 이번 강의에 다루지는 않았지만, 간략히 이름만 나왔던 정규화 방식 2가지에 대해 따로 소개 드리고. 마지막으로 이번 수업내용에서 떠올린 제 의문점을 제시하겠습니다. 첫 번째로 소개할 내용은 MLE인데요. 이건 통계학적인 방법이면서, 원하는 값들이 나올 가능도를 최대로 만드..

2021/01/23 온라인 스터디 조민성 임정환 전준희 이도훈 홍혜선 압정을 던졌을 때 바닥에 떨어지는 경우를 class1, class2가 있다고 가정하면 위와 같이 가능도를 구할 수 있습니다. 가능도를 최대로 만들어주는 확률 세타를 구하는 것이 목적입니다. 그래프의 형태를 보면 지금까지 배우 Gradient descent가 아닌 Gradient ascent를 통해 구할 수 있음을 알 수 있습니다. Regression을 구할 때 주어진 training data를 통해서 학습을 계속하다보면 training data 안에 있는 noise data들에 의해 붉은 선과 같이 overfitting 된 선이 구해집니다. 원래 구하고 싶었던 파란 선을 구하려면 어떻게 해야할까요? 전체 data에서 일정한 비율로 tr..

C팀 : 김경태 남서아 김태현 백윤성 이상민 발표자 : 이상민 유튜브 채널 Deep Learning Zero To All 님의 '모두를 위한 딥러닝 시즌2 - Pytorch' 6~9 번째 강의를 듣고 리뷰하며 이전 학기 수업에서 사용한 데이터를 통해 직접 네트워크를 구성하여 모델 훈련 과정까지 보여드립니다. 모든 코드는 Google Colab을 이용하였으며 Pytorch와 scikit-learn, pandas 모듈을 사용하였습니다. 1. Multivariate Linear Regression 이전 강의에서는 Input이 하나인 Single Linear Regression을 배웠습니다. Input $x$ 하나로부터 가설 $H(x)=wx+b$ 를 세워 Output을 유추 하고 이를 실제 output $y$ ..

2021-01-16 온라인 스터디 황준성 김정민 서지민 김주안 차원범 문종연 Lab 4 review part1. Multivariable Linear regression multivariate(다변수) 선형회귀는 여러개의 입력변수로부터 결과값을 도출하는 방식입니다. 그림에 써진것과 같이 일반적인 선형회귀는 하나의 입력변수로부터 결과를 얻습니다. 반면 multivariate 선형회귀는 결과에 미치는 변수들이 여러개 존재할때 사용하게 됩니다. 이러한 여러 변수 입력을 표현하기위해 pytorch에선 뉴럴네트워크 모듈을 사용하여 간단히 표현할수 있습니다. multivariate 선형회귀의 cost function은 일반선형 회귀와 동일한 평균제곱 오차식을 사용하게됩니다. 따라서 pytorch에서 표현 할 때는 ..

지극히 주관적인 [모두의 딥러닝 시즌 2] 강좌 리뷰입니다. 개인적으로 몰랐던 부분, 알게된 부분을 중점으로 작성하였습니다. 1. 파이토치 인덱싱 넘파이의 인덱싱 과정과 같습니다. 가장 기본적인 연산입니다. 다음과 같은 벡터를 생성해봅시다. a = [0, 1, 2, 3, 4, 5]입니다. 각 연산 결과는 바로 옆에 위치한 사진과 같습니다. a[::] 인덱싱 : 시작이 없으므로 0번째부터, 끝이 없으므로 맨 뒤까지, 점프가 없으므로 기본값인 1이 설정되어 [0, 1, 2, 3, 4, 5]가 출력되었습니다. a[:3] 인덱싱 : 시작이 없으므로 0번째부터, 3번 인덱스까지 1씩 점프하였으므로, [0, 1, 2]가 출력되었습니다. a[:4:2] 인덱싱 : 시작이 없으므로 0번째부터, 4번째 인덱스까지 2씩 점..

C팀 : 김경태 남서아 김태현 백윤성 이상민 발표자 : 백윤성 모두의 딥러닝 강의에서 나온 Linear regression에서 사용된 함수에 대해 발표자가 개인적으로 궁금했던 부분에 대해 리뷰하고, 간단한 데이터 셋으로 하나의 input을 갖는 선형 회귀 모델을 만들어 보겠습니다. 1. optim.SGD() 강의에서 선형 회귀 모델을 만드는 optimizer로 확률적 경사하강법(이하 SGD)를 사용하였습니다. 이를 기본적인 경사하강법과의 차이에 대해 알아보았습니다. GD는 각 step마다 전체 데이터를 이용하여 가중치를 update합니다. 반면 SGD는 데이터의 일부분을 추출하여 각 step마다 mini-batch만을 이용하여 update를 진행합니다. 이러한 방법은 최적값을 찾아나가는 과정이 노이즈가 ..