KAU-Deeperent

2021-01-23 온라인 스터디 황준성 김정민 서지민 김주안 차원범 문종연 1-1) Probabilistic Perspective 머신러닝은 주어진 데이터를 가장 잘 설명하는 '함수'를 찾는 알고리즘을 디자인하는 것이라고 볼 수 있다. 이를 확률적 관점에서 보면, 머신러닝은 '확률 밀도'를 찾는 것으로 생각할 수 있다. 즉, 함수 대신 '확률 밀도'를 찾는 것을 목표로 하고, 적절한 확률 분포의 parameter를 유추하는 것이다. Function parameter -> Probability Density Function parameter 1-2) Maximum Likelihood Estimation (MLE) : Probability Theory 랜덤 변수에 대한 parameter를 estimate하..

안녕하세요. 이번 3주차 모두의 딥러닝2 강의 리뷰를 맡게된 C조 남서아입니다. 그럼 리뷰 시작해보겠습니다. 먼저 목차를 소개해드리자면, 강의의 순서랑 같게 진행이 됩니다. 먼저 오버피팅과 그래디언트 디센트 등을 소개한 뒤에 이를 구현한 예제를 살펴보겠습니다. 또 MNIST가 무엇인지, 여기에 어떤 개념들이 중요하게 사용되는지 다루겠습니다. 다음으로 퍼셉트론, 그 다음에 멀티레이어, 즉 다층 퍼셉트론. 이런 식으로 진행하겠습니다. 또, 이번 강의에 다루지는 않았지만, 간략히 이름만 나왔던 정규화 방식 2가지에 대해 따로 소개 드리고. 마지막으로 이번 수업내용에서 떠올린 제 의문점을 제시하겠습니다. 첫 번째로 소개할 내용은 MLE인데요. 이건 통계학적인 방법이면서, 원하는 값들이 나올 가능도를 최대로 만드..

2021/01/23 온라인 스터디 조민성 임정환 전준희 이도훈 홍혜선 압정을 던졌을 때 바닥에 떨어지는 경우를 class1, class2가 있다고 가정하면 위와 같이 가능도를 구할 수 있습니다. 가능도를 최대로 만들어주는 확률 세타를 구하는 것이 목적입니다. 그래프의 형태를 보면 지금까지 배우 Gradient descent가 아닌 Gradient ascent를 통해 구할 수 있음을 알 수 있습니다. Regression을 구할 때 주어진 training data를 통해서 학습을 계속하다보면 training data 안에 있는 noise data들에 의해 붉은 선과 같이 overfitting 된 선이 구해집니다. 원래 구하고 싶었던 파란 선을 구하려면 어떻게 해야할까요? 전체 data에서 일정한 비율로 tr..

C팀 : 김경태 남서아 김태현 백윤성 이상민 발표자 : 이상민 유튜브 채널 Deep Learning Zero To All 님의 '모두를 위한 딥러닝 시즌2 - Pytorch' 6~9 번째 강의를 듣고 리뷰하며 이전 학기 수업에서 사용한 데이터를 통해 직접 네트워크를 구성하여 모델 훈련 과정까지 보여드립니다. 모든 코드는 Google Colab을 이용하였으며 Pytorch와 scikit-learn, pandas 모듈을 사용하였습니다. 1. Multivariate Linear Regression 이전 강의에서는 Input이 하나인 Single Linear Regression을 배웠습니다. Input $x$ 하나로부터 가설 $H(x)=wx+b$ 를 세워 Output을 유추 하고 이를 실제 output $y$ ..

2021-01-16 온라인 스터디 황준성 김정민 서지민 김주안 차원범 문종연 Lab 4 review part1. Multivariable Linear regression multivariate(다변수) 선형회귀는 여러개의 입력변수로부터 결과값을 도출하는 방식입니다. 그림에 써진것과 같이 일반적인 선형회귀는 하나의 입력변수로부터 결과를 얻습니다. 반면 multivariate 선형회귀는 결과에 미치는 변수들이 여러개 존재할때 사용하게 됩니다. 이러한 여러 변수 입력을 표현하기위해 pytorch에선 뉴럴네트워크 모듈을 사용하여 간단히 표현할수 있습니다. multivariate 선형회귀의 cost function은 일반선형 회귀와 동일한 평균제곱 오차식을 사용하게됩니다. 따라서 pytorch에서 표현 할 때는 ..

지극히 주관적인 [모두의 딥러닝 시즌 2] 강좌 리뷰입니다. 개인적으로 몰랐던 부분, 알게된 부분을 중점으로 작성하였습니다. 1. 파이토치 인덱싱 넘파이의 인덱싱 과정과 같습니다. 가장 기본적인 연산입니다. 다음과 같은 벡터를 생성해봅시다. a = [0, 1, 2, 3, 4, 5]입니다. 각 연산 결과는 바로 옆에 위치한 사진과 같습니다. a[::] 인덱싱 : 시작이 없으므로 0번째부터, 끝이 없으므로 맨 뒤까지, 점프가 없으므로 기본값인 1이 설정되어 [0, 1, 2, 3, 4, 5]가 출력되었습니다. a[:3] 인덱싱 : 시작이 없으므로 0번째부터, 3번 인덱스까지 1씩 점프하였으므로, [0, 1, 2]가 출력되었습니다. a[:4:2] 인덱싱 : 시작이 없으므로 0번째부터, 4번째 인덱스까지 2씩 점..

C팀 : 김경태 남서아 김태현 백윤성 이상민 발표자 : 백윤성 모두의 딥러닝 강의에서 나온 Linear regression에서 사용된 함수에 대해 발표자가 개인적으로 궁금했던 부분에 대해 리뷰하고, 간단한 데이터 셋으로 하나의 input을 갖는 선형 회귀 모델을 만들어 보겠습니다. 1. optim.SGD() 강의에서 선형 회귀 모델을 만드는 optimizer로 확률적 경사하강법(이하 SGD)를 사용하였습니다. 이를 기본적인 경사하강법과의 차이에 대해 알아보았습니다. GD는 각 step마다 전체 데이터를 이용하여 가중치를 update합니다. 반면 SGD는 데이터의 일부분을 추출하여 각 step마다 mini-batch만을 이용하여 update를 진행합니다. 이러한 방법은 최적값을 찾아나가는 과정이 노이즈가 ..

2021-01-08 온라인 스터디 황준성 김정민 서지민 김주안 차원범 문종연 Lab 1 review part 1. 스칼라, 벡터, 행렬, 텐서 우리가 앞으로 다룰 가장 기본적인 스칼라, 벡터, 행렬, 텐서에 대해서 개념을 정리해 봅시다. 스칼라(Scalar)는 차원이 없는 숫자 하나로 이루어진 데이터입니다.(ex: x = +5) 벡터(Vector)의 물리적인 의미는 크기와 방향을 가지고 있으면 벡터라고 합니다. 여기서는 스칼라의 배열 이라고 생각하시면 됩니다. (ex : x = [1 , 2]) 행렬(matrix)은 2차원의 배열입니다. 가장 대표적인 예로 가로 세로의 2차원 이미지를 생각하시면 됩니다.(ex : x = [1, 2: 3, 4]) 텐서(Tensor)는 2차원 이상의 배열을 생각하시면 됩니다...

작성자 : 노신영 1.컴퓨터비전에서의 문제들은 크게 4가지로 분류할 수 있습니다. 싱글오브젝트에 대해 클래스를 분류하는 클래시피케이션, 클래시피케이션에서 해당 오브젝트의 바운딩박스를 찾는 로컬리제이션, 그리고 멀티플 오브젝트에 대해 앞선 클래시피케이션과 로컬리제이션을 수행하는 오브젝트 디텍션, 마지막으로 오브젝트 디텍션에서 바운딩박스가 아닌 픽셀단위로 오브젝트를 찾는 세그맨테이션이 있습니다. 오늘 리뷰할 RCNN 은 세번째인 오브젝트 디텍션 모델에 해당합니다. 2. 오브젝트 디텍션을 수행하는 디텍터는 원스테이지 디텍터와 투스테이지 디텍터 두종류 입니다. 투스테이지 디텍터는 리전 프로포절과 클래시피케이션이 각각 다른 모듈에서 순차적으로 진행되는 모델을 의미합니다. 반면 원스테이지 디텍터는 투스테이지에서 두..

작성자 : 윤나라 YOLO - 45fps로 이미지 처리 가능 - Localization 오류가 많음 - Background에서 false positive를 예측하는 경우는 적음 1. Introduction • Object Detection을 이미지 픽셀에서 bounding box 좌표 및 클래스 확률에 이르는 single regression problem으로 구성 • 단일 convolution network가 동시에 multiple bounding box들과 그 box들의 class probability 들을 예측 • 장점 - 매우 빠르고, 복잡한 pipeline이 필요 없다. - 예측에 대해 globally하게 판단한다 2. Unified Detection - Object detection에 대한 분리..