KAU-Deeperent

2020/02/21 3.5기 3팀 최웅준,송근영,김정민 장소: 능곡역 지노스 까페 합성곱을 이용한 신경망을 구성하여 Mnist를 학습하였다. 모델구조 구글에 있는 MNIST 모델을 참조하였습니다. import torch import torch.nn as nn import torchvision.datasets as dsets import torchvision.transforms as transforms import matplotlib.pyplot as plt import random 위와 같은 라이브러리를 import 하였습니다. class MnistClassifier(nn.Module) : def __init__(self): super(MnistClassifier,self).__init__() self...

사이킷런에 포함된 와인 데이터 집합을 학습 데이터로 사용할 것이다. 2020/02/21 3.5기 3팀 최웅준,송근영,김정민 장소: 능곡역 지노스 까페 직접신경망을 구성하기에는 아직 미숙하여 'pytorch를 활용한 머신러닝,딥러닝 철저 입문' 서적에 있는 신경망을 이용한 와인분류 부분의 코드를 직접 코랩을 이용하면서 실행해보고 분석해보았다. sklearn 라이브러리('사이킷런')에는 여러가지 데이터들을 제공해주는데 wine 데이터 집합을 활용하였다. from sklearn.datasets import load_wine from sklearn.model_selection import train_test_split 위의 코드들로 라이브러리를 임포트하면 wine데이터를 이용할 수있다. wine변수의 내용은 아..

2020/02/15 3.5기 3팀 최웅준,송근영,김정민 장소:한국항공대학교 중앙도서관 selective search 와 segmentation algorithm에 대하여 좀 더 스터디해보았다. segmentation이란 무엇인가? 말그대로 이미지를 조각 조각 나누는 것이다. 이미지를 나눈후에 그룹화 시켜서 유사도를 구한 후 통합해 나아가는 것이 selective search의 목표이다. Segmentation의 세가지 방법 픽셀 기반 방법: 이 방법은 흔히 thresholding에 기반한 방식으로 histogram을 이용해 픽셀들의 분포를 확인한 | 후 적절한 threshold를 설정하고, 픽셀 단위 연산을 통해 픽셀 별로 나누는 방식이며, 이진화에 많이 사용이 된다. thresholding으로는 전역(..

3팀-최웅준, 송근영, 김정민 회의 날짜 : 02/07 금요일 회의장소 : 능곡역 지노스 카페 회의 내용 : Sliding Window에 대한 팀원들 간의 질문이나 생각들이 가장 많이 겹친 부분이었으며 중요하다고 판단하여 이번 발표 주제로 선정하게 되었습니다. Sliding Window란 무엇인가? sliding window는 사진을 윈도 사이즈에 맞춰 나눈 다음 매 윈도우로 잘린 이미지를 입력값으로 모델을 통과해서 결과를 얻는 방법입니다. 기존 Sliding window의 문제점 기존 컴퓨터 비전 분야에서 신경망이 성공적으로 사용되기 전에는 간단한 선형 분류를 사용했었습니다. 사용자가 직접 특징을 정해주었고 분류기가 선형 함수를 사용하기 때문에 계산 비용이 저렴하였기 때문에 문제가 없었지만 슬라이드 윈..

3.5기 3팀 Inception(GoogLeNet) 3팀-최웅준,송근영,김정민 회의날짜 : 01/31 금요일 회의장소 : 구글 행아웃(코로나 바이러스로 인한 온라인 토론을 진행) 기존의 문제점 -vanishing gradient -overfitting 딥러닝은 망이 깊을수록(deep) 레이어가 넓을수록(wide) 성능이 좋지만 기존의 문제점들 때문에 학습이 어렵다. 신경망은 Sparsity 해야지만 좋은 성능을 내지만 실제 컴퓨터 연산에 있어서는 연산 Matrix가 Dense 해야 쓸데없는 리소스 손실이 적으므로 전체적으로는 망내 연결을 줄이면서(sparsity) 세부적인 행렬 연산에서는 최대한 dense한 연산을 하도록 처리하도록 한것이 Inception(GoogLeNet)이다. -1x1 convolu..

회의날짜 : 01/23 목요일 회의장소 : 능곡역 지노스카페 Hyperparameter vs Parameter - Hyperparameter 란? : ML에서 사용자가 정의해주는 변수 값들을 의미 ->학습되어지는 값들이 아니다. ex) learning rate, stride , training epoch (Training 반복 횟수) Cost function, Regularization parameter, Mini-batch 크기, Hidden unit의 개수,Weight initialization - Parameter 란? : ML에서 train을 함에 따라 학습되어지는 값 parameter는 학습된 모델의 일부로 저장 되어진다. ex) FCN 에서의 weight , CNN에서의 filter 값 Bia..

회의날짜 : 01/16 목요일 회의장소 : 능곡역 지노스카페 최적화란? 신경망 학습의 목적은 손실 함수의 값을 가능한 낮추는 매개변수 즉 가중치와 편향을 찾는 것 입니다. 이는 곧 매개변수의 최적값을 찾는 문제이며 이러한 문제를 푸는 것을 최적화라고 합니다. 경사하강법의 종류 전체 training set을 사용하는 것을 Batch Gradient Descent 라고 합니다. 그러나 이렇게 계산을 할 경우 한번 step 을 내딛을 때 전체 데이터에 대해 Loss Function을 계산해야 하므로 너무 많은 계산량이 필요하게 되고 이를 방지하기 위해 보통은 Stochastic Gradient Descent (SGD) 라는 방법을 사용합니다. 전체 데이터(batch) 대신 일부 조그마한 데이터의 모음(mini..

스터디일시 : 01/10 금요일 오후 6시 30분 스터디내용 : CNN 과 Fully Network Layer 의 차이점 s는 output featuremap을 의미하고 , x는 input featuremap을 의미한다. fully connected layer의 경우 input이 output featuremap의 픽셀값에 다 반영이 되지만, CNN의 경우 input의 일부만이 반영이 된다. CNN은 weight를 공유한다. 같은 색깔은 같은 weight를 의미한다. ResNet이 왜 나오게 되었는가? 층이 깊어질 수록 vanishing gradient 문제가 발생하여 성능이 오히려 저하된다. 이문제를 해결하기 위해서 기존의 layer를 파라미터 없이 연결하여 성능저하를 막는다. Residual Block..