KAU-Deeperent

스터디날짜: 2020. 02. 06 목요일 스터디장소: 온라인(행아웃) 스터디 주제: R-CNN R-CNN이란 무엇인가? 이미지를 classify하고 이미지 내의 위치를 탐지하는 object detection을 하기 위해 cnn을 사용하는 방식이다. R-CNN의 진행 순서 및 모듈 1. R-CNN은 이미지에 대한 후보 영역을 생성 2. 고정된 크기로 warping/crop하여 CNN 인풋으로 사용 3. SVM(Support Vector Machine)을 이용하여 Classification을 진행 그러나 R-CNN은 느리다는 치명적인 단점이 있다. 이를 보완하기 위해서 Fast R-CNN, Faster R-CNN등이 등장하였다. Fast R-CNN은 각각의 물체를 CNN하느라 소모되는 시간을 줄이기 위해 ..

3팀-최웅준, 송근영, 김정민 회의 날짜 : 02/07 금요일 회의장소 : 능곡역 지노스 카페 회의 내용 : Sliding Window에 대한 팀원들 간의 질문이나 생각들이 가장 많이 겹친 부분이었으며 중요하다고 판단하여 이번 발표 주제로 선정하게 되었습니다. Sliding Window란 무엇인가? sliding window는 사진을 윈도 사이즈에 맞춰 나눈 다음 매 윈도우로 잘린 이미지를 입력값으로 모델을 통과해서 결과를 얻는 방법입니다. 기존 Sliding window의 문제점 기존 컴퓨터 비전 분야에서 신경망이 성공적으로 사용되기 전에는 간단한 선형 분류를 사용했었습니다. 사용자가 직접 특징을 정해주었고 분류기가 선형 함수를 사용하기 때문에 계산 비용이 저렴하였기 때문에 문제가 없었지만 슬라이드 윈..

손실함수 vs 비용함수 vs 목적함수 실제값과 예측값의 차이 즉, 오차를 통해 비용을 계산 -> 이 손실 비용을 최소화하는 방향으로 진행 오차를 줄이기 위해 역전파 시에 cost값의 미분을 통해 최적의 가중치와 편향을 찾아낸다. 출력층에서 출력값이 존재해야 예측값과 실제값의 차이를 통한 cost계산 가능 문제의 종류에 따라 사용할 활성화함수를 잘 선택하는 것이 중요 문제에 알맞은 활성화 함수 사용 학습결과가 잘 나오려면 활성화 함수를 알맞게 선택, 출력결과가 보다 정확하기 위해서는 손실함수를 이용한 오차를 효과적으로 줄일 필요 결론적으로 높은 성능을 보이는데 필요한 연관

스터디날짜: 2020. 01. 31 금요일 스터디장소: 온라인(행아웃)

20.01.31 스터디 MNIST train code 실행결과 이번 주 4팀 발표주제는 MNIST 코드 상세 설명입니다. 옵티마이저는 여러가지를 사용해 봤는데 Adadelta를 사용하였을가 성능이 가장 뛰어났습니다. 다른 옵티마이저 코드도 올릴테니 한번 씩 해보시는걸 추천드립니다. 코드는 에드윗 - 파이토치딥러닝 강의를 수강한 후 작성하였으며, 절반 정도는 해당 강의 깃허브에서 참고하였으며, 중간중간 필요없는 부분삭제와 다른 형식으로 학습시키기 위해 어느정도 코드를 수정하였습니다. % MNIST 코드 설명 스터디 자료

3.5기 3팀 Inception(GoogLeNet) 3팀-최웅준,송근영,김정민 회의날짜 : 01/31 금요일 회의장소 : 구글 행아웃(코로나 바이러스로 인한 온라인 토론을 진행) 기존의 문제점 -vanishing gradient -overfitting 딥러닝은 망이 깊을수록(deep) 레이어가 넓을수록(wide) 성능이 좋지만 기존의 문제점들 때문에 학습이 어렵다. 신경망은 Sparsity 해야지만 좋은 성능을 내지만 실제 컴퓨터 연산에 있어서는 연산 Matrix가 Dense 해야 쓸데없는 리소스 손실이 적으므로 전체적으로는 망내 연결을 줄이면서(sparsity) 세부적인 행렬 연산에서는 최대한 dense한 연산을 하도록 처리하도록 한것이 Inception(GoogLeNet)이다. -1x1 convolu..

회의날짜 : 01/23 목요일 회의장소 : 능곡역 지노스카페 Hyperparameter vs Parameter - Hyperparameter 란? : ML에서 사용자가 정의해주는 변수 값들을 의미 ->학습되어지는 값들이 아니다. ex) learning rate, stride , training epoch (Training 반복 횟수) Cost function, Regularization parameter, Mini-batch 크기, Hidden unit의 개수,Weight initialization - Parameter 란? : ML에서 train을 함에 따라 학습되어지는 값 parameter는 학습된 모델의 일부로 저장 되어진다. ex) FCN 에서의 weight , CNN에서의 filter 값 Bia..

Training 데이터에 과도하게 학습 시키면 Test 데이터에서는 error가 커지는 것을 오버피팅라한다.

회의날짜 : 01/16 목요일 회의장소 : 능곡역 지노스카페 최적화란? 신경망 학습의 목적은 손실 함수의 값을 가능한 낮추는 매개변수 즉 가중치와 편향을 찾는 것 입니다. 이는 곧 매개변수의 최적값을 찾는 문제이며 이러한 문제를 푸는 것을 최적화라고 합니다. 경사하강법의 종류 전체 training set을 사용하는 것을 Batch Gradient Descent 라고 합니다. 그러나 이렇게 계산을 할 경우 한번 step 을 내딛을 때 전체 데이터에 대해 Loss Function을 계산해야 하므로 너무 많은 계산량이 필요하게 되고 이를 방지하기 위해 보통은 Stochastic Gradient Descent (SGD) 라는 방법을 사용합니다. 전체 데이터(batch) 대신 일부 조그마한 데이터의 모음(mini..