KAU-Deeperent

[작성자 및 발표자 : 김모경] Ⅰ. 튜닝 프로세스 신경망을 학습시킬 때 여러 가지 하이퍼파라미터가 관여한다. 여기서 하이퍼파라미터는 파라미터와 명확하게 다른 개념이다. 파라미터는 모델 내부에서 결정되는 변수를 뜻하고 하이퍼파라미터는 모델링을 할 때 사용자가 직접 세팅해주는 값을 뜻한다. 딥러닝에는 다양한 하이퍼파라미터가 존재한다. 상황에 따라 다를 수도 있지만 보통 우선 조정하는 순서로 나열해보면 다음과 같다. - 학습률 - 모멘텀(Momentum) - 학습률 (α) - 모멘텀(Momentum) 알고리즘의 β - 은닉 유닛의 수 - 미니배치 크기 - 은닉층의 갯수 - 학습률 감쇠(learning rate decay) 정도 - 아담(Adam) 알고리즘의 β1, β2, ϵ 이렇게 다양한 하이퍼파라미터가 존..

9월 Monthly Seminar : 게임이론 발표자 : 김성훈 일반적으로 하나의 에이전트가 환경에서 활동할 때, 각 스텝은 오로지 한 에이전트의 폴리시와, 환경의 트렌지언트로 결정되어 다른 스테이트로 이동한다. 그러나 서로 다른 폴리시를 가진 에이전트 들이 하나의 환경 위에서 상호작용한다면 우리는 더 많은 것들을 고려해주어야한다. 기본적으로 우리가 강화학습에서 다루는 점은 에이전트가 환경에서 가장 리워드를 많이 받도록 하는 것이다. 그러나 여러 에이전트들이 각자 리워드를 많이 받기위해 학습해 나간다면, 상황을 어떻게 바뀔까? 이런 점들을 고려하는 이론을 게임이론이라고 부른다. 게임이론의 이론적 기초를 제시한 사람은 폰 노이만이다. 2인 제로섬 게임은 게임에서 발생하는 리워드의 총량이 0인 경우로, 한명..

여름방학동안 부산대 강의를 들으면서 흥미로웠던 개념, 부족하다고 느꼈던 개념에 대해서 정리해보겠습니다. 먼저 부산대 강의를 들으면서 비지도 학습에 대한 내용이 흥미로웠습니다. 기존에 배운 feature, label로 학습을 하는 지도학습과 달리 오직 feature만으로도 학습이 된다는 점이 신기했습니다. 강의에서는 클러스터링 기법은 계층적 군집 방식과 비계층적 군집방식의 k-means 방식에 대해 배웠습니다. 그리고 추가적으로 찾아보니 위의 방식같은 분류뿐만 아니라, 차원축소에도 비지도학습이 사용된다고 합니다. 여기서의 차원축소란 시각화를 위해 데이터셋을 2차원으로 변경하거나 이미지 데이터를 압축하는 경우가 있습니다. 이 차원축소의 대표적인 방식이 PCA,주성분 분석 방식이 있습니다. 그 다음으로는 강의..

수학팀:김정민 박형준 최웅준 구예인 김경태 확률론을 공부하다가 보면 자주이용하게 되는 법칙의 논리가 있는데 바로 '무의식적인 통계학자의 법칙'의 논리이다. 우선 이 법칙을 나타내는 수식을 살펴보도록 하자. 위의 식은 확률변수 g(X)의 기댓값을 구하는 식을 보여주고 있다. 여기서 확률변수는 말그대로 변수인데 왜 g(X)처럼 함수의 형태를 띄우고 있는지에 대해 의문점을 가질수 있는데 앞으로 설명하겠다. 다시 무의식적 통계학자의 법칙으로 돌아와서 저 식을 통해서 하고 싶은 이야기는 일반적으로 어떤 확률변수의 기댓값을 구하기 위해서는 그 확률변수의 확률분포를 알아야한다. 그러므로 위의 식에서는 g(X)의 분포를 알아야한다. 하지만 무의식적 통계학자의 법칙에 의하여 g(X)의 확률분포를 모르고 X의 확률분포만을..

작성자:김정민 Git이란 무엇인가? 기존의 관리 방식 Git의 관리 방식을 알아보자 파일이 달라지지 않았으면 Git은 성능을 위해서 ​ 파일을 새로 저장하지 않는다. ​ 단지 이전 상태의 파일에 대한 링크만 저장한다.​ Git은 데이터를 스냅샷의 스트림처럼 취급한다.​ Rerepository? ==> 저장소는 어떤 공간인가? https://gitlab.com/g0bqwch 리모트 저장소는 인터넷이나 네트워크 ​ 어딘가에 있는 저장소를 말한다. ​ 다른 사람들과 함께 일하는 것은 ​ 리모트 저장소를 관리하면서 ​ 협업의 장소라고 할 수 있다. Git 저장소 만들기 Git 저장소를 만드는 방법은 두 가지다. 기존 프로젝트나 디렉토리를 Git 저장소로 만드는 방법과 다른 서버에 있는 저장소를 Clone 하는 ..

작성자: 김종헌 79개의 column이 존재 HAI 1.0에서 주어진 data sheet를 보면 압력, 온도 등의 값이었음 -> 단위나 범위가 너무 다양하므로 정규화를 진행한다. 그 방법은 최댓값을 1, 최솟값을 0이 되도록 (data-최솟값)/(최댓값-최솟값)을 이용 단, 값이 일정할 경우 전체를 다 0으로 처리한다. 정규화 이후에 exponential weighted function을 통과시킨다. 그 이유는 센서에서 발생하는 noise를 smoothing 시켜주기 위함이다. 사전 공개된 HAI 1.0에는 data sheet를 통해 각 데이터들 간의 관계나 단위 등을 알 수 있었다. 하지만 본대회용 HAI 2.0에서의 column에 대한 label이 따로 존재하지 않아서 unsupervised lear..

균등분포의 보편성 F가 증가하는 CDF라고 할 때, u가 0에서 1까지의 균등분포이면==U∼Unif(0,1)이면 X^-1(U) ~ F이다. 이론상으로는 0에서 1까지의 균등분포를 가지는 확률변수로 우리가 원하는 어떠한 형태의 분포를 가지는 확률변수를 만들 수 있는 겁니다. 시뮬레이션할 때 쓰인다고 합니다. F의 분포를 가진 제비뽑기를 모의로 실행할 때 다른 연속분포보다 만들기 쉬운 균등분포를 만든 후 F^-1(u)를 계산하면 되는것 입니다. 하지만 F의 역함수를 찾는것이 쉽지는 않습니다. 이론상으론 균등분포에서 모든 형태의 분포로 전환할 수 있습니다. 반대로 X를 알고 있을 때 X ~ F이면 F(X) ~ Unif(0,1)이다. X가 F의 분포를 가질 때 F(X)를 계산하면 0~1까지의 균등분포가 나오는것..

[작성자 및 발표자 : 김모경] 1. 벡터화 일반적으로 평소에 코딩할 때 for문을 정말 자주 사용하는데, 딥러닝의 구현에 있어서는 for문의 사용은 코드 실행을 느려지게 만들 수 있습니다. numpy 내장함수를 사용하게 되면 for문을 사용할 때보다 훨씬 빨라질 수 있습니다. 그렇기 때문에 일단 for문을 쓰고 싶다면 그 공식을 쓰지 않고 numpy 내장 함수를 사용할 수 있는지 먼저 확인을 해야 합니다. 만약 코드를 벡터화하지 않는다면, 위와 같이 Z = wx + b를 구현하기 위하여 z = 0으로 초기화시킨 후 for문을 반복적으로 계산해야한다. 반면, 코드를 벡터화했을 경우에는 파이썬의 라이브러리 함수를 통해 위와 같이 간단하게 한 줄로 표현가능하다. 위 코드는 로지스틱 회귀의 도함수를 구하는 코..

수학팀:김정민 박형준 최웅준 구예인 김경태 2020년 8월 20일 온라인 스터디 확률변수와 확률질량함수는 엄연히 다른것이다. P(X=x)+P(Y=y) x에 관한 함수 y에 관한 함수 x+y의 확률질량함수를 구하고 싶으면 x+y가 확률변수여야 합니다. x+y에 관한 함수가 필요한 것 입니다. '지도는 영토가 아니다' 확률변수는 집이다. 분포는 집의 설계도 입니다. 하나의 설계도를 가지고 여러개의 집을 만들 수 있습니다. X ~bern Y ~bern 아주 많은 다른 확률 변수들이 같은 분포를 가질 수 있습니다. 독립적일 수도 있고 독립적이 아닐 수도 있습니다. 포아송 분포 표기법 X~Pois(λ) PMF P(X=k)=e^-λ * λ^k / k! k는 영이 아니다 λ는 비율 파라미터 포아송 분포의 기댓값 기댓..

딥러닝 초창기에 machine translation 에 관한 Method는 sequence 방식이였습니다. 데이터를 토큰으로 나눠서 sequence하게 input을 준다음에 output을 sequence하게 뽑아내는 방식이였습니다. 위의 사진은 프랑스어를 영어로 번역하는 예시를 나타낸 것입니다. 초록색: 원문 보라색: 번역 이 번역방식은 데이터 사이언티스트들이 무에서 유를 창조하듯이 뚝딱 만들어 낸 것이 아닙니다. 인간의 번역방식에도 위와 같은 유사한 방식이 있습니다. 봉준호 감독님의 영상입니다. 봉준호 감독님이 말씀하신 내용을 번역가 분께서 '순차번역' 하셧습니다. '순차번역' : 원문을 끝까지 들은 다음에 번역을 하는 과정을 의미합니다. 위에 있는 인코더-디코더 아키텍처에서 볼 수 있는 것은 짧은 문..