KAU-Deeperent

기존 스터디는 너무 수학적으로만 파고들어서 딥러닝과는 거리감이 있었고 동아리원들이 듣기에도 거부감이 많았다고 생각합니다. 그래서 실습과 병행할 수 있는 책 한권을 가져왔습니다. 기존 스터디와는 다르게 가벼운 마음으로 진행할것입니다. 목차 0. 파이썬 설치와 사용법 00.01 커맨드 라인 인터페이스 00.02 파이썬 설치하기 00.04 파이썬 패키지 설치하기 00.05 데이터 분석용 파이썬 패키지 소개 00.06 IPython 및 주피터 설정 00.03 파이썬 처음 사용하기 00.07 구글 코랩 사용법 1장 수학 기호 01.00 1장 수학 기호 ..

[작성자 및 발표자 : 김모경] Ⅰ. 튜닝 프로세스 신경망을 학습시킬 때 여러 가지 하이퍼파라미터가 관여한다. 여기서 하이퍼파라미터는 파라미터와 명확하게 다른 개념이다. 파라미터는 모델 내부에서 결정되는 변수를 뜻하고 하이퍼파라미터는 모델링을 할 때 사용자가 직접 세팅해주는 값을 뜻한다. 딥러닝에는 다양한 하이퍼파라미터가 존재한다. 상황에 따라 다를 수도 있지만 보통 우선 조정하는 순서로 나열해보면 다음과 같다. - 학습률 - 모멘텀(Momentum) - 학습률 (α) - 모멘텀(Momentum) 알고리즘의 β - 은닉 유닛의 수 - 미니배치 크기 - 은닉층의 갯수 - 학습률 감쇠(learning rate decay) 정도 - 아담(Adam) 알고리즘의 β1, β2, ϵ 이렇게 다양한 하이퍼파라미터가 존..

여름방학동안 부산대 강의를 들으면서 흥미로웠던 개념, 부족하다고 느꼈던 개념에 대해서 정리해보겠습니다. 먼저 부산대 강의를 들으면서 비지도 학습에 대한 내용이 흥미로웠습니다. 기존에 배운 feature, label로 학습을 하는 지도학습과 달리 오직 feature만으로도 학습이 된다는 점이 신기했습니다. 강의에서는 클러스터링 기법은 계층적 군집 방식과 비계층적 군집방식의 k-means 방식에 대해 배웠습니다. 그리고 추가적으로 찾아보니 위의 방식같은 분류뿐만 아니라, 차원축소에도 비지도학습이 사용된다고 합니다. 여기서의 차원축소란 시각화를 위해 데이터셋을 2차원으로 변경하거나 이미지 데이터를 압축하는 경우가 있습니다. 이 차원축소의 대표적인 방식이 PCA,주성분 분석 방식이 있습니다. 그 다음으로는 강의..

수학팀:김정민 박형준 최웅준 구예인 김경태 확률론을 공부하다가 보면 자주이용하게 되는 법칙의 논리가 있는데 바로 '무의식적인 통계학자의 법칙'의 논리이다. 우선 이 법칙을 나타내는 수식을 살펴보도록 하자. 위의 식은 확률변수 g(X)의 기댓값을 구하는 식을 보여주고 있다. 여기서 확률변수는 말그대로 변수인데 왜 g(X)처럼 함수의 형태를 띄우고 있는지에 대해 의문점을 가질수 있는데 앞으로 설명하겠다. 다시 무의식적 통계학자의 법칙으로 돌아와서 저 식을 통해서 하고 싶은 이야기는 일반적으로 어떤 확률변수의 기댓값을 구하기 위해서는 그 확률변수의 확률분포를 알아야한다. 그러므로 위의 식에서는 g(X)의 분포를 알아야한다. 하지만 무의식적 통계학자의 법칙에 의하여 g(X)의 확률분포를 모르고 X의 확률분포만을..

작성자: 김종헌 79개의 column이 존재 HAI 1.0에서 주어진 data sheet를 보면 압력, 온도 등의 값이었음 -> 단위나 범위가 너무 다양하므로 정규화를 진행한다. 그 방법은 최댓값을 1, 최솟값을 0이 되도록 (data-최솟값)/(최댓값-최솟값)을 이용 단, 값이 일정할 경우 전체를 다 0으로 처리한다. 정규화 이후에 exponential weighted function을 통과시킨다. 그 이유는 센서에서 발생하는 noise를 smoothing 시켜주기 위함이다. 사전 공개된 HAI 1.0에는 data sheet를 통해 각 데이터들 간의 관계나 단위 등을 알 수 있었다. 하지만 본대회용 HAI 2.0에서의 column에 대한 label이 따로 존재하지 않아서 unsupervised lear..

균등분포의 보편성 F가 증가하는 CDF라고 할 때, u가 0에서 1까지의 균등분포이면==U∼Unif(0,1)이면 X^-1(U) ~ F이다. 이론상으로는 0에서 1까지의 균등분포를 가지는 확률변수로 우리가 원하는 어떠한 형태의 분포를 가지는 확률변수를 만들 수 있는 겁니다. 시뮬레이션할 때 쓰인다고 합니다. F의 분포를 가진 제비뽑기를 모의로 실행할 때 다른 연속분포보다 만들기 쉬운 균등분포를 만든 후 F^-1(u)를 계산하면 되는것 입니다. 하지만 F의 역함수를 찾는것이 쉽지는 않습니다. 이론상으론 균등분포에서 모든 형태의 분포로 전환할 수 있습니다. 반대로 X를 알고 있을 때 X ~ F이면 F(X) ~ Unif(0,1)이다. X가 F의 분포를 가질 때 F(X)를 계산하면 0~1까지의 균등분포가 나오는것..

[작성자 및 발표자 : 김모경] 1. 벡터화 일반적으로 평소에 코딩할 때 for문을 정말 자주 사용하는데, 딥러닝의 구현에 있어서는 for문의 사용은 코드 실행을 느려지게 만들 수 있습니다. numpy 내장함수를 사용하게 되면 for문을 사용할 때보다 훨씬 빨라질 수 있습니다. 그렇기 때문에 일단 for문을 쓰고 싶다면 그 공식을 쓰지 않고 numpy 내장 함수를 사용할 수 있는지 먼저 확인을 해야 합니다. 만약 코드를 벡터화하지 않는다면, 위와 같이 Z = wx + b를 구현하기 위하여 z = 0으로 초기화시킨 후 for문을 반복적으로 계산해야한다. 반면, 코드를 벡터화했을 경우에는 파이썬의 라이브러리 함수를 통해 위와 같이 간단하게 한 줄로 표현가능하다. 위 코드는 로지스틱 회귀의 도함수를 구하는 코..

수학팀:김정민 박형준 최웅준 구예인 김경태 2020년 8월 20일 온라인 스터디 확률변수와 확률질량함수는 엄연히 다른것이다. P(X=x)+P(Y=y) x에 관한 함수 y에 관한 함수 x+y의 확률질량함수를 구하고 싶으면 x+y가 확률변수여야 합니다. x+y에 관한 함수가 필요한 것 입니다. '지도는 영토가 아니다' 확률변수는 집이다. 분포는 집의 설계도 입니다. 하나의 설계도를 가지고 여러개의 집을 만들 수 있습니다. X ~bern Y ~bern 아주 많은 다른 확률 변수들이 같은 분포를 가질 수 있습니다. 독립적일 수도 있고 독립적이 아닐 수도 있습니다. 포아송 분포 표기법 X~Pois(λ) PMF P(X=k)=e^-λ * λ^k / k! k는 영이 아니다 λ는 비율 파라미터 포아송 분포의 기댓값 기댓..

딥러닝 초창기에 machine translation 에 관한 Method는 sequence 방식이였습니다. 데이터를 토큰으로 나눠서 sequence하게 input을 준다음에 output을 sequence하게 뽑아내는 방식이였습니다. 위의 사진은 프랑스어를 영어로 번역하는 예시를 나타낸 것입니다. 초록색: 원문 보라색: 번역 이 번역방식은 데이터 사이언티스트들이 무에서 유를 창조하듯이 뚝딱 만들어 낸 것이 아닙니다. 인간의 번역방식에도 위와 같은 유사한 방식이 있습니다. 봉준호 감독님의 영상입니다. 봉준호 감독님이 말씀하신 내용을 번역가 분께서 '순차번역' 하셧습니다. '순차번역' : 원문을 끝까지 들은 다음에 번역을 하는 과정을 의미합니다. 위에 있는 인코더-디코더 아키텍처에서 볼 수 있는 것은 짧은 문..

스터디 날짜 : 8/13 목요일 스터디 장소: DMC 탐앤탐스 참석 인원 :김정민 박형준 최웅준 구예인 김경태 평균을 구하는 두 가지 방법 1. 요소별 총합을 총 개수로 나눔 2. 각 요소에 빈도 수(가중치)를 곱함 확률변수의 기대값(Average, Mean, Expected Value) 1.이산확률변수X의 기대값은 다음과 같다. 이 정의를 이용하여 다양한 종류의 이산확률변수의 기대값을 구해보자. 2. 베르누이 확률변수의 기대값 (Recap) 확률변수 X가 베르누이 분포를 따른다는 것은 X가 0과 1 값만을 가질 수 있을 경우를 말하고, 이 때의 X가 베르누이 확률변수 P(X=1)=p, P(X=0)=1-p 3. 지시확률변수의 기대값 지시확률변수(Indicated Random Variable)란? : 사건..