KAU-Deeperent

여름방학동안 부산대 강의를 들으면서 흥미로웠던 개념, 부족하다고 느꼈던 개념에 대해서 정리해보겠습니다. 먼저 부산대 강의를 들으면서 비지도 학습에 대한 내용이 흥미로웠습니다. 기존에 배운 feature, label로 학습을 하는 지도학습과 달리 오직 feature만으로도 학습이 된다는 점이 신기했습니다. 강의에서는 클러스터링 기법은 계층적 군집 방식과 비계층적 군집방식의 k-means 방식에 대해 배웠습니다. 그리고 추가적으로 찾아보니 위의 방식같은 분류뿐만 아니라, 차원축소에도 비지도학습이 사용된다고 합니다. 여기서의 차원축소란 시각화를 위해 데이터셋을 2차원으로 변경하거나 이미지 데이터를 압축하는 경우가 있습니다. 이 차원축소의 대표적인 방식이 PCA,주성분 분석 방식이 있습니다. 그 다음으로는 강의..

1.Overfitting overfitting이란 학습데이터가 너무 최적화되어 나온 가중치 w가 새로운 학습 데이터에는 다른 결과를 나타나는 현상을 말합니다. 학습데이터에 지나치게 fitting되었다는 의미로 예측력이 저하되고 일반적인 회귀방법에서 데이터 특징 수가 많아질수록 과적합에 대한 위험성이 증가합니다. 주로 학습데이터가 너무 작을 경우에 발생하게 됩니다. underfitting이란 학습 데이터를 충분히 학습하지 못하여 테스트 데이터 뿐만 아니라, 학습 데이터에서 조차도 성능이 낮은 문제를 말합니다. 모델이 너무 간단하기 때문에 손실이 줄어들지 않는 것인데 underfitting이 되면 데이터해석 능력이 저하됩니다. 샘플데이터가 너무 작거나 너무 학습만 시키면 overfitting이 발생하기 떄문..

[1] Weight initialization weight는 각각의 입력신호에 부여되어 입력신호와의 계산을 하고 각 입력신호에는 고유한 weight가 부여되며 weight가 클수록 해당 신호가 중요하다고 볼 수 있다. 결국, 가중치는 입력신호가 결과 출력에 주는 영향도를 조정하는 매개변수이다. weight 초기화는 14 ~ 15년도 사이에 발생한 최근 트렌드인데, 그 전까지는 처음 초기화만 하면 gradient로 업데이트 하면 되기 때문에 weight 초기화를 이용한 성능 개선의 인식이 약했다. weight를 잘 정하면 적당한 데이터를 이용하여 cost function을 최소화 시킬 수 있기 때문에, 최근에는 weight를 어떻게 초기화하냐에 따라 성능이 달라지는 것을 발견하고 관심을 가지게 되었다. #..

소프트맥스 회귀 소프트맥스 회귀는 3개 이상의 다중클래스 분류에서 주로 사용된다. 참고로 앞서 공부했던 로지스틱 회귀는 이진 분류기에서 많이 사용된다. 소프트 맥스는 다중 클래스 문제의 각 클래스에 소수 확률을 할당해준다. 이 때 소소 확률의 합은 1이다. 소프트맥스 회귀의 가설은 다음과 같다. x1, x2, x3의 값을 3, 4, 1을 입력했을 때 이것들을 소프트맥스 회귀식을 이용하면 각 값들의 차이가 확연하게 드러난다. 또한 위 그래프를 보면 값이 클수록 확률값도 크게 나타난다. 소프트맥스 회귀식을 통해 도출해낸 s1, s2, s3의 총 합은 1이다. 소프트맥스 함수는 이와 같은 형태로 출력된다. 분류하고자 하는 클래스가 k개일때, k차원의 벡터를 입력받아서 모든 벡터 원소의 값을 0과 1 사이의값으..

1. Linear Regression 1) 개념 - 지도 학습(supervised learning)의 한 종류 - 학습 데이터(training data set)를 이용한 학습(training) 과정을 거쳐 데이터에 가장 잘 맞는 선형 모델의 매개변수(parameter)를 찾아 예측하는데 여기서 예측의 범위는 연속적인 범위를 가집니다. 다시 말해, 종속변수 y와 한 개 이상의 독립변수 x와의 선형 상관관계를 모델링하는 회귀분석 기법입니다. 한 개의 독립 변수(또는 설명 변수)에 기반한 경우에는 단순 선형 회귀, 둘 이상의 독립 변수에 기반한 경우에는 다중 선형 회귀라고 합니다. 실제로 많은 데이터들이 아래의 그래프와 같이 선형(linear)으로 분포하는 경향이 있기 때문에 선형 회귀를 통해 예측이 가능합니..