AI겨울과 미래

-발표자 조민성

 

 

우리는 몰아치는 딥러닝의 시대에 살고있다. 이 현대적 학문은 지금까지 인간이 개척해온 어떤 분야보다도 빠른 속도로 발전하고 있으며, 현대 사회는 그것을 바탕으로 다양한 곳에 AI라는 꿈의 기술을 적용하고있다.

그러나 과연 앞으로도 딥러닝의 성장이 순조로울까? 이번 글에서는 머신러닝의 부흥기와 침체기를 훑어봄으로써, 딥러닝기술의 전망을 살펴보고자 한다.

 

Brief History

1세대

1946 : ENIAC

•프로그래밍 가능한 최초의 범용적 컴퓨터

 

1950 : Turing-Test 설계

•구체적인 방법은 후대에 설계됨

 

1950 : 체스게임을 배우는 프로그램 개발 - Arthur Samuel

•70년대까지 인간을 상대로 승리

 

1956 : 인공지능(Artificial Intelligence)용어 탄생 

1958 : Perceptron 고안(시각 인식 작업) - Frank Rosenblatt

 

                                                                                                

 

 

 

1차 겨울(74~80)

•대부분의 선형 문제 해결

•BUT 한계 존재(EX. XOR)

•연구와 결과물에 대한 부진 & 자금난

 

 

ALPAC report

(Automatic Language Processing Advisory Committee)

: 기계번역에 대해 비관적 전망

   ->AI개발 투자 중단에 큰 영향을 끼쳤다

 

 

 

2세대

1980 : 전문가 시스템(Expert system)

•규칙들에 의한 논리적 추론법

•If A, it’s B. Else, it’s C

•XCON 개발완성

 

1984 : Cyc 프로젝트

•상식과 전문지식에 관한 데이터 베이스

•2017년 6.1ver release

•CycL 언어

 

1982-1984 : 신경망 재조명

•Hopfield net (참고 : https://untitledtblog.tistory.com/7)

•Backpropagation 등장

 

 

 

2차 겨울(87~93)

기술적 문제 등장

•Overfitting

•Vanishing Gradient

•Local minimum

•3가지 문제들은 사실상 2012년까지 지속

전문가 시스템의 추락

•데이터베이스에 존재하는 정보만 확인 가능

•부족한 성능

 

경제적 타격

•1987년에 특성화된 AI 하드웨어 시장

•거품 경제 & 투자중단

 

 

 

 

 

3 세대

1997 : Deep Blue

•당시 세계 체스 챔피언을 이긴 최초의 컴퓨터

•1951년 마크 1보다 1천만 배 빠른 연산

 

1997 : LSTM

•1986 : Rumelhult <Learning representations by back-propagating errors>

•1997 : <Long Short-Term Memory>                                                 

 

2003 : CNN

•1989 : LeCun <Backpropagation applied to handwritten zip code recognition>

•1998 : LeNet

•2003 : Behnke <Hierarchical Neural Networks for Image Interpretation>

•2003 : Simard <Best Practices for Convolutional Neural Networks Applied to Visual Document Analysis>

 

2012 : ReLU, Dropout

•AlexNet의 등장과 함께 딥러닝(Deep Learning)이라는 용어 확산

•머신러닝의 기술적 문제들 대부분 해결

•Geoffrey Hinton

 

 

What is next?

딥러닝역사의 간략적인 그래프

머신러닝은 오랜 시간을 거쳐 발전해왔다. 두번의 암흑기을 거쳤고, 현재 3세대라 불리는 딥러닝의 시기를 지나고 있는 중이다. 3세대동안 나온 머신관련 논문, 혹은 뉴럴네트워크에 관한 자료들은 그 이전에 나왔던 것들의 수를 훌쩍 뛰어넘은지 오래다. 지금 이 글을 쓰는 와중에도 새로운 논문들이 쏟아진다(2020-4-23에 YOLO v4논문이 나왔다). 딥러닝과 뉴럴네트워크는 더이상 무너지지 않을 견고한 성으로 보인다.

그러나 위의 역사들에서 보았듯, 언제나 붐이 일고난 후엔 겨울이 찾아왔다. 

Winter is coming

 물론 나는 돌아오는 겨울이 그 이전의 것과 같은 수준이라 예상하지는 않는다. 이미 온갖 시장에 퍼져있는 딥러닝 기술은 너무나도 뿌리깊게 박혀있어, 설령 겨울이 온다한들 AI시장은 무너지지 않을 것이기 때문이다. 다만 현재의 딥러닝기술의 근본적 원리는 80년대 중반 이후로 멈춰있다. 그때부터 약 35년이 흘렀으니, 침체기가 오더라도 이상하지 않은 시점이다. 과연 앞으로의 딥러닝도 ANN(Artificial Neural Network)가 지배할까?

이제 나는 2가지의 새로운 Network를 소개할 것이다.  이것들이 기존의 ANN을 완전히 대체하지는 못할지라도, AI를 조금 더 새로운 방향에서 접근할 수 있게 실마리를 제공할 것이라 생각한다.

 

 

PNN(Polynomial Neural Network)

PNN은 레이어 계산에 다항식 적용 : 비선형 레이어

•Activation Function이 불필요

 ->Gradient와 관련된 문제들을 일정부분 해소가능

 

•값이 아닌 함수 근사 가능

 -> ANN은 근본적으로 함수 자체를 근사시킬 수 없다. 

     즉, Y = X*X라는 함수는 근사시키지 못하지만, 각 인덱스에 따라

     1, 4, 9 ... 의 값을 근사시킨다.

     이는 결국 test데이터의 범위에 따라 값을 근사시킨다는 뜻이다(Overffiting).

 

머신러닝으로 수학을 증명할 수 있는가

•머신러닝이 함수를 배운다면, 수학공식을 증명할 수 있다!

•Google HOList

•Q : ML이 소수함수를 구할 수 있을까?

 

 

SNN(Spiking Neural Network)

•보다 자연신경망과 유사

 

•0 or 1의 binary 출력

 ->ANN은 연속적인 값을 출력한다

 

•공간적 측면 : 연관된 뉴런들만 계산 (EX. CNN filter)

 

•시간적 측면 : 시간에 따른 학습->RNN과 같은 추가적 모델 불필요

 

•ANN과의 동급, 혹은 그 이상의 성능 입증

 

보편적이지 않은 이유

•어려운 학습방법

•역전파의 시간데이터 손실

•보다 큰 연산량

 

BUT 시간이 흐름에 따라

해결 될 수 있을 것으로 예상

ML_Overview.pptx

1.30MB