KAU-Deeperent

발표자: 남서아 논문 원문 제목: On Empricial comparisions of optimizers for deep learning 이 논문에서는 첫 번째로 , Optimizer 간의 inclusive relationship( 포함관계)가 실제 practice 에서 영향을 준다는 것을 보입니다 . 그리고 하이퍼 파라미터 튜닝 프로토콜에 대한 옵티마이저 비교 민감도를 증명합니다 . 이전의 실험결과와 비교하는 것을 통해 , 주어진 워크로드 ( 모델과 데이터 set 쌍 ) 으로 optimizer 랭크를 바꾸기 쉽다는 것 또한 증명합니다 . 이 연구가 실행된 배경은 윌슨 앳 알 이라는 2017년 논문과, 슈네이드 엣 알이라는 2019년의 논문에서 허점을 발견한 것으로부터 시작됩니다. 그들은 ADAM, 즉 ..

발표자:김정민 SqeezeNet 논문 리뷰 ABSTRACT 더보기 (1) Smaller CNNs require less communication across servers during distributed training. (2) Smaller CNNs require less bandwidth to export a new model from the cloud to an autonomous car. (3) Smaller CNNs are more feasible to deploy on FPGAs and other hardware with limited memory. To provide all of these advantages, we propose a small CNN architecture called S..

장소 이번주 토요일 오후2시-4시 세미나 장소 공지 🌟코지모임공간 신촌점 10층 space 7 룸 🌟”2시” 입니다!! 질문 내용 중 답변 하지 못한 질문들 syntheic 기존 backprop은 없나? 리니어 함수가 경사를 어떻게 계산하는가 강화학습과 반대되는 알고리즘 Layer norm 배치 사이즈가1 =>분산0 리스케일링하는 부분이 변하지 않는다. weight에서 g와 v가 무엇인지? (6)번식 내용 요약 Decoupled Neural Interface using Synthetic gradients 신경망을 학습할 때에는 3가지 locking이 존재한다. Forward locking, update locking, backwards locking이 그것이다. 해당 논문에서는 이들을 해결할 수 있는 방..

수학팀 구예인 김정민 김경태 2020/11/04 17:30시~19시 [팀즈 미팅] 1.PCA [구예인] www.youtube.com/watch?v=Xx5QffUjuHc&feature=youtu.be [구예인] PCA가 무엇인지 왜 쓰는지에 대해서 알아보았습니다. PCA는 기본적으로 차원축소를 해주는것 차원축소 과정에서 데이터 손실이 적게 해주기 위해서는 위의 방정식을 만족해야한다. (자세한 내용은 영상 참조) 주성분 분해가 무엇인지?' 의문점이 남아서 다음 발표에 발표할 생각입니다. 2. 행렬의 미분 [김경태] www.youtube.com/watch?v=W9BQ1bdE6rM [김경태] 각종 행렬의 미분법칙에 대해서 알아본다. 역행렬은 cost가 많이 드는 연산이므로 전치행렬과 미분을 통해서 역행렬을 만들..

24일 토요일 세미나는 졸업생들의 발표로 이루어집니다! 기존 예정이었던 논문은 11/7 세미나로 변경되었습니다. 다들 중간고사 준비 잘 하시고 24일에는 편하게 오시면됩니다! ⭐세미나 시간이 2시 시작에서 3시 시작으로 변경되었으니 참고해주세요. 강의 내용 1. 취업 부분 관련, 회사 실무관련, 자소서 관련 내용에 대해서 강의 2. 대학원 선택 혹은 실상 3. AI 지능 제어에 대한 실상

토요일 오후2시-4시 세미나 장소 공지 🌟코지모임공간 신촌점 10층 space 5 룸 vggnet 비선형성이 증가하면 좋은이유 1x1 layer에서 data 손실 maxpooling multicrop vs dense evaluation non trivial conv field

수학팀 구예인 김정민 김경태 2020/10/21 18시~19시 구예인 김정민 김경태 www.youtube.com/watch?v=q_v33yYh5ow Relu xx = np.linspace(-10, 10, 100) plt.plot(xx, np.maximum(xx, 0)) plt.title("max(x,0) 또는 ReLU") plt.xlabel("$x$") plt.ylabel("$ReLU(x)$") plt.show() 로지스틱함수 def logistic(x): return 1 / (1 + np.exp(-x)) xx = np.linspace(-10, 10, 100) plt.plot(xx, logistic(xx)) plt.title("로지스틱함수") plt.xlabel("$x$") plt.ylabel("$\si..

수학팀 구예인 김정민 김경태 2020/10/12 17시~18:40시 구예인 김정민 김경태 www.youtube.com/watch?v=8XcGWq2wLrI datascienceschool.net/02%20mathematics/03.00%203%EC%9E%A5%20%EA%B3%A0%EA%B8%89%20%EC%84%A0%ED%98%95%EB%8C%80%EC%88%98.html 3장 고급 선형대수 — 데이터 사이언스 스쿨 3장 고급 선형대수 이 장에서는 선형대수를 이용하여 기하학적 관점에서 데이터를 분해하고 여러 다른 각도에서 데이터를 바라보는 법과 고유값 분해, 특잇값 분해 등 행렬을 분석하는 여러 방� datascienceschool.net

2020/09/23 17시~18시 박형준 구예인 김정민 김경태(부재) www.youtube.com/watch?v=97M-sWHjX_g 2장을 각자 리뷰해오고 코드도 실행해오면서 준비한 부분들에 대해서 설명하고 영상으로 남겨봤습니다. datascienceschool.net/view-notebook/04358acdcf3347fc989c4cfc0ef6121c/ Data Science School Data Science School is an open space! datascienceschool.net 자료는 위의 사이트를 참고 했습니다.

기존 스터디는 너무 수학적으로만 파고들어서 딥러닝과는 거리감이 있었고 동아리원들이 듣기에도 거부감이 많았다고 생각합니다. 그래서 실습과 병행할 수 있는 책 한권을 가져왔습니다. 기존 스터디와는 다르게 가벼운 마음으로 진행할것입니다. 목차 0. 파이썬 설치와 사용법 00.01 커맨드 라인 인터페이스 00.02 파이썬 설치하기 00.04 파이썬 패키지 설치하기 00.05 데이터 분석용 파이썬 패키지 소개 00.06 IPython 및 주피터 설정 00.03 파이썬 처음 사용하기 00.07 구글 코랩 사용법 1장 수학 기호 01.00 1장 수학 기호 ..