KAU-Deeperent

  • 홈
  • 방명록

튜닝프로세스 1

하이퍼파라미터 튜닝

[작성자 및 발표자 : 김모경] Ⅰ. 튜닝 프로세스 신경망을 학습시킬 때 여러 가지 하이퍼파라미터가 관여한다. 여기서 하이퍼파라미터는 파라미터와 명확하게 다른 개념이다. 파라미터는 모델 내부에서 결정되는 변수를 뜻하고 하이퍼파라미터는 모델링을 할 때 사용자가 직접 세팅해주는 값을 뜻한다. 딥러닝에는 다양한 하이퍼파라미터가 존재한다. 상황에 따라 다를 수도 있지만 보통 우선 조정하는 순서로 나열해보면 다음과 같다. - 학습률 - 모멘텀(Momentum) - 학습률 (α) - 모멘텀(Momentum) 알고리즘의 β - 은닉 유닛의 수 - 미니배치 크기 - 은닉층의 갯수 - 학습률 감쇠(learning rate decay) 정도 - 아담(Adam) 알고리즘의 β1, β2, ϵ 이렇게 다양한 하이퍼파라미터가 존..

4기(20200711)/이론팀 2020.09.11
1
더보기
프로필사진

안녕하세요. 한국항공대학교 머신러닝 동아리 (구 딥러닝학회) 입니다.

  • Deeperent (153)
    • 7기 (5)
    • 6기 (1)
    • 5기(210102~) (21)
      • 강화학습 (1)
      • 비전 (0)
      • Pattern Recognition (0)
      • A팀 (6)
      • B팀 (7)
      • C팀 (6)
    • 4기(20200711) (39)
      • 수학 스터디 (13)
      • 강화학습 (4)
      • 데이콘 (5)
      • 이론팀 (2)
      • 1팀 (5)
      • 2팀 (3)
    • 3.5기(200104~) (53)
      • 3팀 (8)
      • 출석체크 팀 (14)
      • 강화학습 (7)
      • 감정인식 (8)
    • 3기(190911~) (14)
      • pose estimation (2)
      • image segmentation (3)
      • 이론팀 (3)
      • 강화학습 (6)
    • Monthly Seminar (14)
    • Deeperent 활동 (4)
      • 1기&2기 (0)
      • 대외활동 (4)

Tag

data_augmentation, https://kr.mathworks.com/help/deeplearning/ug/layers-of-a-convolutional-neural-network.html, MultipleObjectTracking, 딥소트, AI Winter, 자율주행, SNN, siamese Network, 튜닝프로세스, RCNN, 백터화, pytorch, DDPG, https://angeloyeo.github.io/2019/08/01/SVD.html, https://hwiyong.tistory.com/324, 부산대 딥러닝 강의 #소프트맥스 회귀 #군집분석, DEEPSORT, 샴네트워크, https://metar.tistory.com/201, 강화학습,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

  • 정기세션 블로그 활용법

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/07   »
일 월 화 수 목 금 토
1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바