본문 바로가기

카테고리 없음

BDA X 이지퍼블리싱 스터디 (2주차)

<학습 내용>

1. 가중치 초기화

* 모델 초기화: 신경망 학습시 손실 함수에서 출발 위치를 결정하는 방법

*가중치는 모델의 파라미터에서 가장 큰 비중을 차지하므로 가중치 초기화 방법에 따라 학습 성능이 크게 달라짐

 

1) 상수 초기화 

2) 가우시안 분포 초기

3) Xavier 초기화

4) He 초기화

 

2. 정규화

 * 최적화 과정에서 최적해를 잘 찾도록 정보를 추가하는 기법

 

3. 배치 정규화

 * 데이터가 계층을 지날 때마다 매번 정규화해서 내부 공변량 변화를 없애는 방법

 

4. 배깅

 * 앙상블 기법 중 하나. 독립된 여러 모델을 동시에 실행한 뒤 개별 모델의 예측을 이용해 최종으로 예측하는 방법

 

<코드 리뷰>

https://colab.research.google.com/drive/1lF5ZJelza3rJU4iKYN5lvI7ZmN_-PCig?usp=sharing 

 

easy스터디2주차_예진.ipynb

Colaboratory notebook

colab.research.google.com

 

 

 

<교재 리뷰>

 각 용어에 대한 설명이 상세히 나와 있으며 이미지 자료를 통해 보다 직관적으로 내용을 이해할 수 있다. 이론에 그치지 않고 챕터 마지막 부분에 딥러닝을 실제로 구현할 수 있는 코드가 있어 학습한 내용을 직접 실습할 수 있다는 점이 좋았다.