diff --git a/beginner_source/basics/optimization_tutorial.py b/beginner_source/basics/optimization_tutorial.py index b7af1d3a1..b4b973f12 100644 --- a/beginner_source/basics/optimization_tutorial.py +++ b/beginner_source/basics/optimization_tutorial.py @@ -15,7 +15,7 @@ 이제 모델과 데이터가 준비되었으니, 데이터에 매개변수를 최적화하여 모델을 학습하고, 검증하고, 테스트할 차례입니다. 모델을 학습하는 과정은 반복적인 과정을 거칩니다; (*에폭(epoch)*\ 이라고 부르는) 각 반복 단계에서 모델은 출력을 추측하고, 추측과 정답 사이의 오류(\ *손실(loss)*\ )를 계산하고, (`이전 장 `_\ 에서 본 것처럼) -매개변수에 대한 오류의 도함수(derivative)를 수집한 뒤, 경사하강법을 사용하여 이 파라매터들을 **최적화(optimize)**\ 합니다. +매개변수에 대한 오류의 도함수(derivative)를 수집한 뒤, 경사하강법을 사용하여 이 파라미터들을 **최적화(optimize)**\ 합니다. 이 과정에 대한 자세한 설명은 `3Blue1Brown의 역전파 `__ 영상을 참고하세요. 기본(Pre-requisite) 코드 @@ -68,14 +68,14 @@ def forward(self, x): ############################################## -# 하이퍼파라매터(Hyperparameter) +# 하이퍼파라미터(Hyperparameter) # ------------------------------------------------------------------------------------------ # -# 하이퍼파라매터(Hyperparameter)는 모델 최적화 과정을 제어할 수 있는 조절 가능한 매개변수입니다. -# 서로 다른 하이퍼파라매터 값은 모델 학습과 수렴율(convergence rate)에 영향을 미칠 수 있습니다. -# (하이퍼파라매터 튜닝(tuning)에 대해 `더 알아보기 `__) +# 하이퍼파라미터(Hyperparameter)는 모델 최적화 과정을 제어할 수 있는 조절 가능한 매개변수입니다. +# 서로 다른 하이퍼파라미터 값은 모델 학습과 수렴율(convergence rate)에 영향을 미칠 수 있습니다. +# (하이퍼파라미터 튜닝(tuning)에 대해 `더 알아보기 `__) # -# 학습 시에는 다음과 같은 하이퍼파라매터를 정의합니다: +# 학습 시에는 다음과 같은 하이퍼파라미터를 정의합니다: # - **에폭(epoch) 수** - 데이터셋을 반복하는 횟수 # - **배치 크기(batch size)** - 매개변수가 갱신되기 전 신경망을 통해 전파된 데이터 샘플의 수 # - **학습률(learning rate)** - 각 배치/에폭에서 모델의 매개변수를 조절하는 비율. 값이 작을수록 학습 속도가 느려지고, 값이 크면 학습 중 예측할 수 없는 동작이 발생할 수 있습니다. @@ -91,7 +91,7 @@ def forward(self, x): # 최적화 단계(Optimization Loop) # ------------------------------------------------------------------------------------------ # -# 하이퍼파라매터를 설정한 뒤에는 최적화 단계를 통해 모델을 학습하고 최적화할 수 있습니다. +# 하이퍼파라미터를 설정한 뒤에는 최적화 단계를 통해 모델을 학습하고 최적화할 수 있습니다. # 최적화 단계의 각 반복(iteration)을 **에폭**\ 이라고 부릅니다. # # 하나의 에폭은 다음 두 부분으로 구성됩니다: @@ -128,7 +128,7 @@ def forward(self, x): # 모든 최적화 절차(logic)는 ``optimizer`` 객체에 캡슐화(encapsulate)됩니다. 여기서는 SGD 옵티마이저를 사용하고 있으며, PyTorch에는 ADAM이나 RMSProp과 같은 다른 종류의 모델과 데이터에서 더 잘 동작하는 # `다양한 옵티마이저 `_\ 가 있습니다. # -# 학습하려는 모델의 매개변수와 학습률(learning rate) 하이퍼파라매터를 등록하여 옵티마이저를 초기화합니다. +# 학습하려는 모델의 매개변수와 학습률(learning rate) 하이퍼파라미터를 등록하여 옵티마이저를 초기화합니다. optimizer = torch.optim.SGD(model.parameters(), lr=learning_rate)