Skip to content
Merged
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
12 changes: 6 additions & 6 deletions intermediate_source/dynamic_quantization_bert_tutorial.rst
Original file line number Diff line number Diff line change
Expand Up @@ -27,8 +27,8 @@

- PyTorch에서 지원하는 동적 양자화 기능은 부동소수점 모델의 가중치를 정적인
int8 또는 float16 타입의 양자화된 모델로 변환하고, 활성 함수 부분은
동적으로 양자화합니다. 가중치가 int8 타입으로 양자화 됐을 때, 활성 함수 부분은
배치마다 int8 타입으로 동적으로 양자화 됩니다. PyTorch에는 지정된 모듈을
동적으로 양자화합니다. 가중치가 int8 타입으로 양자화됐을 때, 활성 함수 부분은
배치마다 int8 타입으로 동적으로 양자화됩니다. PyTorch에는 지정된 모듈을
동적이면서 가중치만 갖도록 양자화된 형태로 변환하고, 양자화된 모델을 만들어내는
`torch.quantization.quantize_dynamic API <https://pytorch.org/docs/stable/quantization.html#torch.quantization.quantize_dynamic>`_ 가 있습니다.

Expand Down Expand Up @@ -166,7 +166,7 @@ BERT 의 사상은 언어 표현을 사전학습하고, 문제에 특화된 매
가능한 적게 사용하면서도, 사전학습된 양방향 표현을 많은 문제들에 맞게
미세조정하여 최고의 성능을 얻는 것입니다. 이 튜토리얼에서는 사전학습된
BERT 모델을 MRPC 문제에 맞게 미세조정하여 의미적으로 동일한 문장을
분류해보겠습니다.
분류해 보겠습니다.

사전학습된 BERT 모델(HuggingFace transformer들 중 ``bert-base-uncased`` 모델)을
MRPC 문제에 맞게 미세조정하기 위해 `예시들 <https://github.com/huggingface/transformers/tree/master/examples#mrpc>`_
Expand Down Expand Up @@ -433,7 +433,7 @@ HuggingFace BERT 모델에 동적 양자화를 적용하기 위해
3.1 모델 크기 확인하기
^^^^^^^^^^^^^^^^^^^^^^^^

먼저 모델 크기를 확인해보겠습니다. 보면, 모델 크기가 상당히 줄어든 것을
먼저 모델 크기를 확인해 보겠습니다. 보면, 모델 크기가 상당히 줄어든 것을
알 수 있습니다(FP32 형식의 모델 크기 : 438MB; INT8 형식의 모델 크기 : 181MB):

.. code:: python
Expand All @@ -458,7 +458,7 @@ HuggingFace BERT 모델에 동적 양자화를 적용하기 위해
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

다음으로, 기존의 FP32 모델과 동적 양자화를 적용한 INT8 모델들의
추론 속도와 정확도를 비교해보겟습니다.
추론 속도와 정확도를 비교해 보겠습니다.

.. code:: python

Expand Down Expand Up @@ -492,7 +492,7 @@ HuggingFace BERT 모델에 동적 양자화를 적용하기 위해
MRPC 문제에 맞게 미세조정한 BERT 모델에 학습 후 동적 양자화를 적용한
결과, 0.6% 낮은 F1 점수가 나왔습니다. 참고로, `최근 논문 <https://arxiv.org/pdf/1910.06188.pdf>`_
(표 1)에서는 학습 후 동적 양자화를 적용했을 때, F1 점수 0.8788이 나왔고,
양자화 의식 학습을 적용했을 때는 0.8956이 나왔습니다. 우리는 Pytorch의 비대칭
양자화 의식 학습을 적용했을 때는 0.8956이 나왔습니다. 우리는 PyTorch의 비대칭
양자화를 사용했지만, 참고한 논문에서는 대칭적 양자화만을 사용했다는 점이 주요한
차이입니다.

Expand Down