Differences
This shows you the differences between two versions of the page.
Next revision | Previous revision | ||
data_analysis:transfer_learning [2024/07/04 05:07] – created prgram | data_analysis:transfer_learning [2025/07/07 14:12] (current) – external edit 127.0.0.1 | ||
---|---|---|---|
Line 1: | Line 1: | ||
====== Transfer Learning 전이학습 ====== | ====== Transfer Learning 전이학습 ====== | ||
+ | |||
+ | 전이학습은 특정 태스크를 학습한 모델을 다른 태스크 수행에 재사용하는 기법이며, | ||
+ | - Task1을 업스트림(Upstream) 태스크라 부르고, Task2는 이와 반대되는 의미로 다운스트림(Downstream) 태스크라고 부름 | ||
+ | - 언어모델들은 Task1에서 일반적인 언어에 대한 이해를 지향하고 있으며, | ||
+ | - 업스트림 태스크를 학습하는 과정을 사전학습(Pretraining)이라 표현하고, | ||
+ | [초대규모 AI 모델(GPT-3)의 부상과 대응 방안(2021), | ||
{{: | {{: | ||
+ | |||
+ | 1. 모델 전체 업데이트 | ||
+ | 2. 모델의 일부 동결(Freezing) | ||
+ | 3. 전체 모델 동결, 추가로 쌓은 Layer만 훈련 | ||
{{tag> | {{tag> |