Downstream task 학습 방식

downstream data를 얼마나 사용하는지, 이를 활용하여 모델 업데이트를 얼마나 하는지에 따라 나눌 수 있다.

• finetuning: data 전체 사용하여 모델 전체 업데이트
• prompt tuning: data 전체 사용하여 모델 일부만 업데이트
• in-context learning: data 일부 사용하며 모델 업데이트 안함
  • zero-shot learning: data 아에 사용 안하고 바로 task 수행
  • one-shot learning: data 1건 사용. 1건의 데이터가 어떻게 수행되는지를 참고한 후 task 수행
  • few-shot learning: data 몇개만 사용.

최근 언어 모델의 크기가 커지고 있어, 비용과 시간상의 문제로 finetuning 외의 학습 방식이 주목 받고 있다. 특히, 모델을 업데이트하지 않고 downstream task를 바로 수행할 수 있는 in-context 방식이 많이 사용되고 있다.