gpt-4

Big model을 활용하기 위해서 당신이 고려해야할 것(fine-tuning, knowledge distillation)

해당 게시글은 흔히 말하는 Big model(GPT-3, BERT)들을 활용하기 위해서 무엇을 고려해야 할지, 특히 (1) Fine-tuning (2) Knowledge distillation 에 대한 내용을 담고 있습니다. GPT-3의 업그레이드 버전인 GPT-4가 최근에 발표되었습니다. ChatGPT가 성공한 원인도 GPT-3라는 Big model을 효과적으로 활용했기 때문이라는 생각이 드는데요. 이렇듯 기하급수적인 속도로 발전하고 있는 pretrained big model들을 바로 사용할 수도 있겠지만, 실제 서비스나 적용 분야에 잘 활용할 줄 아는 것이 중요해진다고 볼 수 있습니다. 이 때 여러분들이 알아야 할 것들, 특히 fine-tuning과 knowledge distillation에 대해서 ..