ML&DL Research

Big model을 활용하기 위해서 당신이 고려해야할 것(fine-tuning, knowledge distillation)

해당 게시글은 흔히 말하는 Big model(GPT-3, BERT)들을 활용하기 위해서 무엇을 고려해야 할지, 특히 (1) Fine-tuning (2) Knowledge distillation 에 대한 내용을 담고 있습니다. GPT-3의 업그레이드 버전인 GPT-4가 최근에 발표되었습니다. ChatGPT가 성공한 원인도 GPT-3라는 Big model을 효과적으로 활용했기 때문이라는 생각이 드는데요. 이렇듯 기하급수적인 속도로 발전하고 있는 pretrained big model들을 바로 사용할 수도 있겠지만, 실제 서비스나 적용 분야에 잘 활용할 줄 아는 것이 중요해진다고 볼 수 있습니다. 이 때 여러분들이 알아야 할 것들, 특히 fine-tuning과 knowledge distillation에 대해서 ..

ChatGPT를 가능케한 근본은 무엇일까? ChatGPT에게 물어보았다.(feat. InstructGPT)

해당 게시글은 (1) ChatGPT, 그리고 InstructGPT가 가능했던 중요 기술과 (2) 해당 기술이 적용된 원리와 시사하는 점 에 대한 내용을 담고 있습니다. Chapter #1 - ChatGPT를 성공케 만든 중요 기술은 무엇일까 왜 GPT-3는 안되는 걸 ChatGPT는 가능하게 된 것인가요? 최근 화제가 되고 있는 chatGPT ChatGPT 가 공개된지 2달이 다 되어가고 있습니다. ChatGPT는 출시 5일만에 사용자 100만명을 달성하고, 놀랍도록 정확한 언어 구사능력과 정말 도움이 될 법한 답변들을 보여주면서 구글 검색을 대체할 수도 있다는 이야기가 나오면서 많은 화제를 불러일으켰는데요. 최근에는 의학논문 사전 공개 누리집 메드아카이브(MedRxiv)에 챗지피티가 논문 공저자로 적힌..