0 LLM Trends 컨퍼런스 리뷰

현재 어떤 분야들이 활발한지? ICLR -> Unified view 로 많은 연구가 진행 GPT 도 sparse하게 만들어보겠다 : Sparse GPT 1. 더 효율적인 LLM 을 만드는 방법 Low-rank Approximation (LoRA) : 행렬을 간소화하여 계산 효율성 증대 pruning 같은 경우도 많이 진행되고 있음 : 모델의 불필요한 가중치 제거 Prefix/prompt tuning : 모델의 결과물을 수정하기 위한 프롬프트 수정 Qunatization : 가중치 간소화로 모델 크기 축소 (LLM.int8 : 16비트와 유사한 성능 + 속도 향상) Model Distillation : reason generation 을 LLM 에게 하게 함 → LLM 의 지식을 작은 모델에 전이 참고 :..

2023.09.24