2023년 생성형 AI 트렌드: 작고 효율적인 모델, LoRA, MoE, 그리고 멀티모달
2023년 생성형 AI는 흥미로운 변화를 맞이했습니다. 과거에는 대규모 모델이 주를 이루었지만, 올해는 LoRA(Low-Rank Adaptation), MoE(Mixture of Experts) 등 작고 효율적인 모델의 등장, 그리고 LLM(Large Language Model)의 영역 확장 등 새로운 트렌드가 나타났습니다.
1. 작고 효율적인 모델의 등장
1.1. 왜 작고 효율적인 모델이 필요할까요?
과거에는 매개변수 수가 수백억, 수천억 개에 달하는 대규모 모델이 주류를 이루었습니다. 하지만 이러한 모델들은 훈련 비용이 엄청나게 높고, 상당한 메모리 및 컴퓨팅 성능을 요구하기 때문에 실제 응용 프로그램에 적용하기 어려운 단점이 있었습니다.
이에 작고 효율적인 모델이 등장하게 되었습니다. 작고 효율적인 모델은 훈련 비용이 저렴하고, 다양한 기기에서도 쉽게 실행할 수 있다는 장점이 있습니다.
1.2. 작고 효율적인 모델의 대표적인 예시
•
•
Phi(Microsoft) 시리즈: 매개변수가 1.3B~2.7B에 불과하여 훨씬 작지만 인상적인 성능을 제공•
Orca 2(Microsoft): GPT-4와 같은 더 큰 모델의 지식을 더 작은 모델로 추출하여 단순한 모방 학습이 아닌, 단계별 분석 및 리콜과 같은 추론 방법을 목표로 함. Orca 2는 비슷한 크기의 모델보다 더 뛰어난 성능을 발휘하여 5~10배 더 큰 모델과도 경쟁이 가능2. 효율적인 Fine Tune을 도와주는 LoRA(Low-Rank Adaptation) 등장
LoRA는 매개변수 효율적인 미세 조정을 허용하여 계산 부하 및 저장 요구 사항을 크게 줄여줍니다. 이는 리소스를 절약하고 기본 모델의 핵심 기능을 손상시키지 않은 상태에서 다양한 애플리케이션에 대한 사용자의 정의를 가능하게 합니다.
•
Mixture of Experts Explained(MoE) 접근방식도 2023년 LLM 아키텍처의 중요한 도약을 나타냅니다.
◦
MoE는 단일 모델로는 처리하기 어려울 수 있는 복잡한 작업에 대한 성능을 향상시킵니다.
◦
MoE는 복잡한 문제를 작고 관리하기 쉬운 하위 문제로 나누어 단순화합니다. 각 하위 문제는 전문 하위 모델(전문가)가 해결합니다. 이를 통해 전체 모델의 성능을 향상시킬 수 있습니다.
3. LLM의 영역 확장(멀티모달)
LLM은 일반 기초 모델로 발전하여 언어 처리 이상의 기능으로 확장하고 있습니다. 이제 LLM은 텍스트, 코드, 시각적 콘텐츠, 오디오 등을 이해하고 생성할 수 있습니다.
•
멀티모달 LLM의 활용 사례
◦
텍스트와 이미지를 함께 활용하는 챗봇: 텍스트 기반 챗봇보다 더 자연스럽고 풍부한 사용자 경험 제공
◦
영상 자막 자동 생성: 영상 내용을 이해하고 자막을 자동으로 생성
◦
음성 명령 인식 및 응답: 더욱 정확하고 자연스러운 음성 인식 및 응답 시스템 개발
4. 마무리
2023년 생성형 AI는 작고 효율적인 모델의 등장과 함께 새로운 트렌드를 맞이했습니다. 이러한 트렌드는 앞으로 더욱 발전하여 다양한 분야에서 활용될 것으로 기대됩니다.
참고 링크