오픈 소스 LLM의 세계는 흥미롭고 끊임없이 변화하고 있습니다. 이 강의는 오픈 소스 모델에 대한 심층적인 이해를 제공하는 것을 목표로 합니다. 독점 모델과 오픈 소스 모델을 비교하는 정보를 찾고 있다면 "다양한 LLM 탐색 및 비교" 강의를 참조하세요. 또한 이 강의에서는 세부 조정(fine-tuning)에 대해 다루지만, 더 자세한 설명은 "LLM 세부 조정" 강의에서 확인할 수 있습니다.
- 오픈 소스 모델에 대한 이해를 얻기
- 오픈 소스 모델을 사용하는 것의 이점 이해하기
- Hugging Face와 Azure AI Studio에서 제공되는 오픈 모델 탐색하기
오픈 소스 소프트웨어는 다양한 분야에서 기술 발전에 중요한 역할을 해왔습니다. 오픈 소스 이니셔티브(OSI)는 소프트웨어가 오픈 소스로 분류되기 위한 10가지 기준을 정의했습니다. 소스 코드는 OSI에서 승인한 라이선스 하에 공개적으로 공유되어야 합니다.
LLM 개발은 소프트웨어 개발과 유사한 요소를 가지고 있지만, 과정은 정확히 동일하지 않습니다. 이는 LLM의 오픈 소스 정의에 대한 커뮤니티 내에서 많은 논의를 불러일으켰습니다. 전통적인 오픈 소스 정의에 부합하려면 다음 정보가 공개적으로 제공되어야 합니다:
- 모델을 훈련시키는 데 사용된 데이터셋.
- 훈련의 일부로서의 전체 모델 가중치.
- 평가 코드.
- 세부 조정 코드.
- 전체 모델 가중치와 훈련 메트릭.
현재 이 기준을 충족하는 모델은 몇 개뿐입니다. Allen Institute for Artificial Intelligence (AllenAI)가 만든 OLMo 모델은 이 범주에 속하는 모델 중 하나입니다.
이 강의에서는 작성 시점에 위 기준을 충족하지 않을 수 있으므로 앞으로 "오픈 모델"이라고 언급하겠습니다.
높은 커스터마이징 가능성 - 오픈 모델은 상세한 훈련 정보를 제공하기 때문에 연구자와 개발자가 모델 내부를 수정할 수 있습니다. 이를 통해 특정 작업이나 연구 분야에 맞춘 고도로 전문화된 모델을 생성할 수 있습니다. 예를 들어 코드 생성, 수학적 연산, 생물학 등이 있습니다.
비용 - 이러한 모델을 사용하고 배포하는 데 드는 토큰당 비용은 독점 모델보다 낮습니다. 생성형 AI 애플리케이션을 구축할 때, 사용 사례에 따라 성능과 가격을 비교하는 것이 중요합니다.
출처: Artificial Analysis
유연성 - 오픈 모델을 사용하면 다양한 모델을 사용하거나 결합하는 데 있어 유연성을 가질 수 있습니다. 예를 들어 HuggingChat Assistants에서는 사용자가 사용자 인터페이스에서 직접 사용 중인 모델을 선택할 수 있습니다:
Meta에서 개발한 LLama2는 채팅 기반 애플리케이션에 최적화된 오픈 모델입니다. 이 모델은 대량의 대화와 인간 피드백을 포함한 세부 조정 방법을 사용하여 훈련되었습니다. 이러한 방법 덕분에 모델은 인간의 기대에 더 부합하는 결과를 생성하며, 더 나은 사용자 경험을 제공합니다.
Llama의 세부 조정 버전 예로는 일본어에 특화된 Japanese Llama와 기본 모델을 개선한 Llama Pro가 있습니다.
Mistral은 고성능과 효율성에 중점을 둔 오픈 모델입니다. 이 모델은 Mixture-of-Experts 접근 방식을 사용하여 여러 전문 모델을 하나의 시스템으로 결합하며, 입력에 따라 특정 모델이 선택되어 사용됩니다. 이를 통해 모델이 전문화된 입력만 처리하므로 계산이 더 효율적입니다.
Mistral의 세부 조정 버전 예로는 의료 분야에 초점을 맞춘 BioMistral과 수학적 계산을 수행하는 OpenMath Mistral이 있습니다.
Falcon은 기술 혁신 연구소(TII)에서 개발한 LLM입니다. Falcon-40B는 400억 개의 매개변수로 훈련되었으며, 더 적은 계산 예산으로 GPT-3보다 더 나은 성능을 발휘하는 것으로 나타났습니다. 이는 FlashAttention 알고리즘과 다중 쿼리 주의 메커니즘을 사용하여 추론 시 메모리 요구 사항을 줄였기 때문입니다. 이러한 추론 시간 단축 덕분에 Falcon-40B는 채팅 애플리케이션에 적합합니다.
Falcon의 세부 조정 버전 예로는 오픈 모델을 기반으로 구축된 어시스턴트인 OpenAssistant와 기본 모델보다 높은 성능을 제공하는 GPT4ALL이 있습니다.
오픈 모델을 선택하는 데 정답은 없습니다. 시작하기 좋은 방법은 Azure AI Studio의 작업별 필터 기능을 사용하는 것입니다. 이를 통해 모델이 어떤 유형의 작업을 위해 훈련되었는지 이해할 수 있습니다. Hugging Face는 특정 메트릭을 기준으로 최고의 성능을 보이는 모델을 보여주는 LLM 리더보드를 유지 관리합니다.
다양한 유형의 LLM을 비교하려면 Artificial Analysis도 훌륭한 리소스입니다:
출처: Artificial Analysis
특정 사용 사례에 대해 작업할 때, 동일한 분야에 초점을 맞춘 세부 조정 버전을 검색하는 것이 효과적일 수 있습니다. 여러 오픈 모델을 실험하여 사용자와 자신의 기대에 따라 성능을 평가하는 것도 좋은 방법입니다.
오픈 모델의 가장 좋은 점은 빠르게 작업을 시작할 수 있다는 것입니다. Azure AI Foundry Model Catalog를 확인해 보세요. 여기에는 이 강의에서 논의한 모델을 포함한 Hugging Face 컬렉션이 있습니다.
이 강의를 완료한 후, Generative AI Learning collection을 확인하여 생성형 AI 지식을 계속 향상시키세요!
면책 조항:
이 문서는 AI 번역 서비스 Co-op Translator를 사용하여 번역되었습니다. 정확성을 위해 최선을 다하고 있지만, 자동 번역에는 오류나 부정확성이 포함될 수 있습니다. 원본 문서를 해당 언어로 작성된 상태에서 권위 있는 자료로 간주해야 합니다. 중요한 정보의 경우, 전문적인 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 책임을 지지 않습니다.