دنیای مدلهای متنباز LLM بسیار هیجانانگیز و در حال تحول است. این درس قصد دارد نگاهی عمیق به مدلهای متنباز ارائه دهد. اگر به دنبال اطلاعاتی درباره مقایسه مدلهای اختصاصی با مدلهای متنباز هستید، به درس "بررسی و مقایسه مدلهای مختلف LLM" مراجعه کنید. این درس همچنین موضوع تنظیم دقیق را پوشش میدهد، اما توضیحی جامعتر در درس "تنظیم دقیق LLMها" موجود است.
- درک مدلهای متنباز
- فهمیدن مزایای کار با مدلهای متنباز
- بررسی مدلهای متنباز موجود در Hugging Face و Azure AI Studio
نرمافزار متنباز نقش مهمی در رشد فناوری در زمینههای مختلف ایفا کرده است. ابتکار متنباز (OSI) ۱۰ معیار برای نرمافزار تعریف کرده است تا به عنوان متنباز طبقهبندی شود. کد منبع باید تحت یک مجوز تأیید شده توسط OSI به صورت عمومی به اشتراک گذاشته شود.
در حالی که توسعه LLMها عناصر مشابهی با توسعه نرمافزار دارد، این فرآیند دقیقاً یکسان نیست. این موضوع بحثهای زیادی در جامعه درباره تعریف متنباز در زمینه LLMها به وجود آورده است. برای اینکه یک مدل با تعریف سنتی متنباز همخوانی داشته باشد، اطلاعات زیر باید به صورت عمومی در دسترس باشد:
- مجموعه دادههایی که برای آموزش مدل استفاده شدهاند.
- وزنهای کامل مدل به عنوان بخشی از آموزش.
- کد ارزیابی.
- کد تنظیم دقیق.
- وزنهای کامل مدل و معیارهای آموزش.
در حال حاضر فقط تعداد کمی از مدلها با این معیارها مطابقت دارند. مدل OLMo که توسط موسسه آلن برای هوش مصنوعی (AllenAI) ایجاد شده است یکی از این مدلها است.
برای این درس، ما از این مدلها به عنوان "مدلهای متنباز" یاد خواهیم کرد، زیرا ممکن است در زمان نگارش با معیارهای فوق مطابقت نداشته باشند.
قابلیت شخصیسازی بالا - از آنجا که مدلهای متنباز با اطلاعات دقیق آموزشی منتشر میشوند، محققان و توسعهدهندگان میتوانند ساختار داخلی مدل را تغییر دهند. این امکان ایجاد مدلهای بسیار تخصصی را فراهم میکند که برای یک وظیفه خاص یا حوزه مطالعاتی تنظیم شدهاند. برخی از نمونههای این موارد شامل تولید کد، عملیات ریاضی و زیستشناسی هستند.
هزینه - هزینه هر توکن برای استفاده و استقرار این مدلها کمتر از مدلهای اختصاصی است. هنگام ساخت برنامههای هوش مصنوعی تولیدی، باید عملکرد در مقابل قیمت را برای استفاده از این مدلها در مورد خود بررسی کرد.
منبع: Artificial Analysis
انعطافپذیری - کار با مدلهای متنباز به شما امکان میدهد در استفاده از مدلهای مختلف یا ترکیب آنها انعطافپذیر باشید. نمونهای از این مورد دستیارهای HuggingChat است که در آن کاربر میتواند مدل مورد استفاده را مستقیماً در رابط کاربری انتخاب کند:
LLama2، که توسط Meta توسعه داده شده است، یک مدل متنباز است که برای برنامههای مبتنی بر چت بهینه شده است. این به دلیل روش تنظیم دقیق آن است که شامل مقدار زیادی از مکالمات و بازخورد انسانی میشود. با این روش، مدل نتایجی تولید میکند که بیشتر با انتظارات انسانی همخوانی دارد و تجربه کاربری بهتری ارائه میدهد.
برخی از نمونههای نسخههای تنظیمشده Llama شامل ژاپنی Llama است که در زبان ژاپنی تخصص دارد و Llama Pro، که نسخهای پیشرفتهتر از مدل پایه است.
Mistral یک مدل متنباز است که تمرکز زیادی بر عملکرد بالا و کارایی دارد. این مدل از روش Mixture-of-Experts استفاده میکند که گروهی از مدلهای تخصصی را در یک سیستم ترکیب میکند و بسته به ورودی، مدلهای خاصی برای استفاده انتخاب میشوند. این امر محاسبات را مؤثرتر میکند زیرا مدلها فقط به ورودیهایی که در آنها تخصص دارند پاسخ میدهند.
برخی از نمونههای نسخههای تنظیمشده Mistral شامل BioMistral است که بر حوزه پزشکی تمرکز دارد و OpenMath Mistral، که محاسبات ریاضی را انجام میدهد.
Falcon یک LLM است که توسط مؤسسه نوآوری فناوری (TII) ایجاد شده است. Falcon-40B با ۴۰ میلیارد پارامتر آموزش داده شده است که نشان داده شده عملکرد بهتری نسبت به GPT-3 با بودجه محاسباتی کمتر دارد. این به دلیل استفاده از الگوریتم FlashAttention و توجه چندگانه است که به آن امکان کاهش نیازهای حافظه در زمان استنتاج را میدهد. با این زمان استنتاج کاهشیافته، Falcon-40B برای برنامههای چت مناسب است.
برخی از نمونههای نسخههای تنظیمشده Falcon شامل OpenAssistant، یک دستیار ساخته شده بر اساس مدلهای متنباز و GPT4ALL، که عملکرد بالاتری نسبت به مدل پایه ارائه میدهد.
هیچ پاسخ قطعی برای انتخاب یک مدل متنباز وجود ندارد. یک نقطه شروع خوب استفاده از ویژگی فیلتر بر اساس وظیفه در Azure AI Studio است. این به شما کمک میکند تا بفهمید مدل برای چه نوع وظایفی آموزش دیده است. Hugging Face همچنین یک جدول رتبهبندی LLM را نگهداری میکند که بهترین مدلهای عملکردی را بر اساس معیارهای خاص نشان میدهد.
هنگام بررسی برای مقایسه LLMها در انواع مختلف، Artificial Analysis منبع خوبی است:
منبع: Artificial Analysis
اگر روی یک مورد خاص کار میکنید، جستجوی نسخههای تنظیمشده که بر همان حوزه تمرکز دارند میتواند مؤثر باشد. آزمایش با چندین مدل متنباز برای مشاهده عملکرد آنها بر اساس انتظارات شما و کاربرانتان نیز یک روش خوب است.
بهترین بخش درباره مدلهای متنباز این است که میتوانید به سرعت کار با آنها را شروع کنید. به کاتالوگ مدل Azure AI Foundry مراجعه کنید که مجموعه خاصی از Hugging Face با این مدلهایی که در اینجا بحث شد را ارائه میدهد.
پس از اتمام این درس، مجموعه یادگیری هوش مصنوعی تولیدی ما را بررسی کنید تا دانش خود را در زمینه هوش مصنوعی تولیدی ارتقا دهید!
سلب مسئولیت:
این سند با استفاده از سرویس ترجمه هوش مصنوعی Co-op Translator ترجمه شده است. در حالی که ما تلاش میکنیم دقت را حفظ کنیم، لطفاً توجه داشته باشید که ترجمههای خودکار ممکن است شامل خطاها یا نادرستیها باشند. سند اصلی به زبان اصلی آن باید به عنوان منبع معتبر در نظر گرفته شود. برای اطلاعات حیاتی، ترجمه حرفهای انسانی توصیه میشود. ما مسئولیتی در قبال سوء تفاهمها یا تفسیرهای نادرست ناشی از استفاده از این ترجمه نداریم.