دنیای مدلهای متنباز LLM هیجانانگیز و در حال تحول است. این درس قصد دارد نگاهی عمیق به مدلهای متنباز ارائه دهد. اگر به دنبال اطلاعاتی درباره مقایسه مدلهای اختصاصی با مدلهای متنباز هستید، به درس "بررسی و مقایسه مدلهای مختلف LLM" مراجعه کنید. این درس همچنین موضوع تنظیم دقیق را پوشش میدهد، اما توضیحات دقیقتر در درس "تنظیم دقیق LLMها" ارائه شده است.
- درک مدلهای متنباز
- آشنایی با مزایای کار با مدلهای متنباز
- بررسی مدلهای متنباز موجود در Hugging Face و Azure AI Studio
نرمافزار متنباز نقش مهمی در رشد فناوری در حوزههای مختلف ایفا کرده است. سازمان Open Source Initiative (OSI) ۱۰ معیار برای نرمافزار تعریف کرده است تا به عنوان متنباز طبقهبندی شود. کد منبع باید تحت یک مجوز تأیید شده توسط OSI به صورت عمومی به اشتراک گذاشته شود.
در حالی که توسعه LLMها شباهتهایی با توسعه نرمافزار دارد، این فرآیند کاملاً یکسان نیست. این موضوع باعث بحثهای زیادی در جامعه درباره تعریف متنباز در زمینه LLMها شده است. برای اینکه یک مدل با تعریف سنتی متنباز همسو باشد، اطلاعات زیر باید به صورت عمومی در دسترس باشد:
- دادههایی که برای آموزش مدل استفاده شدهاند.
- وزنهای کامل مدل به عنوان بخشی از آموزش.
- کد ارزیابی.
- کد تنظیم دقیق.
- وزنهای کامل مدل و معیارهای آموزشی.
در حال حاضر تنها تعداد کمی از مدلها با این معیارها مطابقت دارند. مدل OLMo که توسط موسسه Allen برای هوش مصنوعی (AllenAI) ایجاد شده است، یکی از این مدلهاست.
برای این درس، از این به بعد مدلها را به عنوان "مدلهای باز" معرفی میکنیم، زیرا ممکن است در زمان نگارش با معیارهای فوق مطابقت نداشته باشند.
قابلیت شخصیسازی بالا - از آنجا که مدلهای باز با اطلاعات آموزشی دقیق منتشر میشوند، پژوهشگران و توسعهدهندگان میتوانند ساختار داخلی مدل را تغییر دهند. این امکان ایجاد مدلهای بسیار تخصصی را فراهم میکند که برای یک وظیفه خاص یا حوزه مطالعاتی تنظیم شدهاند. برخی از نمونهها شامل تولید کد، عملیات ریاضی و زیستشناسی هستند.
هزینه - هزینه هر توکن برای استفاده و استقرار این مدلها کمتر از مدلهای اختصاصی است. هنگام ساخت برنامههای هوش مصنوعی مولد، باید عملکرد در مقابل قیمت را برای استفاده از این مدلها در مورد استفاده خود بررسی کنید.
منبع: Artificial Analysis
انعطافپذیری - کار با مدلهای باز به شما امکان میدهد در استفاده از مدلهای مختلف یا ترکیب آنها انعطافپذیر باشید. نمونهای از این مورد دستیارهای HuggingChat است که در آن کاربر میتواند مدل مورد استفاده را مستقیماً در رابط کاربری انتخاب کند:
LLama2 که توسط Meta توسعه داده شده است، یک مدل باز است که برای برنامههای مبتنی بر چت بهینه شده است. این به دلیل روش تنظیم دقیق آن است که شامل مقدار زیادی از مکالمات و بازخورد انسانی بوده است. با این روش، مدل نتایجی تولید میکند که بیشتر با انتظارات انسانی همسو هستند و تجربه کاربری بهتری ارائه میدهد.
برخی از نمونههای نسخههای تنظیمشده Llama شامل ژاپنی Llama که در زبان ژاپنی تخصص دارد و Llama Pro که نسخهای پیشرفتهتر از مدل پایه است، میباشد.
Mistral یک مدل باز است که تمرکز زیادی بر عملکرد بالا و کارایی دارد. این مدل از روش Mixture-of-Experts استفاده میکند که گروهی از مدلهای تخصصی را در یک سیستم ترکیب میکند، به طوری که بسته به ورودی، مدلهای خاصی انتخاب میشوند. این امر محاسبات را مؤثرتر میکند زیرا مدلها فقط به ورودیهایی که در آنها تخصص دارند، پاسخ میدهند.
برخی از نمونههای نسخههای تنظیمشده Mistral شامل BioMistral که بر حوزه پزشکی تمرکز دارد و OpenMath Mistral که محاسبات ریاضی را انجام میدهد، میباشد.
Falcon یک LLM است که توسط مؤسسه نوآوری فناوری (TII) ایجاد شده است. Falcon-40B با ۴۰ میلیارد پارامتر آموزش دیده است که نشان داده شده است با بودجه محاسباتی کمتر از GPT-3 عملکرد بهتری دارد. این امر به دلیل استفاده از الگوریتم FlashAttention و توجه چندپرسشی است که نیازهای حافظه را در زمان استنتاج کاهش میدهد. با این زمان استنتاج کاهشیافته، Falcon-40B برای برنامههای چت مناسب است.
برخی از نمونههای نسخههای تنظیمشده Falcon شامل OpenAssistant که یک دستیار مبتنی بر مدلهای باز است و GPT4ALL که عملکرد بالاتری نسبت به مدل پایه ارائه میدهد، میباشد.
هیچ پاسخ قطعی برای انتخاب یک مدل باز وجود ندارد. یک نقطه شروع خوب استفاده از ویژگی فیلتر بر اساس وظیفه در Azure AI Studio است. این ویژگی به شما کمک میکند تا بفهمید مدل برای چه نوع وظایفی آموزش دیده است. Hugging Face همچنین یک جدول رتبهبندی LLM نگهداری میکند که بهترین مدلها را بر اساس معیارهای خاص نشان میدهد.
هنگام مقایسه LLMها در انواع مختلف، Artificial Analysis منبع عالی دیگری است:
منبع: Artificial Analysis
اگر روی یک مورد استفاده خاص کار میکنید، جستجوی نسخههای تنظیمشده که بر همان حوزه تمرکز دارند میتواند مؤثر باشد. آزمایش با چندین مدل باز برای بررسی عملکرد آنها بر اساس انتظارات شما و کاربران نیز یک روش خوب است.
بهترین بخش درباره مدلهای باز این است که میتوانید به سرعت کار با آنها را شروع کنید. به کاتالوگ مدل Azure AI Foundry مراجعه کنید که مجموعه خاصی از Hugging Face با مدلهایی که در اینجا بررسی کردیم را ارائه میدهد.
پس از تکمیل این درس، مجموعه یادگیری هوش مصنوعی مولد ما را بررسی کنید تا دانش خود را در زمینه هوش مصنوعی مولد ارتقا دهید!
سلب مسئولیت:
این سند با استفاده از سرویس ترجمه هوش مصنوعی Co-op Translator ترجمه شده است. در حالی که ما تلاش میکنیم دقت را حفظ کنیم، لطفاً توجه داشته باشید که ترجمههای خودکار ممکن است شامل خطاها یا نادرستیها باشند. سند اصلی به زبان اصلی آن باید به عنوان منبع معتبر در نظر گرفته شود. برای اطلاعات حساس، توصیه میشود از ترجمه حرفهای انسانی استفاده کنید. ما مسئولیتی در قبال سوء تفاهمها یا تفسیرهای نادرست ناشی از استفاده از این ترجمه نداریم.