انقر على الصورة أعلاه لمشاهدة فيديو هذا الدرس
في الدرس السابق، رأينا كيف يغير الذكاء الاصطناعي التوليدي مشهد التكنولوجيا، وكيف تعمل نماذج اللغة الكبيرة (LLMs) وكيف يمكن للأعمال - مثل شركتنا الناشئة - تطبيقها على حالات الاستخدام الخاصة بها والنمو! في هذا الفصل، سنقوم بمقارنة وتباين أنواع مختلفة من نماذج اللغة الكبيرة لفهم مزاياها وعيوبها.
الخطوة التالية في رحلة شركتنا الناشئة هي استكشاف المشهد الحالي لنماذج اللغة الكبيرة وفهم أيها مناسب لحالة الاستخدام الخاصة بنا.
سيغطي هذا الدرس:
- أنواع مختلفة من نماذج اللغة الكبيرة في المشهد الحالي.
- اختبار، تكرار، ومقارنة النماذج المختلفة لحالة الاستخدام الخاصة بك في Azure.
- كيفية نشر نموذج لغة كبير.
بعد إكمال هذا الدرس، ستكون قادرًا على:
- اختيار النموذج المناسب لحالة الاستخدام الخاصة بك.
- فهم كيفية اختبار، تكرار، وتحسين أداء النموذج الخاص بك.
- معرفة كيف تنشر الشركات النماذج.
يمكن تصنيف نماذج اللغة الكبيرة بعدة طرق بناءً على هيكلها، وبيانات التدريب، وحالة الاستخدام. فهم هذه الاختلافات سيساعد شركتنا الناشئة على اختيار النموذج المناسب للسيناريو، وفهم كيفية اختبار، تكرار، وتحسين الأداء.
هناك العديد من أنواع نماذج اللغة الكبيرة، ويعتمد اختيارك للنموذج على ما تهدف لاستخدامه، وبياناتك، ومدى استعدادك للدفع، وأكثر.
اعتمادًا على ما إذا كنت تهدف لاستخدام النماذج للنص، أو الصوت، أو الفيديو، أو توليد الصور، وما إلى ذلك، قد تختار نوعًا مختلفًا من النماذج.
-
التعرف على الصوت والكلام. لهذا الغرض، تعتبر نماذج نوع Whisper خيارًا ممتازًا لأنها متعددة الأغراض ومخصصة للتعرف على الكلام. تم تدريبها على مجموعة متنوعة من الأصوات ويمكنها أداء التعرف على الكلام بعدة لغات. تعرّف أكثر على نماذج نوع Whisper هنا.
-
توليد الصور. لتوليد الصور، يُعتبر DALL-E وMidjourney خيارين معروفين جدًا. DALL-E متاح عبر Azure OpenAI. اقرأ المزيد عن DALL-E هنا وأيضًا في الفصل التاسع من هذا المنهج.
-
توليد النصوص. معظم النماذج مدربة على توليد النصوص ولديك مجموعة واسعة من الخيارات من GPT-3.5 إلى GPT-4. تأتي بتكاليف مختلفة مع كون GPT-4 هو الأغلى. من المفيد تجربة ملعب Azure OpenAI لتقييم أي النماذج تناسب احتياجاتك من حيث القدرات والتكلفة.
-
التعددية النمطية. إذا كنت ترغب في التعامل مع أنواع متعددة من البيانات في الإدخال والإخراج، قد ترغب في الاطلاع على نماذج مثل gpt-4 turbo مع الرؤية أو gpt-4o - أحدث إصدارات نماذج OpenAI - التي تجمع بين معالجة اللغة الطبيعية والفهم البصري، مما يتيح التفاعل عبر واجهات متعددة الأنماط.
اختيار نموذج يعني أنك تحصل على بعض القدرات الأساسية، والتي قد لا تكون كافية دائمًا. غالبًا ما يكون لديك بيانات خاصة بالشركة تحتاج بطريقة ما إلى إبلاغ نموذج اللغة الكبير بها. هناك عدة خيارات مختلفة لكيفية التعامل مع ذلك، سنتناولها في الأقسام القادمة.
مصطلح النموذج الأساسي تم صياغته من قبل باحثي ستانفورد ويُعرف كنموذج ذكاء اصطناعي يتبع بعض المعايير، مثل:
- يتم تدريبه باستخدام التعلم غير المراقب أو التعلم الذاتي المراقب، مما يعني أنه يتم تدريبه على بيانات متعددة الأنماط غير معنونة، ولا يتطلب تعليقًا بشريًا أو تصنيفًا للبيانات أثناء عملية التدريب.
- هو نموذج ضخم جدًا، يعتمد على شبكات عصبية عميقة جدًا مدربة على مليارات المعاملات.
- عادة ما يُقصد به أن يكون "أساسًا" لنماذج أخرى، بمعنى أنه يمكن استخدامه كنقطة انطلاق لبناء نماذج أخرى فوقه، وذلك من خلال التخصيص الدقيق.
مصدر الصورة: الدليل الأساسي للنماذج الأساسية ونماذج اللغة الكبيرة | بقلم بابر م بهاتي | Medium
لتوضيح هذا الفرق أكثر، لنأخذ ChatGPT كمثال. لبناء النسخة الأولى من ChatGPT، استخدم نموذج يسمى GPT-3.5 كنموذج أساسي. هذا يعني أن OpenAI استخدمت بعض بيانات المحادثة الخاصة لإنشاء نسخة مخصصة من GPT-3.5 متخصصة في الأداء الجيد في سيناريوهات المحادثة، مثل روبوتات الدردشة.
مصدر الصورة: 2108.07258.pdf (arxiv.org)
طريقة أخرى لتصنيف نماذج اللغة الكبيرة هي ما إذا كانت مفتوحة المصدر أو مملوكة.
النماذج مفتوحة المصدر هي نماذج متاحة للجمهور ويمكن لأي شخص استخدامها. غالبًا ما توفرها الشركة التي أنشأتها أو المجتمع البحثي. يُسمح بفحص هذه النماذج وتعديلها وتخصيصها لمختلف حالات الاستخدام في نماذج اللغة الكبيرة. ومع ذلك، فهي ليست دائمًا محسنة للاستخدام الإنتاجي، وقد لا تكون بنفس كفاءة النماذج المملوكة. بالإضافة إلى ذلك، قد يكون التمويل للنماذج مفتوحة المصدر محدودًا، وقد لا يتم صيانتها على المدى الطويل أو تحديثها بأحدث الأبحاث. من أمثلة النماذج مفتوحة المصدر الشهيرة: Alpaca، Bloom وLLaMA.
النماذج المملوكة هي نماذج تملكها شركة ولا تتاح للجمهور. غالبًا ما تكون هذه النماذج محسنة للاستخدام الإنتاجي. ومع ذلك، لا يُسمح بفحصها أو تعديلها أو تخصيصها لحالات استخدام مختلفة. كما أنها ليست متاحة دائمًا مجانًا، وقد تتطلب اشتراكًا أو دفعًا للاستخدام. أيضًا، لا يملك المستخدمون السيطرة على البيانات المستخدمة في تدريب النموذج، مما يعني أنه يجب عليهم الوثوق بمالك النموذج لضمان الالتزام بخصوصية البيانات والاستخدام المسؤول للذكاء الاصطناعي. من أمثلة النماذج المملوكة الشهيرة: نماذج OpenAI، Google Bard أو Claude 2.
يمكن أيضًا تصنيف نماذج اللغة الكبيرة حسب نوع المخرجات التي تولدها.
التضمينات هي مجموعة من النماذج التي يمكنها تحويل النص إلى شكل رقمي يُسمى التضمين، وهو تمثيل رقمي للنص المدخل. تجعل التضمينات من السهل على الآلات فهم العلاقات بين الكلمات أو الجمل، ويمكن استخدامها كمدخلات لنماذج أخرى، مثل نماذج التصنيف أو التجميع التي تحقق أداءً أفضل على البيانات الرقمية. غالبًا ما تُستخدم نماذج التضمين في التعلم الانتقالي، حيث يُبنى نموذج لمهمة بديلة تتوفر لها بيانات كثيرة، ثم تُعاد استخدام أوزان النموذج (التضمينات) لمهام أخرى لاحقة. مثال على هذه الفئة هو تضمينات OpenAI.
نماذج توليد الصور هي نماذج تولد صورًا. غالبًا ما تُستخدم هذه النماذج لتحرير الصور، تركيب الصور، وترجمة الصور. يتم تدريب نماذج توليد الصور على مجموعات بيانات ضخمة من الصور، مثل LAION-5B، ويمكن استخدامها لتوليد صور جديدة أو لتحرير الصور الموجودة باستخدام تقنيات مثل التلوين، تحسين الدقة، والتلوين. من الأمثلة DALL-E-3 ونماذج Stable Diffusion.
نماذج توليد النصوص والرموز هي نماذج تولد نصًا أو رمزًا برمجيًا. غالبًا ما تُستخدم هذه النماذج لتلخيص النصوص، الترجمة، والإجابة على الأسئلة. يتم تدريب نماذج توليد النصوص على مجموعات بيانات ضخمة من النصوص، مثل BookCorpus، ويمكن استخدامها لتوليد نص جديد أو للإجابة على الأسئلة. نماذج توليد الرموز، مثل CodeParrot، غالبًا ما تُدرّب على مجموعات بيانات ضخمة من الرموز البرمجية، مثل GitHub، ويمكن استخدامها لتوليد رمز جديد أو إصلاح الأخطاء في الرموز الموجودة.
لنتحدث عن أنواع الهياكل المختلفة لنماذج اللغة الكبيرة، دعونا نستخدم تشبيهًا.
تخيل أن مديرك كلفك بمهمة كتابة اختبار للطلاب. لديك زميلان؛ أحدهما مسؤول عن إنشاء المحتوى والآخر مسؤول عن مراجعته.
منشئ المحتوى يشبه نموذج فك الترميز فقط، يمكنه النظر إلى الموضوع ورؤية ما كتبته بالفعل ثم كتابة دورة بناءً على ذلك. هم جيدون جدًا في كتابة محتوى جذاب ومفيد، لكنهم ليسوا جيدين جدًا في فهم الموضوع وأهداف التعلم. بعض أمثلة نماذج فك الترميز هي عائلة GPT، مثل GPT-3.
المراجع يشبه نموذج الترميز فقط، ينظر إلى الدورة المكتوبة والإجابات، يلاحظ العلاقة بينهما ويفهم السياق، لكنه ليس جيدًا في توليد المحتوى. مثال على نموذج الترميز فقط هو BERT.
تخيل أنه يمكننا أن يكون لدينا شخص يمكنه إنشاء ومراجعة الاختبار، هذا هو نموذج الترميز-فك الترميز. بعض الأمثلة هي BART وT5.
الآن، دعونا نتحدث عن الفرق بين الخدمة والنموذج. الخدمة هي منتج يقدمه مزود خدمة سحابية، وغالبًا ما تكون مزيجًا من النماذج، والبيانات، ومكونات أخرى. النموذج هو المكون الأساسي للخدمة، وغالبًا ما يكون نموذجًا أساسيًا، مثل نموذج لغة كبير.
غالبًا ما تكون الخدمات محسنة للاستخدام الإنتاجي وأسهل في الاستخدام من النماذج، عبر واجهة مستخدم رسومية. ومع ذلك، ليست الخدمات متاحة دائمًا مجانًا، وقد تتطلب اشتراكًا أو دفعًا للاستخدام، مقابل الاستفادة من معدات وموارد مالك الخدمة، مما يحسن التكاليف ويسهل التوسع. مثال على خدمة هو خدمة Azure OpenAI، التي تقدم خطة دفع حسب الاستخدام، مما يعني أن المستخدمين يُحاسبون بنسبة استخدامهم للخدمة. كما تقدم خدمة Azure OpenAI أمانًا على مستوى المؤسسات وإطار عمل للذكاء الاصطناعي المسؤول فوق قدرات النماذج.
النماذج هي فقط الشبكة العصبية، مع المعاملات، والأوزان، وغيرها. تسمح للشركات بالتشغيل محليًا، ولكنها تحتاج إلى شراء معدات، وبناء بنية للتوسع، وشراء ترخيص أو استخدام نموذج مفتوح المصدر. نموذج مثل LLaMA متاح للاستخدام، ويتطلب قوة حوسبة لتشغيل النموذج.
بمجرد أن يستكشف فريقنا المشهد الحالي لنماذج اللغة الكبيرة ويحدد بعض المرشحين الجيدين لسيناريوهاتهم، تكون الخطوة التالية هي اختبارهم على بياناتهم وعلى عبء العمل الخاص بهم. هذه عملية تكرارية، تتم من خلال التجارب والقياسات. معظم النماذج التي ذكرناها في الفقرات السابقة (نماذج OpenAI، النماذج مفتوحة المصدر مثل Llama2، ومحولات Hugging Face) متاحة في كتالوج النماذج في Azure AI Studio.
Azure AI Studio هي منصة سحابية مصممة للمطورين لبناء تطبيقات الذكاء الاصطناعي التوليدي وإدارة دورة حياة التطوير كاملة - من التجريب إلى التقييم - من خلال دمج جميع خدمات Azure AI في مركز واحد مع واجهة مستخدم سهلة الاستخدام. يتيح كتالوج النماذج في Azure AI Studio للمستخدم:
- العثور على نموذج الأساس المطلوب في الكتالوج - سواء كان مملوكًا أو مفتوح المصدر، مع إمكانية التصفية حسب المهمة أو الترخيص أو الاسم. لتحسين إمكانية البحث، يتم تنظيم النماذج في مجموعات، مثل مجموعة Azure OpenAI، ومجموعة Hugging Face، والمزيد.
- مراجعة بطاقة النموذج، التي تتضمن وصفًا مفصلًا للاستخدام المقصود وبيانات التدريب، وأمثلة على الشيفرة، ونتائج التقييم في مكتبة التقييمات الداخلية.
- مقارنة المعايير المرجعية بين النماذج ومجموعات البيانات المتاحة في الصناعة لتقييم أيها يلبي سيناريو العمل، من خلال لوحة معايير النماذج.
- تحسين النموذج باستخدام بيانات تدريب مخصصة لتحسين أداء النموذج في عبء عمل محدد، مستفيدًا من قدرات التجريب والتتبع في Azure AI Studio.
- نشر النموذج الأصلي المدرب مسبقًا أو النسخة المحسنة إلى نقطة استدلال عن بُعد في الوقت الحقيقي - حوسبة مُدارة - أو نقطة نهاية API بدون خادم - الدفع حسب الاستخدام - لتمكين التطبيقات من استهلاكه.
Note
ليست كل النماذج في الكتالوج متاحة حاليًا للتحسين و/أو النشر بنظام الدفع حسب الاستخدام. تحقق من بطاقة النموذج لمعرفة تفاصيل قدرات النموذج وقيوده.
قمنا مع فريق شركتنا الناشئة بتجربة أنواع مختلفة من LLM ومنصة سحابية (Azure Machine Learning) تتيح لنا مقارنة النماذج المختلفة، تقييمها على بيانات الاختبار، تحسين الأداء، ونشرها على نقاط الاستدلال.
لكن متى يجب التفكير في تحسين نموذج بدلاً من استخدام نموذج مدرب مسبقًا؟ هل هناك طرق أخرى لتحسين أداء النموذج على أعباء عمل محددة؟
هناك عدة طرق يمكن للأعمال استخدامها للحصول على النتائج التي تحتاجها من LLM. يمكنك اختيار أنواع مختلفة من النماذج بدرجات تدريب مختلفة عند نشر LLM في الإنتاج، مع مستويات مختلفة من التعقيد والتكلفة والجودة. إليك بعض الطرق المختلفة:
-
هندسة المطالبات مع السياق. الفكرة هي توفير سياق كافٍ عند تقديم المطالبة لضمان الحصول على الردود التي تحتاجها.
-
التوليد المعزز بالاسترجاع، RAG. قد تكون بياناتك موجودة في قاعدة بيانات أو نقطة نهاية ويب، على سبيل المثال، ولضمان تضمين هذه البيانات، أو جزء منها، في وقت المطالبة، يمكنك جلب البيانات ذات الصلة وجعلها جزءًا من مطالبة المستخدم.
-
النموذج المحسن. هنا، قمت بتدريب النموذج أكثر على بياناتك الخاصة مما يجعل النموذج أكثر دقة واستجابة لاحتياجاتك، لكنه قد يكون مكلفًا.
مصدر الصورة: أربع طرق تنشر بها المؤسسات LLMs | مدونة Fiddler AI
تعمل نماذج LLM المدربة مسبقًا بشكل جيد جدًا في المهام العامة للغة الطبيعية، حتى عند استدعائها بمطالبة قصيرة، مثل جملة لإكمالها أو سؤال – ما يُعرف بـ "التعلم بدون عينة".
ومع ذلك، كلما استطاع المستخدم صياغة استفساره بشكل أفضل، مع طلب مفصل وأمثلة – أي السياق – كانت الإجابة أكثر دقة وأقرب لتوقعات المستخدم. في هذه الحالة، نتحدث عن "التعلم بعينة واحدة" إذا كانت المطالبة تحتوي على مثال واحد فقط، و"التعلم بعدة عينات" إذا احتوت على عدة أمثلة. هندسة المطالبات مع السياق هي الطريقة الأكثر فعالية من حيث التكلفة للبدء.
تواجه نماذج LLM محدودية في أنها تستخدم فقط البيانات التي تم تدريبها عليها لتوليد الإجابة. هذا يعني أنها لا تعرف شيئًا عن الأحداث التي وقعت بعد عملية التدريب، ولا يمكنها الوصول إلى المعلومات غير العامة (مثل بيانات الشركة). يمكن تجاوز هذا من خلال تقنية RAG، التي تعزز المطالبة ببيانات خارجية على شكل أجزاء من الوثائق، مع مراعاة حدود طول المطالبة. تدعم هذه التقنية أدوات قواعد البيانات المتجهية (مثل Azure Vector Search) التي تسترجع الأجزاء المفيدة من مصادر بيانات محددة مسبقًا وتضيفها إلى سياق المطالبة.
هذه التقنية مفيدة جدًا عندما لا تمتلك الشركة بيانات كافية، أو وقتًا كافيًا، أو موارد لتحسين نموذج LLM، لكنها ترغب في تحسين الأداء على عبء عمل محدد وتقليل مخاطر التزييف، أي تحريف الواقع أو المحتوى الضار.
التحسين هو عملية تستخدم التعلم بالنقل لـ "تكييف" النموذج لمهمة محددة أو لحل مشكلة معينة. بخلاف التعلم بعدة عينات وRAG، ينتج عن ذلك نموذج جديد يتم إنشاؤه مع أوزان وانحيازات محدثة. يتطلب مجموعة من أمثلة التدريب التي تتكون من مدخل واحد (المطالبة) والمخرج المرتبط بها (الإكمال). هذه هي الطريقة المفضلة إذا:
-
استخدام النماذج المحسنة. ترغب الشركة في استخدام نماذج محسنة أقل قدرة (مثل نماذج التضمين) بدلاً من النماذج عالية الأداء، مما يؤدي إلى حل أكثر فعالية من حيث التكلفة وسرعة.
-
مراعاة زمن الاستجابة. زمن الاستجابة مهم لحالة استخدام معينة، لذلك لا يمكن استخدام مطالبات طويلة جدًا أو عدد الأمثلة التي يجب أن يتعلمها النموذج لا يتناسب مع حد طول المطالبة.
-
البقاء محدثًا. تمتلك الشركة الكثير من البيانات عالية الجودة والتسميات الحقيقية والموارد اللازمة للحفاظ على تحديث هذه البيانات بمرور الوقت.
تدريب نموذج LLM من الصفر هو بلا شك أصعب وأعقد نهج يمكن اتباعه، ويتطلب كميات هائلة من البيانات، وموارد ماهرة، وقوة حوسبة مناسبة. يجب النظر في هذا الخيار فقط في حالة وجود حالة استخدام متخصصة في مجال معين وكمية كبيرة من البيانات المرتكزة على هذا المجال.
ما هي الطريقة الجيدة لتحسين نتائج إكمال LLM؟
- هندسة المطالبات مع السياق
- RAG
- النموذج المحسن
الإجابة: 3، إذا كان لديك الوقت والموارد وبيانات عالية الجودة، فإن التحسين هو الخيار الأفضل للبقاء محدثًا. ومع ذلك، إذا كنت تبحث عن تحسين الأمور وتفتقر إلى الوقت، فمن المفيد التفكير في RAG أولاً.
اقرأ المزيد عن كيفية استخدام RAG لأعمالك.
بعد إكمال هذا الدرس، اطلع على مجموعة تعلم الذكاء الاصطناعي التوليدي لمواصلة تطوير معرفتك في الذكاء الاصطناعي التوليدي!
توجه إلى الدرس 3 حيث سنستعرض كيفية البناء باستخدام الذكاء الاصطناعي التوليدي بمسؤولية!
إخلاء المسؤولية:
تمت ترجمة هذا المستند باستخدام خدمة الترجمة الآلية Co-op Translator. بينما نسعى لتحقيق الدقة، يرجى العلم أن الترجمات الآلية قد تحتوي على أخطاء أو عدم دقة. يجب اعتبار المستند الأصلي بلغته الأصلية المصدر الموثوق به. للمعلومات الهامة، يُنصح بالاعتماد على الترجمة البشرية المهنية. نحن غير مسؤولين عن أي سوء فهم أو تفسير ناتج عن استخدام هذه الترجمة.