ਖੁੱਲੇ-ਸਰੋਤ LLMs ਦੀ ਦੁਨੀਆ ਰੋਮਾਂਚਕ ਅਤੇ ਲਗਾਤਾਰ ਵਿਕਸਤ ਹੋ ਰਹੀ ਹੈ। ਇਸ ਪਾਠ ਦਾ ਉਦੇਸ਼ ਖੁੱਲੇ-ਸਰੋਤ ਮਾਡਲਾਂ ਬਾਰੇ ਵਿਸਤ੍ਰਿਤ ਜਾਣਕਾਰੀ ਪ੍ਰਦਾਨ ਕਰਨਾ ਹੈ। ਜੇ ਤੁਸੀਂ ਖੁੱਲੇ-ਸਰੋਤ ਮਾਡਲਾਂ ਦੀ ਤੁਲਨਾ ਮਾਲਕਾਨਾ ਮਾਡਲਾਂ ਨਾਲ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹੋ, ਤਾਂ "ਵੱਖ-ਵੱਖ LLMs ਦੀ ਖੋਜ ਅਤੇ ਤੁਲਨਾ" ਪਾਠ 'ਤੇ ਜਾਓ। ਇਸ ਪਾਠ ਵਿੱਚ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਦੇ ਵਿਸ਼ੇ ਨੂੰ ਵੀ ਕਵਰ ਕੀਤਾ ਜਾਵੇਗਾ, ਪਰ ਇਸਦਾ ਵਿਸਤ੍ਰਿਤ ਵਿਆਖਿਆ "Fine-Tuning LLMs" ਪਾਠ ਵਿੱਚ ਮਿਲੇਗੀ।
- ਖੁੱਲੇ-ਸਰੋਤ ਮਾਡਲਾਂ ਦੀ ਸਮਝ ਪ੍ਰਾਪਤ ਕਰੋ
- ਖੁੱਲੇ-ਸਰੋਤ ਮਾਡਲਾਂ ਨਾਲ ਕੰਮ ਕਰਨ ਦੇ ਫਾਇਦੇ ਸਮਝੋ
- Hugging Face ਅਤੇ Azure AI Studio 'ਤੇ ਉਪਲਬਧ ਖੁੱਲੇ ਮਾਡਲਾਂ ਦੀ ਖੋਜ
ਖੁੱਲੇ-ਸਰੋਤ ਸੌਫਟਵੇਅਰ ਨੇ ਵੱਖ-ਵੱਖ ਖੇਤਰਾਂ ਵਿੱਚ ਤਕਨਾਲੋਜੀ ਦੇ ਵਿਕਾਸ ਵਿੱਚ ਮਹੱਤਵਪੂਰਨ ਭੂਮਿਕਾ ਨਿਭਾਈ ਹੈ। Open Source Initiative (OSI) ਨੇ ਸੌਫਟਵੇਅਰ ਲਈ 10 ਮਾਪਦੰਡ ਪਰਿਭਾਸ਼ਿਤ ਕੀਤੇ ਹਨ ਤਾਂ ਜੋ ਇਸਨੂੰ ਖੁੱਲੇ-ਸਰੋਤ ਵਜੋਂ ਵਰਗਬੱਧ ਕੀਤਾ ਜਾ ਸਕੇ। ਸੋਰਸ ਕੋਡ ਨੂੰ OSI ਦੁਆਰਾ ਮਨਜ਼ੂਰ ਕੀਤੇ ਗਏ ਲਾਇਸੰਸ ਦੇ ਤਹਿਤ ਖੁੱਲੇ ਤੌਰ 'ਤੇ ਸਾਂਝਾ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ।
ਜਦੋਂ ਕਿ LLMs ਦਾ ਵਿਕਾਸ ਸੌਫਟਵੇਅਰ ਵਿਕਾਸ ਨਾਲ ਕੁਝ ਹੱਦ ਤੱਕ ਮਿਲਦਾ ਹੈ, ਪਰ ਇਹ ਪ੍ਰਕਿਰਿਆ ਪੂਰੀ ਤਰ੍ਹਾਂ ਇੱਕੋ ਜਿਹੀ ਨਹੀਂ ਹੈ। ਇਸ ਨੇ ਸਮੁਦਾਇ ਵਿੱਚ LLMs ਦੇ ਸੰਦਰਭ ਵਿੱਚ ਖੁੱਲੇ-ਸਰੋਤ ਦੀ ਪਰਿਭਾਸ਼ਾ 'ਤੇ ਕਾਫ਼ੀ ਚਰਚਾ ਕੀਤੀ ਹੈ। ਇੱਕ ਮਾਡਲ ਨੂੰ ਰਵਾਇਤੀ ਖੁੱਲੇ-ਸਰੋਤ ਦੀ ਪਰਿਭਾਸ਼ਾ ਨਾਲ ਸੰਗਤ ਬਣਾਉਣ ਲਈ ਹੇਠਾਂ ਦਿੱਤੀ ਜਾਣਕਾਰੀ ਜਨਤਕ ਤੌਰ 'ਤੇ ਉਪਲਬਧ ਹੋਣੀ ਚਾਹੀਦੀ ਹੈ:
- ਮਾਡਲ ਨੂੰ ਟ੍ਰੇਨ ਕਰਨ ਲਈ ਵਰਤੇ ਗਏ ਡਾਟਾਸੈਟ।
- ਪੂਰੇ ਮਾਡਲ ਦੇ ਵਜ਼ਨ ਟ੍ਰੇਨਿੰਗ ਦੇ ਹਿੱਸੇ ਵਜੋਂ।
- ਮੁਲਾਂਕਨ ਕੋਡ।
- ਫਾਈਨ-ਟਿਊਨਿੰਗ ਕੋਡ।
- ਪੂਰੇ ਮਾਡਲ ਦੇ ਵਜ਼ਨ ਅਤੇ ਟ੍ਰੇਨਿੰਗ ਮੈਟ੍ਰਿਕਸ।
ਇਸ ਸਮੇਂ ਸਿਰਫ ਕੁਝ ਮਾਡਲ ਹੀ ਇਸ ਮਾਪਦੰਡ ਨੂੰ ਪੂਰਾ ਕਰਦੇ ਹਨ। OLMo ਮਾਡਲ ਜੋ Allen Institute for Artificial Intelligence (AllenAI) ਦੁਆਰਾ ਬਣਾਇਆ ਗਿਆ ਹੈ ਇਸ ਸ਼੍ਰੇਣੀ ਵਿੱਚ ਆਉਂਦਾ ਹੈ।
ਇਸ ਪਾਠ ਲਈ, ਅਸੀਂ ਮਾਡਲਾਂ ਨੂੰ "ਖੁੱਲੇ ਮਾਡਲ" ਕਹਿ ਕੇ ਸੰਬੋਧਨ ਕਰਾਂਗੇ ਕਿਉਂਕਿ ਇਹ ਲੇਖ ਲਿਖਣ ਦੇ ਸਮੇਂ ਉਪਰੋਕਤ ਮਾਪਦੰਡਾਂ ਨੂੰ ਪੂਰਾ ਨਹੀਂ ਕਰਦੇ।
ਬਹੁਤ ਹੀ ਕਸਟਮਾਈਜ਼ੇਬਲ - ਖੁੱਲੇ ਮਾਡਲਾਂ ਨੂੰ ਵਿਸਤ੍ਰਿਤ ਟ੍ਰੇਨਿੰਗ ਜਾਣਕਾਰੀ ਦੇ ਨਾਲ ਜਾਰੀ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਖੋਜਕਰਤਾ ਅਤੇ ਡਿਵੈਲਪਰ ਮਾਡਲ ਦੇ ਅੰਦਰੂਨੀ ਹਿੱਸਿਆਂ ਨੂੰ ਸੋਧ ਸਕਦੇ ਹਨ। ਇਸ ਨਾਲ ਖਾਸ ਕੰਮ ਜਾਂ ਅਧਿਐਨ ਦੇ ਖੇਤਰ ਲਈ ਬਹੁਤ ਹੀ ਵਿਸ਼ੇਸ਼ ਮਾਡਲ ਬਣਾਉਣ ਦੀ ਸਹੂਲਤ ਮਿਲਦੀ ਹੈ। ਕੁਝ ਉਦਾਹਰਣਾਂ ਵਿੱਚ ਕੋਡ ਜਨਰੇਸ਼ਨ, ਗਣਿਤੀਕ ਕਾਰਵਾਈਆਂ ਅਤੇ ਜੀਵ ਵਿਗਿਆਨ ਸ਼ਾਮਲ ਹਨ।
ਲਾਗਤ - ਇਹ ਮਾਡਲ ਵਰਤਣ ਅਤੇ ਤੈਨਾਤ ਕਰਨ ਦੀ ਲਾਗਤ ਪ੍ਰਤੀ ਟੋਕਨ ਮਾਲਕਾਨਾ ਮਾਡਲਾਂ ਨਾਲੋਂ ਘੱਟ ਹੁੰਦੀ ਹੈ। ਜਨਰੇਟਿਵ AI ਐਪਲੀਕੇਸ਼ਨ ਬਣਾਉਣ ਸਮੇਂ, ਆਪਣੇ ਵਰਤੋਂ ਦੇ ਕੇਸ 'ਤੇ ਕੰਮ ਕਰਦੇ ਹੋਏ ਪ੍ਰਦਰਸ਼ਨ ਅਤੇ ਕੀਮਤ ਦੀ ਤੁਲਨਾ ਕਰਨੀ ਚਾਹੀਦੀ ਹੈ।
Source: Artificial Analysis
ਲਚਕਦਾਰਤਾ - ਖੁੱਲੇ ਮਾਡਲਾਂ ਨਾਲ ਕੰਮ ਕਰਨ ਨਾਲ ਵੱਖ-ਵੱਖ ਮਾਡਲਾਂ ਨੂੰ ਵਰਤਣ ਜਾਂ ਉਨ੍ਹਾਂ ਨੂੰ ਜੋੜਨ ਵਿੱਚ ਲਚਕਦਾਰਤਾ ਮਿਲਦੀ ਹੈ। ਇਸਦਾ ਇੱਕ ਉਦਾਹਰਣ HuggingChat Assistants ਹੈ, ਜਿੱਥੇ ਉਪਭੋਗਤਾ ਸਿੱਧੇ UI ਵਿੱਚ ਵਰਤੇ ਜਾ ਰਹੇ ਮਾਡਲ ਨੂੰ ਚੁਣ ਸਕਦੇ ਹਨ:
LLama2, ਜੋ Meta ਦੁਆਰਾ ਵਿਕਸਿਤ ਕੀਤਾ ਗਿਆ ਹੈ, ਇੱਕ ਖੁੱਲਾ ਮਾਡਲ ਹੈ ਜੋ ਚੈਟ-ਅਧਾਰਿਤ ਐਪਲੀਕੇਸ਼ਨ ਲਈ ਅਨੁਕੂਲਿਤ ਹੈ। ਇਹ ਇਸਦੀ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਵਿਧੀ ਦੇ ਕਾਰਨ ਹੈ, ਜਿਸ ਵਿੱਚ ਵੱਡੀ ਮਾਤਰਾ ਵਿੱਚ ਡਾਇਲਾਗ ਅਤੇ ਮਨੁੱਖੀ ਫੀਡਬੈਕ ਸ਼ਾਮਲ ਹੈ। ਇਸ ਵਿਧੀ ਨਾਲ, ਮਾਡਲ ਮਨੁੱਖੀ ਉਮੀਦਾਂ ਦੇ ਅਨੁਕੂਲ ਜ਼ਿਆਦਾ ਨਤੀਜੇ ਪੈਦਾ ਕਰਦਾ ਹੈ, ਜੋ ਬਿਹਤਰ ਉਪਭੋਗਤਾ ਅਨੁਭਵ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।
Llama ਦੇ ਕੁਝ ਫਾਈਨ-ਟਿਊਨ ਕੀਤੇ ਵਰਜਨਾਂ ਵਿੱਚ Japanese Llama, ਜੋ ਜਾਪਾਨੀ ਵਿੱਚ ਵਿਸ਼ੇਸ਼ ਹੈ ਅਤੇ Llama Pro, ਜੋ ਬੇਸ ਮਾਡਲ ਦਾ ਇੱਕ ਵਧੀਆ ਸੰਸਕਰਣ ਹੈ, ਸ਼ਾਮਲ ਹਨ।
Mistral ਇੱਕ ਖੁੱਲਾ ਮਾਡਲ ਹੈ ਜੋ ਉੱਚ ਪ੍ਰਦਰਸ਼ਨ ਅਤੇ ਕੁਸ਼ਲਤਾ 'ਤੇ ਕੇਂਦ੍ਰਿਤ ਹੈ। ਇਹ Mixture-of-Experts ਵਿਧੀ ਵਰਤਦਾ ਹੈ, ਜੋ ਇੱਕ ਸਿਸਟਮ ਵਿੱਚ ਵਿਸ਼ੇਸ਼ ਮਾਡਲਾਂ ਦੇ ਸਮੂਹ ਨੂੰ ਜੋੜਦਾ ਹੈ, ਜਿੱਥੇ ਇਨਪੁਟ ਦੇ ਅਧਾਰ 'ਤੇ ਕੁਝ ਮਾਡਲ ਚੁਣੇ ਜਾਂਦੇ ਹਨ। ਇਸ ਨਾਲ ਗਣਨਾ ਜ਼ਿਆਦਾ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਬਣਦੀ ਹੈ ਕਿਉਂਕਿ ਮਾਡਲ ਸਿਰਫ ਉਹਨਾਂ ਇਨਪੁਟਾਂ ਨੂੰ ਸੰਬੋਧਨ ਕਰਦੇ ਹਨ ਜਿਨ੍ਹਾਂ ਵਿੱਚ ਉਹ ਵਿਸ਼ੇਸ਼ ਹਨ।
Mistral ਦੇ ਕੁਝ ਫਾਈਨ-ਟਿਊਨ ਕੀਤੇ ਵਰਜਨਾਂ ਵਿੱਚ BioMistral, ਜੋ ਮੈਡੀਕਲ ਖੇਤਰ 'ਤੇ ਕੇਂਦ੍ਰਿਤ ਹੈ ਅਤੇ OpenMath Mistral, ਜੋ ਗਣਿਤੀਕ ਗਣਨਾ ਕਰਦਾ ਹੈ, ਸ਼ਾਮਲ ਹਨ।
Falcon ਇੱਕ LLM ਹੈ ਜੋ Technology Innovation Institute (TII) ਦੁਆਰਾ ਬਣਾਇਆ ਗਿਆ ਹੈ। Falcon-40B ਨੂੰ 40 ਬਿਲੀਅਨ ਪੈਰਾਮੀਟਰਾਂ 'ਤੇ ਟ੍ਰੇਨ ਕੀਤਾ ਗਿਆ ਹੈ, ਜਿਸਨੇ ਘੱਟ ਗਣਨਾ ਬਜਟ ਨਾਲ GPT-3 ਨਾਲੋਂ ਬਿਹਤਰ ਪ੍ਰਦਰਸ਼ਨ ਦਿਖਾਇਆ ਹੈ। ਇਹ ਇਸਦੇ FlashAttention algorithm ਅਤੇ multiquery attention ਦੇ ਵਰਤੋਂ ਦੇ ਕਾਰਨ ਹੈ, ਜੋ ਇਨਫਰੈਂਸ ਸਮੇਂ ਮੈਮਰੀ ਦੀ ਲੋੜ ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ। ਇਸ ਘਟੇ ਇਨਫਰੈਂਸ ਸਮੇਂ ਨਾਲ, Falcon-40B ਚੈਟ ਐਪਲੀਕੇਸ਼ਨ ਲਈ ਉਪਯੋਗ ਹੈ।
Falcon ਦੇ ਕੁਝ ਫਾਈਨ-ਟਿਊਨ ਕੀਤੇ ਵਰਜਨਾਂ ਵਿੱਚ OpenAssistant, ਜੋ ਖੁੱਲੇ ਮਾਡਲਾਂ 'ਤੇ ਬਣਾਇਆ ਗਿਆ ਇੱਕ ਸਹਾਇਕ ਹੈ ਅਤੇ GPT4ALL, ਜੋ ਬੇਸ ਮਾਡਲ ਨਾਲੋਂ ਉੱਚ ਪ੍ਰਦਰਸ਼ਨ ਦਿੰਦਾ ਹੈ, ਸ਼ਾਮਲ ਹਨ।
ਖੁੱਲੇ ਮਾਡਲ ਚੁਣਨ ਲਈ ਕੋਈ ਇੱਕ ਜਵਾਬ ਨਹੀਂ ਹੈ। ਇੱਕ ਚੰਗੀ ਸ਼ੁਰੂਆਤ Azure AI Studio ਦੇ ਫਿਲਟਰ ਬਾਈ ਟਾਸਕ ਫੀਚਰ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ। ਇਹ ਤੁਹਾਨੂੰ ਸਮਝਣ ਵਿੱਚ ਮਦਦ ਕਰੇਗਾ ਕਿ ਮਾਡਲ ਕਿਸ ਕਿਸਮ ਦੇ ਕੰਮਾਂ ਲਈ ਟ੍ਰੇਨ ਕੀਤਾ ਗਿਆ ਹੈ। Hugging Face ਵੀ ਇੱਕ LLM Leaderboard ਰੱਖਦਾ ਹੈ ਜੋ ਤੁਹਾਨੂੰ ਕੁਝ ਮੈਟ੍ਰਿਕਸ ਦੇ ਅਧਾਰ 'ਤੇ ਸਭ ਤੋਂ ਵਧੀਆ ਪ੍ਰਦਰਸ਼ਨ ਕਰਨ ਵਾਲੇ ਮਾਡਲ ਦਿਖਾਉਂਦਾ ਹੈ।
ਵੱਖ-ਵੱਖ ਕਿਸਮਾਂ ਦੇ LLMs ਦੀ ਤੁਲਨਾ ਕਰਨ ਲਈ, Artificial Analysis ਇੱਕ ਹੋਰ ਵਧੀਆ ਸਰੋਤ ਹੈ:
Source: Artificial Analysis
ਜੇਕਰ ਕਿਸੇ ਖਾਸ ਵਰਤੋਂ ਦੇ ਕੇਸ 'ਤੇ ਕੰਮ ਕਰ ਰਹੇ ਹੋ, ਤਾਂ ਉਸੇ ਖੇਤਰ 'ਤੇ ਕੇਂਦ੍ਰਿਤ ਫਾਈਨ-ਟਿਊਨ ਕੀਤੇ ਵਰਜਨਾਂ ਦੀ ਖੋਜ ਕਰਨਾ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਹੋ ਸਕਦਾ ਹੈ। ਵੱਖ-ਵੱਖ ਖੁੱਲੇ ਮਾਡਲਾਂ ਨਾਲ ਪ੍ਰਯੋਗ ਕਰਨਾ ਅਤੇ ਇਹ ਦੇਖਣਾ ਕਿ ਉਹ ਤੁਹਾਡੇ ਅਤੇ ਤੁਹਾਡੇ ਉਪਭੋਗਤਾਵਾਂ ਦੀਆਂ ਉਮੀਦਾਂ ਦੇ ਅਨੁਸਾਰ ਕਿਵੇਂ ਪ੍ਰਦਰਸ਼ਨ ਕਰਦੇ ਹਨ, ਇੱਕ ਹੋਰ ਚੰਗੀ ਅਭਿਆਸ ਹੈ।
ਖੁੱਲੇ ਮਾਡਲਾਂ ਬਾਰੇ ਸਭ ਤੋਂ ਵਧੀਆ ਗੱਲ ਇਹ ਹੈ ਕਿ ਤੁਸੀਂ ਉਨ੍ਹਾਂ ਨਾਲ ਜਲਦੀ ਕੰਮ ਕਰਨਾ ਸ਼ੁਰੂ ਕਰ ਸਕਦੇ ਹੋ। Azure AI Foundry Model Catalog ਨੂੰ ਵੇਖੋ, ਜਿਸ ਵਿੱਚ Hugging Face ਦਾ ਇੱਕ ਖਾਸ ਸੰਗ੍ਰਹਿ ਹੈ ਜਿਸ ਵਿੱਚ ਉਹ ਮਾਡਲ ਸ਼ਾਮਲ ਹਨ ਜਿਨ੍ਹਾਂ ਬਾਰੇ ਅਸੀਂ ਇੱਥੇ ਚਰਚਾ ਕੀਤੀ ਹੈ।
ਇਹ ਪਾਠ ਪੂਰਾ ਕਰਨ ਤੋਂ ਬਾਅਦ, ਸਾਡੇ Generative AI Learning collection ਨੂੰ ਵੇਖੋ ਤਾਂ ਜੋ ਆਪਣੀ Generative AI ਦੀ ਜਾਣਕਾਰੀ ਨੂੰ ਹੋਰ ਵਧਾ ਸਕੋ!
ਅਸਵੀਕਤੀ:
ਇਹ ਦਸਤਾਵੇਜ਼ AI ਅਨੁਵਾਦ ਸੇਵਾ Co-op Translator ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਅਨੁਵਾਦ ਕੀਤਾ ਗਿਆ ਹੈ। ਜਦੋਂ ਕਿ ਅਸੀਂ ਸਹੀ ਹੋਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦੇ ਹਾਂ, ਕਿਰਪਾ ਕਰਕੇ ਧਿਆਨ ਦਿਓ ਕਿ ਸਵੈਚਾਲਿਤ ਅਨੁਵਾਦਾਂ ਵਿੱਚ ਗਲਤੀਆਂ ਜਾਂ ਅਸੁਚੀਤਤਾਵਾਂ ਹੋ ਸਕਦੀਆਂ ਹਨ। ਮੂਲ ਦਸਤਾਵੇਜ਼ ਨੂੰ ਇਸਦੀ ਮੂਲ ਭਾਸ਼ਾ ਵਿੱਚ ਅਧਿਕਾਰਤ ਸਰੋਤ ਮੰਨਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ। ਮਹੱਤਵਪੂਰਨ ਜਾਣਕਾਰੀ ਲਈ, ਪੇਸ਼ੇਵਰ ਮਨੁੱਖੀ ਅਨੁਵਾਦ ਦੀ ਸਿਫਾਰਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਇਸ ਅਨੁਵਾਦ ਦੀ ਵਰਤੋਂ ਤੋਂ ਪੈਦਾ ਹੋਣ ਵਾਲੇ ਕਿਸੇ ਵੀ ਗਲਤਫਹਿਮੀ ਜਾਂ ਗਲਤ ਵਿਆਖਿਆ ਲਈ ਅਸੀਂ ਜ਼ਿੰਮੇਵਾਰ ਨਹੀਂ ਹਾਂ।