ಮುಕ್ತ ಮೂಲ LLM ಗಳ ಜಗತ್ತು ರೋಚಕ ಮತ್ತು ನಿರಂತರವಾಗಿ ಅಭಿವೃದ್ಧಿಯಾಗುತ್ತಿದೆ. ಈ ಪಾಠವು ಮುಕ್ತ ಮೂಲ ಮಾದರಿಗಳ ಆಳವಾದ ಅವಲೋಕನವನ್ನು ಒದಗಿಸುವುದನ್ನು ಉದ್ದೇಶಿಸಿದೆ. ನೀವು ಸ್ವಂತ ಮಾಲೀಕತ್ವದ ಮಾದರಿಗಳು ಮುಕ್ತ ಮೂಲ ಮಾದರಿಗಳೊಂದಿಗೆ ಹೇಗೆ ಹೋಲಿಕೆ ಮಾಡುತ್ತವೆ ಎಂಬ ಮಾಹಿತಿಯನ್ನು ಹುಡುಕುತ್ತಿದ್ದರೆ, "ವಿವಿಧ LLM ಗಳ ಅನ್ವೇಷಣೆ ಮತ್ತು ಹೋಲಿಕೆ" ಪಾಠ ಗೆ ಹೋಗಿ. ಈ ಪಾಠವು ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ವಿಷಯವನ್ನು ಕೂಡ ಒಳಗೊಂಡಿದೆ ಆದರೆ ಹೆಚ್ಚಿನ ವಿವರವಾದ ವಿವರಣೆ "ಫೈನ್-ಟ್ಯೂನಿಂಗ್ LLM ಗಳು" ಪಾಠ ನಲ್ಲಿ ದೊರೆಯುತ್ತದೆ.
- ಮುಕ್ತ ಮೂಲ ಮಾದರಿಗಳ ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವುದು
- ಮುಕ್ತ ಮೂಲ ಮಾದರಿಗಳೊಂದಿಗೆ ಕೆಲಸ ಮಾಡುವ ಲಾಭಗಳನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವುದು
- Hugging Face ಮತ್ತು Azure AI ಸ್ಟುಡಿಯೋದಲ್ಲಿ ಲಭ್ಯವಿರುವ ಮುಕ್ತ ಮಾದರಿಗಳನ್ನು ಅನ್ವೇಷಿಸುವುದು
ಮುಕ್ತ ಮೂಲ ಸಾಫ್ಟ್ವೇರ್ ವಿವಿಧ ಕ್ಷೇತ್ರಗಳಲ್ಲಿ ತಂತ್ರಜ್ಞಾನ ಬೆಳವಣಿಗೆಯಲ್ಲಿ ಪ್ರಮುಖ ಪಾತ್ರ ವಹಿಸಿದೆ. Open Source Initiative (OSI) ಮುಗ್ಧ ಮೂಲ ಸಾಫ್ಟ್ವೇರ್ ಆಗಿ ವರ್ಗೀಕರಿಸಲು 10 ಮಾನದಂಡಗಳನ್ನು ನಿರ್ಧರಿಸಿದೆ. ಮೂಲ ಕೋಡ್ OSI ಅನುಮೋದಿಸಿದ ಪರವಾನಗಿಯಡಿ ಮುಕ್ತವಾಗಿ ಹಂಚಿಕೊಳ್ಳಬೇಕು.
LLM ಗಳ ಅಭಿವೃದ್ಧಿ ಸಾಫ್ಟ್ವೇರ್ ಅಭಿವೃದ್ಧಿಗೆ ಸಮಾನ ಅಂಶಗಳನ್ನು ಹೊಂದಿದ್ದರೂ, ಪ್ರಕ್ರಿಯೆ ಸಂಪೂರ್ಣವಾಗಿ ಒಂದೇ ರೀತಿಯಲ್ಲ. ಇದರಿಂದ LLM ಗಳ ಸನ್ನಿವೇಶದಲ್ಲಿ ಮುಕ್ತ ಮೂಲದ ವ್ಯಾಖ್ಯಾನ ಕುರಿತು ಸಮುದಾಯದಲ್ಲಿ ಬಹು ಚರ್ಚೆ ನಡೆಯುತ್ತಿದೆ. ಪರಂಪರাগত ಮುಕ್ತ ಮೂಲ ವ್ಯಾಖ್ಯಾನಕ್ಕೆ ಹೊಂದಿಕೊಳ್ಳಲು, ಕೆಳಗಿನ ಮಾಹಿತಿಗಳು ಸಾರ್ವಜನಿಕವಾಗಿ ಲಭ್ಯವಾಗಬೇಕು:
- ಮಾದರಿಯನ್ನು ತರಬೇತುಗೊಳಿಸಲು ಬಳಸಿದ ಡೇಟಾಸೆಟ್ಗಳು.
- ತರಬೇತಿಯ ಭಾಗವಾಗಿ ಸಂಪೂರ್ಣ ಮಾದರಿ ತೂಕಗಳು.
- ಮೌಲ್ಯಮಾಪನ ಕೋಡ್.
- ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ಕೋಡ್.
- ಸಂಪೂರ್ಣ ಮಾದರಿ ತೂಕಗಳು ಮತ್ತು ತರಬೇತಿ ಮೆಟ್ರಿಕ್ಗಳು.
ಈ ಮಾನದಂಡಗಳಿಗೆ ಹೊಂದಿಕೊಳ್ಳುವ ಕೆಲವು ಮಾದರಿಗಳು ಮಾತ್ರ ಇವೆ. Allen Institute for Artificial Intelligence (AllenAI) ರಚಿಸಿದ OLMo ಮಾದರಿ ಈ ವರ್ಗಕ್ಕೆ ಸೇರಿದೆ.
ಈ ಪಾಠದಲ್ಲಿ, ನಾವು ಮುಂದುವರಿದಂತೆ ಈ ಮಾದರಿಗಳನ್ನು "ಮುಕ್ತ ಮಾದರಿಗಳು" ಎಂದು ಉಲ್ಲೇಖಿಸುವೆವು ಏಕೆಂದರೆ ಬರೆಯುವ ಸಮಯದಲ್ಲಿ ಅವು ಮೇಲ್ಕಂಡ ಮಾನದಂಡಗಳಿಗೆ ಸಂಪೂರ್ಣವಾಗಿ ಹೊಂದಿಕೊಳ್ಳದಿರಬಹುದು.
ಅತ್ಯಂತ ಕಸ್ಟಮೈಜ್ ಮಾಡಬಹುದಾದವು - ಮುಕ್ತ ಮಾದರಿಗಳು ವಿವರವಾದ ತರಬೇತಿ ಮಾಹಿತಿಯೊಂದಿಗೆ ಬಿಡುಗಡೆ ಮಾಡಲ್ಪಟ್ಟಿರುವುದರಿಂದ, ಸಂಶೋಧಕರು ಮತ್ತು ಅಭಿವೃದ್ಧಿಪಡಿಸುವವರು ಮಾದರಿಯ ಒಳಗಿನ ಅಂಶಗಳನ್ನು ಬದಲಾಯಿಸಬಹುದು. ಇದರಿಂದ ನಿರ್ದಿಷ್ಟ ಕಾರ್ಯ ಅಥವಾ ಅಧ್ಯಯನ ಕ್ಷೇತ್ರಕ್ಕೆ ಸೂಕ್ತವಾಗಿ ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡಲಾದ ಅತ್ಯಂತ ವಿಶೇಷೀಕೃತ ಮಾದರಿಗಳನ್ನು ರಚಿಸಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ. ಉದಾಹರಣೆಗಳಿಗೆ ಕೋಡ್ ಜನರೇಶನ್, ಗಣಿತೀಯ ಕಾರ್ಯಗಳು ಮತ್ತು ಜೀವಶಾಸ್ತ್ರ ಸೇರಿವೆ.
ಖರ್ಚು - ಈ ಮಾದರಿಗಳನ್ನು ಬಳಸಲು ಮತ್ತು ನಿಯೋಜಿಸಲು ಪ್ರತಿ ಟೋಕನ್ಗೆ ಖರ್ಚು ಸ್ವಂತ ಮಾಲೀಕತ್ವದ ಮಾದರಿಗಳಿಗಿಂತ ಕಡಿಮೆ. ಜನರೇಟಿವ್ AI ಅಪ್ಲಿಕೇಶನ್ಗಳನ್ನು ನಿರ್ಮಿಸುವಾಗ, ನಿಮ್ಮ ಬಳಕೆಯ ಮೇಲೆ ಈ ಮಾದರಿಗಳ ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ಬೆಲೆಯ ಹೋಲಿಕೆಯನ್ನು ಗಮನಿಸುವುದು ಮುಖ್ಯ.
ಮೂಲ: Artificial Analysis
ಲವಚಿಕತೆ - ಮುಕ್ತ ಮಾದರಿಗಳೊಂದಿಗೆ ಕೆಲಸ ಮಾಡುವುದರಿಂದ ನೀವು ವಿಭಿನ್ನ ಮಾದರಿಗಳನ್ನು ಬಳಸುವ ಅಥವಾ ಅವುಗಳನ್ನು ಸಂಯೋಜಿಸುವ ವಿಷಯದಲ್ಲಿ ಲವಚಿಕರಾಗಿರಬಹುದು. ಉದಾಹರಣೆಗೆ HuggingChat ಸಹಾಯಕರು ಬಳಕೆದಾರರು ನೇರವಾಗಿ ಬಳಕೆದಾರ ಇಂಟರ್ಫೇಸ್ನಲ್ಲಿ ಬಳಸುವ ಮಾದರಿಯನ್ನು ಆಯ್ಕೆ ಮಾಡಬಹುದು:
LLama2, ಮೆಟಾ ಅಭಿವೃದ್ಧಿಪಡಿಸಿದ ಮುಕ್ತ ಮಾದರಿ, ಚಾಟ್ ಆಧಾರಿತ ಅಪ್ಲಿಕೇಶನ್ಗಳಿಗೆ ಆಪ್ಟಿಮೈಸ್ ಮಾಡಲಾಗಿದೆ. ಇದರ ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ವಿಧಾನವು ಹೆಚ್ಚಿನ ಸಂವಾದ ಮತ್ತು ಮಾನವ ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ಒಳಗೊಂಡಿದೆ. ಈ ವಿಧಾನದಿಂದ, ಮಾದರಿ ಮಾನವ ನಿರೀಕ್ಷೆಗೆ ಹೊಂದಿಕೊಂಡ ಹೆಚ್ಚಿನ ಫಲಿತಾಂಶಗಳನ್ನು ಉತ್ಪಾದಿಸುತ್ತದೆ, ಇದು ಉತ್ತಮ ಬಳಕೆದಾರ ಅನುಭವವನ್ನು ಒದಗಿಸುತ್ತದೆ.
ಫೈನ್-ಟ್ಯೂನ್ ಮಾಡಲಾದ ಲ್ಲಾಮಾ ಆವೃತ್ತಿಗಳ ಕೆಲವು ಉದಾಹರಣೆಗಳು ಜಪಾನೀಸ್ ಲ್ಲಾಮಾ, ಜಪಾನೀಸ್ನಲ್ಲಿ ಪರಿಣತಿಯನ್ನು ಹೊಂದಿದೆ ಮತ್ತು Llama Pro, ಮೂಲ ಮಾದರಿಯ ಸುಧಾರಿತ ಆವೃತ್ತಿ.
ಮಿಸ್ಟ್ರಾಲ್ ಒಂದು ಮುಕ್ತ ಮಾದರಿ, ಇದು ಉನ್ನತ ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ದಕ್ಷತೆಯ ಮೇಲೆ ಕೇಂದ್ರೀಕರಿಸಿದೆ. ಇದು Mixture-of-Experts ವಿಧಾನವನ್ನು ಬಳಸುತ್ತದೆ, ಇದು ವಿಶೇಷಜ್ಞ ಮಾದರಿಗಳ ಗುಂಪನ್ನು ಒಂದು ವ್ಯವಸ್ಥೆಯಾಗಿ ಸಂಯೋಜಿಸುತ್ತದೆ, ಇನ್ಪುಟ್ ಆಧಾರವಾಗಿ ಕೆಲವು ಮಾದರಿಗಳನ್ನು ಆಯ್ಕೆಮಾಡಿ ಬಳಸುತ್ತದೆ. ಇದರಿಂದ ಗಣನೆ ಹೆಚ್ಚು ಪರಿಣಾಮಕಾರಿಯಾಗುತ್ತದೆ ಏಕೆಂದರೆ ಮಾದರಿಗಳು ತಮ್ಮ ಪರಿಣತಿಯನ್ನು ಹೊಂದಿರುವ ಇನ್ಪುಟ್ಗಳನ್ನು ಮಾತ್ರ ಸಂಬೋಧಿಸುತ್ತವೆ.
ಮಿಸ್ಟ್ರಾಲ್ ಫೈನ್-ಟ್ಯೂನ್ ಆವೃತ್ತಿಗಳ ಕೆಲವು ಉದಾಹರಣೆಗಳು BioMistral, ವೈದ್ಯಕೀಯ ಕ್ಷೇತ್ರಕ್ಕೆ ಕೇಂದ್ರೀಕರಿಸಿದೆ ಮತ್ತು OpenMath Mistral, ಗಣಿತೀಯ ಲೆಕ್ಕಾಚಾರವನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ.
ಫಾಲ್ಕನ್ ತಂತ್ರಜ್ಞಾನ ನವೀನತೆ ಸಂಸ್ಥೆ (TII) ರಚಿಸಿದ LLM. ಫಾಲ್ಕನ್-40B 40 ಬಿಲಿಯನ್ ಪ್ಯಾರಾಮೀಟರ್ಗಳ ಮೇಲೆ ತರಬೇತಿಗೊಳಿಸಲಾಗಿದೆ ಮತ್ತು ಕಡಿಮೆ ಗಣನೆ ಬಜೆಟ್ನೊಂದಿಗೆ GPT-3 ಗಿಂತ ಉತ್ತಮ ಪ್ರದರ್ಶನ ತೋರಿಸಿದೆ. ಇದಕ್ಕೆ ಕಾರಣ FlashAttention ಅಲ್ಗಾರಿದಮ್ ಮತ್ತು ಮಲ್ಟಿಕ್ವೇರಿ ಅಟೆನ್ಷನ್ ಬಳಕೆ, ಇದು ಇನ್ಫರೆನ್ಸ್ ಸಮಯದಲ್ಲಿ ಮೆಮೊರಿ ಅಗತ್ಯಗಳನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ. ಕಡಿಮೆ ಇನ್ಫರೆನ್ಸ್ ಸಮಯದಿಂದ, ಫಾಲ್ಕನ್-40B ಚಾಟ್ ಅಪ್ಲಿಕೇಶನ್ಗಳಿಗೆ ಸೂಕ್ತವಾಗಿದೆ.
ಫಾಲ್ಕನ್ ಫೈನ್-ಟ್ಯೂನ್ ಆವೃತ್ತಿಗಳ ಕೆಲವು ಉದಾಹರಣೆಗಳು OpenAssistant, ಮುಕ್ತ ಮಾದರಿಗಳ ಮೇಲೆ ನಿರ್ಮಿತ ಸಹಾಯಕ ಮತ್ತು GPT4ALL, ಮೂಲ ಮಾದರಿಗಿಂತ ಹೆಚ್ಚಿನ ಕಾರ್ಯಕ್ಷಮತೆ ನೀಡುತ್ತದೆ.
ಮುಕ್ತ ಮಾದರಿಯನ್ನು ಆಯ್ಕೆಮಾಡಲು ಒಂದೇ ಉತ್ತರವಿಲ್ಲ. ಶುರುಮಾಡಲು ಉತ್ತಮ ಸ್ಥಳವೆಂದರೆ Azure AI ಸ್ಟುಡಿಯೋನ ಟಾಸ್ಕ್ ಮೂಲಕ ಫಿಲ್ಟರ್ ವೈಶಿಷ್ಟ್ಯವನ್ನು ಬಳಸುವುದು. ಇದು ಮಾದರಿ ತರಬೇತಿಗೊಳಿಸಿದ ಕಾರ್ಯಗಳ ಪ್ರಕಾರ ನಿಮಗೆ ತಿಳಿಯಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ. Hugging Face ಕೂಡ LLM ಲೀಡರ್ಬೋರ್ಡ್ ಅನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ, ಇದು ಕೆಲವು ಮೆಟ್ರಿಕ್ಗಳ ಆಧಾರದ ಮೇಲೆ ಉತ್ತಮ ಪ್ರದರ್ಶನ ನೀಡುವ ಮಾದರಿಗಳನ್ನು ತೋರಿಸುತ್ತದೆ.
ವಿಭಿನ್ನ ಪ್ರಕಾರಗಳ LLM ಗಳನ್ನು ಹೋಲಿಸಲು, Artificial Analysis ಮತ್ತೊಂದು ಉತ್ತಮ ಸಂಪನ್ಮೂಲವಾಗಿದೆ:
ಮೂಲ: Artificial Analysis
ನಿರ್ದಿಷ್ಟ ಬಳಕೆಯ ಮೇಲೆ ಕೆಲಸ ಮಾಡುತ್ತಿದ್ದರೆ, ಅದೇ ಕ್ಷೇತ್ರಕ್ಕೆ ಕೇಂದ್ರೀಕರಿಸಿದ ಫೈನ್-ಟ್ಯೂನ್ ಆವೃತ್ತಿಗಳನ್ನು ಹುಡುಕುವುದು ಪರಿಣಾಮಕಾರಿಯಾಗಬಹುದು. ನಿಮ್ಮ ಮತ್ತು ನಿಮ್ಮ ಬಳಕೆದಾರರ ನಿರೀಕ್ಷೆಗಳ ಪ್ರಕಾರ ಅವು ಹೇಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ ಎಂದು ಅನೇಕ ಮುಕ್ತ ಮಾದರಿಗಳೊಂದಿಗೆ ಪ್ರಯೋಗ ಮಾಡುವುದು ಮತ್ತೊಂದು ಉತ್ತಮ ಅಭ್ಯಾಸ.
ಮುಕ್ತ ಮಾದರಿಗಳ ಅತ್ಯುತ್ತಮ ಭಾಗವೆಂದರೆ ನೀವು ಅವುಗಳೊಂದಿಗೆ ತ್ವರಿತವಾಗಿ ಕೆಲಸ ಆರಂಭಿಸಬಹುದು. ನಾವು ಇಲ್ಲಿ ಚರ್ಚಿಸಿದ ಈ ಮಾದರಿಗಳೊಂದಿಗೆ ವಿಶೇಷ Hugging Face ಸಂಗ್ರಹವನ್ನು ಹೊಂದಿರುವ Azure AI Foundry Model Catalog ಅನ್ನು ಪರಿಶೀಲಿಸಿ.
ಈ ಪಾಠವನ್ನು ಪೂರ್ಣಗೊಳಿಸಿದ ನಂತರ, ನಮ್ಮ ಜನರೇಟಿವ್ AI ಕಲಿಕೆ ಸಂಗ್ರಹ ಅನ್ನು ಪರಿಶೀಲಿಸಿ ಮತ್ತು ನಿಮ್ಮ ಜನರೇಟಿವ್ AI ಜ್ಞಾನವನ್ನು ಮುಂದುವರಿಸಿ!
ಅಸ್ವೀಕರಣ:
ಈ ದಸ್ತಾವೇಜು Co-op Translator ಎಂಬ AI ಅನುವಾದ ಸೇವೆಯನ್ನು ಬಳಸಿ ಅನುವಾದಿಸಲಾಗಿದೆ. ನಾವು ಶುದ್ಧತೆಯತ್ತ ಪ್ರಯತ್ನಿಸುತ್ತಿದ್ದರೂ, ಸ್ವಯಂಚಾಲಿತ ಅನುವಾದಗಳಲ್ಲಿ ತಪ್ಪುಗಳು ಅಥವಾ ಅಸತ್ಯತೆಗಳು ಇರಬಹುದು ಎಂದು ದಯವಿಟ್ಟು ಗಮನಿಸಿ. ಮೂಲ ಭಾಷೆಯಲ್ಲಿರುವ ಮೂಲ ದಸ್ತಾವೇಜನ್ನು ಅಧಿಕೃತ ಮೂಲವೆಂದು ಪರಿಗಣಿಸಬೇಕು. ಮಹತ್ವದ ಮಾಹಿತಿಗಾಗಿ, ವೃತ್ತಿಪರ ಮಾನವ ಅನುವಾದವನ್ನು ಶಿಫಾರಸು ಮಾಡಲಾಗುತ್ತದೆ. ಈ ಅನುವಾದ ಬಳಕೆಯಿಂದ ಉಂಟಾಗುವ ಯಾವುದೇ ತಪ್ಪು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವಿಕೆ ಅಥವಾ ತಪ್ಪು ವಿವರಣೆಗಳಿಗೆ ನಾವು ಹೊಣೆಗಾರರಾಗುವುದಿಲ್ಲ.