El mundo de los LLMs de código abierto es emocionante y está en constante evolución. Esta lección tiene como objetivo proporcionar una visión detallada sobre los modelos de código abierto. Si buscas información sobre cómo los modelos propietarios se comparan con los modelos de código abierto, visita la lección "Explorando y Comparando Diferentes LLMs". Esta lección también cubrirá el tema de ajuste fino, pero una explicación más detallada se encuentra en la lección "Ajuste Fino de LLMs".
- Comprender los modelos de código abierto.
- Entender los beneficios de trabajar con modelos de código abierto.
- Explorar los modelos abiertos disponibles en Hugging Face y Azure AI Studio.
El software de código abierto ha desempeñado un papel crucial en el crecimiento de la tecnología en diversos campos. La Open Source Initiative (OSI) ha definido 10 criterios para software para ser clasificado como código abierto. El código fuente debe compartirse abiertamente bajo una licencia aprobada por la OSI.
Aunque el desarrollo de LLMs tiene elementos similares al desarrollo de software, el proceso no es exactamente el mismo. Esto ha generado mucho debate en la comunidad sobre la definición de código abierto en el contexto de los LLMs. Para que un modelo se alinee con la definición tradicional de código abierto, la siguiente información debería estar disponible públicamente:
- Conjuntos de datos utilizados para entrenar el modelo.
- Pesos completos del modelo como parte del entrenamiento.
- Código de evaluación.
- Código de ajuste fino.
- Pesos completos del modelo y métricas de entrenamiento.
Actualmente, solo hay unos pocos modelos que cumplen con estos criterios. El modelo OLMo creado por el Allen Institute for Artificial Intelligence (AllenAI) es uno que encaja en esta categoría.
Para esta lección, nos referiremos a los modelos como "modelos abiertos" en adelante, ya que pueden no cumplir con los criterios mencionados en el momento de escribir esto.
Altamente Personalizables - Dado que los modelos abiertos se publican con información detallada de entrenamiento, los investigadores y desarrolladores pueden modificar los aspectos internos del modelo. Esto permite la creación de modelos altamente especializados ajustados para una tarea o área de estudio específica. Algunos ejemplos incluyen generación de código, operaciones matemáticas y biología.
Costo - El costo por token para usar y desplegar estos modelos es menor que el de los modelos propietarios. Al construir aplicaciones de IA Generativa, es importante evaluar el rendimiento frente al precio al trabajar con estos modelos en tu caso de uso.
Fuente: Artificial Analysis
Flexibilidad - Trabajar con modelos abiertos permite flexibilidad en términos de usar diferentes modelos o combinarlos. Un ejemplo de esto es el HuggingChat Assistants, donde un usuario puede seleccionar el modelo que se utiliza directamente en la interfaz de usuario:
LLama2, desarrollado por Meta, es un modelo abierto optimizado para aplicaciones basadas en chat. Esto se debe a su método de ajuste fino, que incluyó una gran cantidad de diálogos y retroalimentación humana. Con este método, el modelo produce resultados más alineados con las expectativas humanas, lo que proporciona una mejor experiencia de usuario.
Algunos ejemplos de versiones ajustadas de Llama incluyen Japanese Llama, que se especializa en japonés, y Llama Pro, que es una versión mejorada del modelo base.
Mistral es un modelo abierto con un fuerte enfoque en alto rendimiento y eficiencia. Utiliza el enfoque Mixture-of-Experts, que combina un grupo de modelos expertos especializados en un sistema donde, dependiendo de la entrada, se seleccionan ciertos modelos para ser utilizados. Esto hace que el cálculo sea más efectivo, ya que los modelos solo abordan las entradas en las que están especializados.
Algunos ejemplos de versiones ajustadas de Mistral incluyen BioMistral, que se centra en el ámbito médico, y OpenMath Mistral, que realiza cálculos matemáticos.
Falcon es un LLM creado por el Technology Innovation Institute (TII). El Falcon-40B fue entrenado con 40 mil millones de parámetros, lo que ha demostrado un mejor rendimiento que GPT-3 con un menor presupuesto de cómputo. Esto se debe a su uso del algoritmo FlashAttention y atención multiquery, que le permite reducir los requisitos de memoria en el tiempo de inferencia. Con este tiempo de inferencia reducido, el Falcon-40B es adecuado para aplicaciones de chat.
Algunos ejemplos de versiones ajustadas de Falcon son el OpenAssistant, un asistente construido sobre modelos abiertos, y GPT4ALL, que ofrece un rendimiento superior al modelo base.
No hay una única respuesta para elegir un modelo abierto. Un buen punto de partida es usar la función de filtro por tarea de Azure AI Studio. Esto te ayudará a entender qué tipos de tareas ha sido entrenado el modelo. Hugging Face también mantiene un LLM Leaderboard que muestra los modelos con mejor rendimiento según ciertos métricas.
Cuando busques comparar LLMs entre los diferentes tipos, Artificial Analysis es otro gran recurso:
Fuente: Artificial Analysis
Si trabajas en un caso de uso específico, buscar versiones ajustadas que se centren en el mismo ámbito puede ser efectivo. Experimentar con múltiples modelos abiertos para ver cómo se desempeñan según tus expectativas y las de tus usuarios es otra buena práctica.
La mejor parte de los modelos abiertos es que puedes comenzar a trabajar con ellos rápidamente. Consulta el Catálogo de Modelos de Azure AI Foundry, que incluye una colección específica de Hugging Face con los modelos que discutimos aquí.
Después de completar esta lección, consulta nuestra Colección de Aprendizaje de IA Generativa para seguir ampliando tus conocimientos sobre IA Generativa.
Descargo de responsabilidad:
Este documento ha sido traducido utilizando el servicio de traducción automática Co-op Translator. Si bien nos esforzamos por lograr precisión, tenga en cuenta que las traducciones automáticas pueden contener errores o imprecisiones. El documento original en su idioma nativo debe considerarse como la fuente autorizada. Para información crítica, se recomienda una traducción profesional realizada por humanos. No nos hacemos responsables de malentendidos o interpretaciones erróneas que puedan surgir del uso de esta traducción.