El mundo de los LLMs de código abierto es emocionante y está en constante evolución. Esta lección tiene como objetivo proporcionar una visión detallada de los modelos de código abierto. Si buscas información sobre cómo los modelos propietarios se comparan con los modelos de código abierto, dirígete a la lección "Explorando y Comparando Diferentes LLMs". Esta lección también cubrirá el tema del ajuste fino, pero una explicación más detallada se puede encontrar en la lección "Ajuste Fino de LLMs".
- Obtener una comprensión de los Modelos de Código Abierto
- Comprender los beneficios de trabajar con Modelos de Código Abierto
- Explorar los modelos abiertos disponibles en Hugging Face y el Azure AI Studio
El software de código abierto ha jugado un papel crucial en el crecimiento de la tecnología en varios campos. La Iniciativa de Código Abierto (OSI) ha definido 10 criterios para el software para ser clasificado como código abierto. El código fuente debe ser compartido abiertamente bajo una licencia aprobada por la OSI.
Si bien el desarrollo de LLMs tiene elementos similares al desarrollo de software, el proceso no es exactamente el mismo. Esto ha generado mucha discusión en la comunidad sobre la definición de código abierto en el contexto de los LLMs. Para que un modelo esté alineado con la definición tradicional de código abierto, la siguiente información debería estar públicamente disponible:
- Conjuntos de datos utilizados para entrenar el modelo.
- Pesos completos del modelo como parte del entrenamiento.
- El código de evaluación.
- El código de ajuste fino.
- Pesos completos del modelo y métricas de entrenamiento.
Actualmente, solo hay unos pocos modelos que cumplen con estos criterios. El modelo OLMo creado por el Instituto Allen para la Inteligencia Artificial (AllenAI) es uno que encaja en esta categoría.
Para esta lección, nos referiremos a los modelos como "modelos abiertos" en adelante, ya que pueden no cumplir con los criterios anteriores en el momento de escribir esto.
Altamente Personalizables - Dado que los modelos abiertos se publican con información detallada de entrenamiento, los investigadores y desarrolladores pueden modificar los componentes internos del modelo. Esto permite la creación de modelos altamente especializados que están ajustados para una tarea o área de estudio específica. Algunos ejemplos de esto son la generación de código, operaciones matemáticas y biología.
Costo - El costo por token para usar y desplegar estos modelos es menor que el de los modelos propietarios. Al construir aplicaciones de IA Generativa, se debe considerar el rendimiento versus el precio al trabajar con estos modelos en tu caso de uso.
Fuente: Análisis Artificial
Flexibilidad - Trabajar con modelos abiertos te permite ser flexible en términos de usar diferentes modelos o combinarlos. Un ejemplo de esto es el HuggingChat Assistants donde un usuario puede seleccionar el modelo que se está utilizando directamente en la interfaz de usuario:
LLama2, desarrollado por Meta, es un modelo abierto que está optimizado para aplicaciones basadas en chat. Esto se debe a su método de ajuste fino, que incluyó una gran cantidad de diálogo y retroalimentación humana. Con este método, el modelo produce más resultados alineados con las expectativas humanas, lo que proporciona una mejor experiencia de usuario.
Algunos ejemplos de versiones ajustadas de Llama incluyen Japanese Llama, que se especializa en japonés y Llama Pro, que es una versión mejorada del modelo base.
Mistral es un modelo abierto con un fuerte enfoque en alto rendimiento y eficiencia. Utiliza el enfoque de Mixture-of-Experts que combina un grupo de modelos expertos especializados en un sistema donde, dependiendo de la entrada, se seleccionan ciertos modelos para ser utilizados. Esto hace que la computación sea más efectiva ya que los modelos solo abordan las entradas en las que están especializados.
Algunos ejemplos de versiones ajustadas de Mistral incluyen BioMistral, que se centra en el dominio médico y OpenMath Mistral, que realiza cálculos matemáticos.
Falcon es un LLM creado por el Instituto de Innovación Tecnológica (TII). El Falcon-40B fue entrenado con 40 mil millones de parámetros, lo que ha demostrado tener un mejor rendimiento que GPT-3 con menos presupuesto de cómputo. Esto se debe a su uso del algoritmo FlashAttention y la atención multi-consulta que le permite reducir los requisitos de memoria en el momento de la inferencia. Con este tiempo de inferencia reducido, el Falcon-40B es adecuado para aplicaciones de chat.
Algunos ejemplos de versiones ajustadas de Falcon son el OpenAssistant, un asistente construido sobre modelos abiertos y GPT4ALL, que ofrece un rendimiento superior al modelo base.
No hay una sola respuesta para elegir un modelo abierto. Un buen lugar para comenzar es utilizando la función de filtro por tarea del Azure AI Studio. Esto te ayudará a entender qué tipos de tareas ha sido entrenado el modelo. Hugging Face también mantiene un LLM Leaderboard que te muestra los modelos de mejor rendimiento basados en ciertos métricas.
Cuando busques comparar LLMs entre los diferentes tipos, Artificial Analysis es otro gran recurso:
Fuente: Análisis Artificial
Si trabajas en un caso de uso específico, buscar versiones ajustadas que se centren en el mismo área puede ser efectivo. Experimentar con múltiples modelos abiertos para ver cómo se desempeñan según tus expectativas y las de tus usuarios es otra buena práctica.
La mejor parte de los modelos abiertos es que puedes comenzar a trabajar con ellos bastante rápido. Consulta el Catálogo de Modelos de Azure AI Studio, que presenta una colección específica de Hugging Face con estos modelos que discutimos aquí.
Después de completar esta lección, consulta nuestra colección de Aprendizaje de IA Generativa para seguir mejorando tu conocimiento en IA Generativa.
Descargo de responsabilidad:
Este documento ha sido traducido utilizando el servicio de traducción de IA Co-op Translator. Aunque nos esforzamos por lograr precisión, tenga en cuenta que las traducciones automáticas pueden contener errores o imprecisiones. El documento original en su idioma nativo debe considerarse la fuente autorizada. Para información crítica, se recomienda la traducción profesional humana. No somos responsables de ningún malentendido o interpretación errónea que surja del uso de esta traducción.