El mundo de los LLMs de código abierto es emocionante y está en constante evolución. Esta lección tiene como objetivo proporcionar una visión detallada de los modelos de código abierto. Si buscas información sobre cómo se comparan los modelos propietarios con los de código abierto, visita la lección "Explorando y Comparando Diferentes LLMs". Esta lección también cubrirá el tema de ajuste fino, pero puedes encontrar una explicación más detallada en la lección "Ajuste Fino de LLMs".
- Comprender los modelos de código abierto.
- Entender los beneficios de trabajar con modelos de código abierto.
- Explorar los modelos abiertos disponibles en Hugging Face y Azure AI Studio.
El software de código abierto ha desempeñado un papel crucial en el crecimiento de la tecnología en diversos campos. La Iniciativa de Código Abierto (OSI) ha definido 10 criterios para software para ser clasificado como código abierto. El código fuente debe compartirse abiertamente bajo una licencia aprobada por la OSI.
Aunque el desarrollo de los LLMs tiene elementos similares al desarrollo de software, el proceso no es exactamente el mismo. Esto ha generado mucho debate en la comunidad sobre la definición de código abierto en el contexto de los LLMs. Para que un modelo se alinee con la definición tradicional de código abierto, la siguiente información debería estar disponible públicamente:
- Conjuntos de datos utilizados para entrenar el modelo.
- Pesos completos del modelo como parte del entrenamiento.
- Código de evaluación.
- Código de ajuste fino.
- Pesos completos del modelo y métricas de entrenamiento.
Actualmente, solo hay unos pocos modelos que cumplen con estos criterios. El modelo OLMo creado por el Instituto Allen para la Inteligencia Artificial (AllenAI) es uno que encaja en esta categoría.
Para esta lección, nos referiremos a los modelos como "modelos abiertos" en adelante, ya que pueden no cumplir con los criterios mencionados en el momento de escribir esto.
Altamente Personalizables - Dado que los modelos abiertos se publican con información detallada sobre su entrenamiento, los investigadores y desarrolladores pueden modificar los aspectos internos del modelo. Esto permite la creación de modelos altamente especializados que se ajustan para una tarea o área de estudio específica. Algunos ejemplos incluyen generación de código, operaciones matemáticas y biología.
Costo - El costo por token para usar y desplegar estos modelos es menor que el de los modelos propietarios. Al construir aplicaciones de IA generativa, es importante evaluar el rendimiento frente al costo al trabajar con estos modelos para tu caso de uso.
Fuente: Artificial Analysis
Flexibilidad - Trabajar con modelos abiertos permite flexibilidad en términos de usar diferentes modelos o combinarlos. Un ejemplo de esto es el HuggingChat Assistants, donde un usuario puede seleccionar el modelo que se utiliza directamente en la interfaz de usuario:
LLama2, desarrollado por Meta, es un modelo abierto optimizado para aplicaciones basadas en chat. Esto se debe a su método de ajuste fino, que incluyó una gran cantidad de diálogos y retroalimentación humana. Con este método, el modelo produce más resultados alineados con las expectativas humanas, lo que proporciona una mejor experiencia de usuario.
Algunos ejemplos de versiones ajustadas de Llama incluyen Japanese Llama, que se especializa en japonés, y Llama Pro, que es una versión mejorada del modelo base.
Mistral es un modelo abierto con un fuerte enfoque en alto rendimiento y eficiencia. Utiliza el enfoque Mixture-of-Experts, que combina un grupo de modelos expertos especializados en un sistema donde, dependiendo de la entrada, se seleccionan ciertos modelos para ser utilizados. Esto hace que el cálculo sea más efectivo, ya que los modelos solo abordan las entradas en las que están especializados.
Algunos ejemplos de versiones ajustadas de Mistral incluyen BioMistral, que se centra en el ámbito médico, y OpenMath Mistral, que realiza cálculos matemáticos.
Falcon es un LLM creado por el Instituto de Innovación Tecnológica (TII). El Falcon-40B fue entrenado con 40 mil millones de parámetros, lo que ha demostrado un mejor rendimiento que GPT-3 con un presupuesto de cómputo menor. Esto se debe a su uso del algoritmo FlashAttention y atención multiquery, que le permite reducir los requisitos de memoria en el tiempo de inferencia. Con este tiempo de inferencia reducido, el Falcon-40B es adecuado para aplicaciones de chat.
Algunos ejemplos de versiones ajustadas de Falcon son el OpenAssistant, un asistente construido sobre modelos abiertos, y GPT4ALL, que ofrece un rendimiento superior al modelo base.
No hay una única respuesta para elegir un modelo abierto. Un buen lugar para comenzar es usar la función de filtro por tarea de Azure AI Studio. Esto te ayudará a entender qué tipos de tareas ha sido entrenado el modelo. Hugging Face también mantiene un LLM Leaderboard que muestra los modelos con mejor rendimiento según ciertos métricas.
Cuando busques comparar LLMs entre los diferentes tipos, Artificial Analysis es otro gran recurso:
Fuente: Artificial Analysis
Si trabajas en un caso de uso específico, buscar versiones ajustadas que se centren en el mismo área puede ser efectivo. Experimentar con múltiples modelos abiertos para ver cómo se desempeñan según tus expectativas y las de tus usuarios es otra buena práctica.
La mejor parte de los modelos abiertos es que puedes comenzar a trabajar con ellos rápidamente. Consulta el Catálogo de Modelos de Azure AI Foundry, que incluye una colección específica de Hugging Face con los modelos que discutimos aquí.
Después de completar esta lección, consulta nuestra colección de aprendizaje de IA Generativa para seguir ampliando tus conocimientos sobre IA Generativa.
Descargo de responsabilidad:
Este documento ha sido traducido utilizando el servicio de traducción automática Co-op Translator. Aunque nos esforzamos por garantizar la precisión, tenga en cuenta que las traducciones automáticas pueden contener errores o imprecisiones. El documento original en su idioma nativo debe considerarse como la fuente autorizada. Para información crítica, se recomienda una traducción profesional realizada por humanos. No nos hacemos responsables de malentendidos o interpretaciones erróneas que puedan surgir del uso de esta traducción.