diff --git "a/pages/blog/El Panorama de la Inteligencia Artificial en Me\314\201xico.md" "b/pages/blog/El Panorama de la Inteligencia Artificial en Me\314\201xico.md"
new file mode 100644
index 00000000..d60a47aa
--- /dev/null
+++ "b/pages/blog/El Panorama de la Inteligencia Artificial en Me\314\201xico.md"	
@@ -0,0 +1,76 @@
+Este artículo aborda el estado actual de la Inteligencia Artificial (IA) en México, enfocándose en su desarrollo e implementación tanto en el sector empresarial como en el gubernamental.
+
+Quiero excluir de este articulo a los chicos de Eigen Core, su trabajo es más investigativo y está en una fase temprana, desde aquí les deseo el mayor de los éxitos.
+
+Diversas empresas con considerable capacidad financiera han comenzado a implementar soluciones de "inteligencia artificial". Según datos de la firma de análisis SAS, hacia finales de 2024 en México, se estima que el 44% de las empresas estaban iniciando el uso de IA generativa. Sin embargo, el mismo estudio señala que un 92% de los ejecutivos responsables del área de tecnología manifestaron no comprenderla completamente, y un 40% admitió no haber encontrado aún usos prácticos significativos para ella 
+
+[https://forbes.com.mx/estas-son-las-barreras-de-empresas-en-mexico-ante-la-inteligencia-artificial-generativa/](https://forbes.com.mx/estas-son-las-barreras-de-empresas-en-mexico-ante-la-inteligencia-artificial-generativa/)
+
+**Implementaciones Actuales de IA en México**
+
+En el contexto mexicano, la adopción de tecnologías de inteligencia artificial (IA) ha mostrado un crecimiento notable, pero las implementaciones actuales tienden a centrarse en aplicaciones de funcionalidad básica. Un ejemplo representativo son los chatbots basados en Modelos de Lenguaje Grandes (LLM), que se utilizan principalmente para proporcionar información general al cliente, responder preguntas frecuentes o gestionar interacciones iniciales en servicios de atención. Aunque estas soluciones representan un avance en la digitalización de procesos, su alcance es limitado y no aprovecha plenamente las capacidades transformadoras de la IA. Aplicaciones más avanzadas, como la optimización de procesos internos, la automatización de tareas repetitivas para mejorar la eficiencia de los empleados o el uso de herramientas de IA para respaldar la toma de decisiones estratégicas, siguen siendo poco comunes en el ecosistema empresarial mexicano.
+
+Esta tendencia puede atribuirse a varios factores, incluyendo la falta de infraestructura tecnológica avanzada, la escasez de talento especializado en IA y una comprensión limitada del potencial estratégico de estas tecnologías en los niveles directivos. Como resultado, muchas organizaciones optan por implementar soluciones de IA de bajo riesgo y rápida integración, en lugar de invertir en proyectos más ambiciosos que requieran una reestructuración organizacional o una inversión significativa en capacitación y tecnología.
+
+**Limitaciones en la Adopción de Tecnologías Avanzadas**
+
+En cuanto a implementaciones más sofisticadas, como los agentes de IA autónomos capaces de realizar tareas complejas con un alto grado de independencia, su adopción en México permanece en una etapa incipiente. Estos agentes, que pueden analizar grandes volúmenes de datos, tomar decisiones en tiempo real y adaptarse a contextos dinámicos, representan el siguiente nivel en la evolución de la IA y están comenzando a transformar industrias en mercados más desarrollados, como los de Estados Unidos y China . Sin embargo, en el panorama mexicano, barreras como el acceso limitado a tecnologías de punta, los altos costos de implementación y la falta de marcos regulatorios claros restringen su despliegue.
+
+Esta lenta adopción plantea un riesgo significativo para la competitividad de las organizaciones mexicanas. En un entorno global donde la IA está redefiniendo sectores como la manufactura, la logística, la salud y las finanzas, las empresas que no logren integrar estas tecnologías de manera estratégica corren el riesgo de quedar rezagadas. Para cuando las organizaciones mexicanas alcancen un nivel de madurez en el uso de la IA, es probable que esta tecnología ya sea un estándar en otros mercados, otorgando a las empresas extranjeras una ventaja competitiva considerable en términos de eficiencia, innovación y capacidad de respuesta al cliente.
+
+**¿Cuál es el papel del gobierno en este escenario?** 
+
+En los últimos años, se ha informado sobre la intención del gobierno mexicano de regular la inteligencia artificial (IA), inspirándose en modelos como el de la Unión Europea, que ha implementado marcos normativos rigurosos, como el Reglamento General de Protección de Datos (GDPR) y la propuesta de Ley de Inteligencia Artificial. Sin embargo, esta aproximación ha generado un intenso debate entre expertos, académicos y actores del sector tecnológico. Mientras algunos defienden la necesidad de establecer regulaciones para garantizar un desarrollo ético, seguro y equitativo de la IA, otros advierten que un enfoque excesivamente restrictivo o mal diseñado podría tener consecuencias adversas para el ecosistema tecnológico mexicano.
+
+El modelo europeo, aunque pionero en la protección de derechos digitales, ha sido criticado por algunos analistas por su impacto en el ritmo de innovación en IA. Estudios sugieren que las estrictas normativas de la Unión Europea han incrementado los costos de cumplimiento para las empresas, lo que, en ciertos casos, ha limitado la capacidad de las startups y pequeñas empresas para competir con gigantes tecnológicos globales. En el contexto mexicano, donde el ecosistema de IA aún se encuentra en una etapa incipiente, con un número limitado de empresas especializadas, una infraestructura tecnológica en desarrollo y una brecha significativa en la formación de talento especializado, estas preocupaciones adquieren especial relevancia.
+
+Una regulación inadecuada podría generar diversos riesgos. En primer lugar, podría desincentivar la inversión extranjera y nacional en el sector, ya que las empresas podrían percibir un entorno normativo incierto o excesivamente oneroso. En segundo lugar, una normativa que no contemple las particularidades del contexto mexicano como la necesidad de fortalecer la infraestructura digital, incluidos centros de datos de alta capacidad, y de fomentar la investigación en universidades y centros tecnológicos podría frenar el desarrollo de soluciones de IA adaptadas a las necesidades del país, como la mejora de servicios públicos, la optimización de sectores productivos o la inclusión digital. Finalmente, la falta de un proceso inclusivo en el diseño de la regulación, que incorpore las perspectivas de expertos en IA, empresarios, académicos y la sociedad civil, podría resultar en políticas desalineadas con los objetivos de crecimiento económico y competitividad global.
+
+Por ello, el papel del gobierno debe ser equilibrado y estratégico. Más allá de establecer restricciones, la regulación debería priorizar la creación de un entorno habilitador que fomente la innovación, atraiga inversión y promueva el desarrollo de capacidades locales. Esto podría incluir incentivos fiscales para la instalación de infraestructura tecnológica, programas de formación en habilidades digitales y alianzas público-privadas para impulsar proyectos de IA con impacto social. Asimismo, el gobierno debería garantizar que cualquier marco normativo sea flexible, basado en evidencia y adaptable a los rápidos avances del campo de la IA, evitando replicar modelos extranjeros sin un análisis crítico de sus implicaciones en el contexto nacional.
+
+[https://www.realinstitutoelcano.org/analisis/la-inteligencia-artificial-en-riesgo-en-la-union-europea-no-es-la-regulacion-es-la-implementacion/](https://www.realinstitutoelcano.org/analisis/la-inteligencia-artificial-en-riesgo-en-la-union-europea-no-es-la-regulacion-es-la-implementacion/)
+
+[https://comunicagenia.com/blog/regulacion-ia-ue-freno-innovacion/](https://comunicagenia.com/blog/regulacion-ia-ue-freno-innovacion/)
+
+[https://www.record.com.mx/contra/prohiben-la-inteligencia-artificial-en-mexico-esto-se-sabe](https://www.record.com.mx/contra/prohiben-la-inteligencia-artificial-en-mexico-esto-se-sabe)
+
+[https://comunicacionsocial.diputados.gob.mx/index.php/notilegis/diputadas-y-diputados-de-morena-y-pvem-impulsan-la-creacion-de-la-ley-federal-para-el-desarrollo-tico-soberano-e-inclusivo-de-la-inteligencia-artificial-en-mexico-](https://comunicacionsocial.diputados.gob.mx/index.php/notilegis/diputadas-y-diputados-de-morena-y-pvem-impulsan-la-creacion-de-la-ley-federal-para-el-desarrollo-tico-soberano-e-inclusivo-de-la-inteligencia-artificial-en-mexico-)
+
+[https://ricardomonrealavila.com/wp-content/uploads/2024/04/Exposicion-de-motivos-para-publicacion.pdf](https://ricardomonrealavila.com/wp-content/uploads/2024/04/Exposicion-de-motivos-para-publicacion.pdf)
+
+Frente a este panorama, se proponen algunas líneas de acción para impulsar el desarrollo y la adopción efectiva de la IA en México, buscando alcanzar un nivel competitivo:
+
+**Desde el Gobierno:** 
+
+El gobierno debe de desempeñar un papel crucial en el ecosistema de IA del país, y sus políticas deben equilibrar la innovación con la protección de los derechos ciudadanos. Para ello, propongo las siguientes acciones:
+
+- **Fomentar la Investigación y el Desarrollo (I+D)**: Establecer programas de financiamiento y subsidios para empresas nacionales, especialmente startups y pequeñas y medianas empresas (PyMEs), que desarrollen soluciones de IA innovadoras. Esto podría incluir fondos para la creación de centros de investigación aplicada en IA, en colaboración con universidades y la industria, enfocados en sectores estratégicos como salud, educación, agricultura y manufactura.
+- **Diseñar un Marco Regulatorio Equilibrado**: Crear un entorno normativo que incentive la innovación sin imponer barreras excesivas. Esto implica desarrollar regulaciones flexibles, basadas en evidencia y adaptadas al contexto mexicano, evitando replicar modelos extranjeros sin un análisis crítico.
+- **Establecer un Comité Consultivo Multidisciplinario**: Conformar un organismo permanente que integre a expertos técnicos en IA, académicos y representantes de la industria. Este comité tendría la responsabilidad de asesorar en la formulación de políticas, garantizar que las regulaciones sean técnicamente sólidas y alinearlas con los objetivos de competitividad global. Es fundamental que las decisiones normativas estén basadas en conocimiento técnico y no en consideraciones políticas ajenas al ámbito tecnológico.
+- **Incentivar la Infraestructura Tecnológica**: Promover la inversión en infraestructura clave, como centros de datos de alta capacidad y redes de conectividad de última generación, mediante incentivos fiscales y asociaciones público-privadas. Esto facilitaría la adopción de tecnologías avanzadas de IA y reduciría la dependencia de infraestructura extranjera.
+
+**Desde las Empresas Privadas:**
+
+Las empresas privadas, como motores de innovación y crecimiento económico, deben trascender las implementaciones superficiales de IA y apostar por soluciones que generen un impacto significativo. Las siguientes acciones son clave:
+
+- **Inversión en Talento Especializado**: Contratar y formar profesionales en IA, incluyendo científicos de datos, ingenieros de machine learning, etc. Las empresas deben priorizar la creación de equipos interdisciplinarios capaces de desarrollar soluciones personalizadas que aborden necesidades específicas, como la automatización de procesos, la optimización de la cadena de suministro o el análisis predictivo para la toma de decisiones.
+- **Implementación de Soluciones de Alto Valor**: Ir más allá de aplicaciones básicas, como chatbots de atención al cliente, y explorar casos de uso avanzados que mejoren la eficiencia operativa y la competitividad. Por ejemplo, los agentes de IA autónomos pueden automatizar tareas complejas, como la gestión de inventarios en tiempo real, automatizar tareas repetitivas, etc.
+- **Capacitación Continua del Personal**: Implementar programas de formación interna para que los empleados dominen herramientas de IA y las integren efectivamente en sus flujos de trabajo. Esto no solo aumenta la productividad, sino que también fomenta una cultura de innovación y adaptación tecnológica dentro de la organización.
+- **Colaboración con Ecosistemas de Innovación**: Establecer alianzas con startups, universidades y centros de investigación para co-desarrollar soluciones de IA que respondan a desafíos específicos del mercado mexicano. Estas colaboraciones pueden acelerar la adopción de tecnologías avanzadas y reducir los costos asociados a la I+D.
+
+**Desde las Universidades:**
+
+Las universidades tienen la responsabilidad de formar profesionales capaces de liderar la transformación tecnológica y de promover un uso ético y estratégico de la IA. Las siguientes propuestas buscan integrar la IA de manera integral en la educación superior:
+
+- **Integración Transversal de la IA en los Planes de Estudio**: Incorporar la enseñanza de fundamentos de IA en todas las disciplinas, no solo en carreras técnicas. Por ejemplo, los estudiantes de ciencias sociales pueden aprender a utilizar herramientas de análisis de datos basadas en IA, mientras que los de negocios pueden explorar su aplicación en la toma de decisiones estratégicas. Esto asegura que los egresados estén preparados para un entorno laboral donde la IA es omnipresente.
+- **Promoción del Uso Ético y Productivo de la IA**: En lugar de restringir el uso de herramientas como los Modelos de Lenguaje Grandes (LLM), las universidades deben educar a los estudiantes sobre cómo emplearlas de manera responsable para potenciar su aprendizaje. Esto incluye enseñarles a utilizar la IA como una herramienta de apoyo para la investigación, la redacción o el análisis, mientras se fomenta el pensamiento crítico y la capacidad de evaluar los resultados generados por estas tecnologías.
+- **Formación en Competencias Estratégicas**: Preparar a los estudiantes para diferenciarse en un mercado laboral competitivo mediante el desarrollo de habilidades como el análisis crítico, la resolución creativa de problemas y la aplicación estratégica de la IA. Las universidades deben enfatizar la importancia de combinar conocimientos técnicos con una comprensión profunda de los contextos éticos y sociales en los que se implementa la IA.
+- **Fomento de la Investigación y la Innovación**: Establecer centros de investigación en IA que trabajen en proyectos con impacto social, como el desarrollo de soluciones para la implementación de la IA, la mejora de servicios públicos o la sostenibilidad ambiental. Estos centros pueden servir como puentes entre la academia y la industria, promoviendo la transferencia de conocimiento y la creación de soluciones innovadoras.
+
+En conclusión, la adopción de la inteligencia artificial (IA) en México ha mostrado avances significativos o pocos avances según la opinión, pero aún enfrenta desafíos críticos que limitan su impacto transformador. En el ámbito empresarial, la implementación de la IA tiende a centrarse en aplicaciones básicas, como chatbots o herramientas de atención al cliente, en lugar de soluciones avanzadas que optimicen procesos estratégicos, automaticen tareas complejas o impulsen la toma de decisiones basada en datos. Por su parte, el enfoque regulatorio gubernamental, aunque bien intencionado o mal intencionado según el político de turno, corre el riesgo de imponer restricciones que desalienten la innovación si no se diseña con un equilibrio entre la ética, la seguridad y la competitividad. Estos obstáculos, combinados con la escasez de talento especializado y una infraestructura tecnológica en desarrollo, subrayan la necesidad de un enfoque coordinado y estratégico para posicionar a México como un actor relevante en la economía global impulsada por la IA.
+
+Este análisis y las propuestas presentadas buscan contribuir a la discusión sobre el papel de la IA en el futuro de México, un tema de importancia estratégica para el desarrollo del país. Al abordar los desafíos actuales con un enfoque colaborativo y proactivo, México tiene la oportunidad de no solo adoptar la IA, sino de convertirse en un referente en su desarrollo y aplicación en Latinoamérica y países emergentes, generando beneficios económicos, sociales y tecnológicos que posicionen al país como un líder en la era digital. El éxito de esta transformación dependerá de la capacidad de todos los actores involucrados para trabajar de manera conjunta, priorizando la innovación responsable y la competitividad global.
+
+**Opinión**
+
+Las empresas grandes de México están haciendo muy poco por mejorar su productividad, no aprovechando tecnología como la IA por ejemplo, pero cuando hacen un chatbot con LLM lo venden como la octava maravilla del mundo y que le puedes preguntar cual es el mejor cemento para tu alberca, algo que ya hace chatgpt sin problemas y sin modificaciones, pero prefieren mejor hacer lo mínimo que hacer cosas realmente innovadoras que destaquen entre la competencia, y por otra parte el gobierno no hace nada, bueno si hace, trata de regular y controlar la IA del país, como quiera hacer con otros hábitos de la nación, algo que me da miedo, miedo que el gobierno quiera controlar tanta cosas y que no sabemos como la van a controlar y porque ellos son los adecuados, sin ningún experto en la materia y con el historial del gobierno mexicano del aquel entonces priista haciendo cosas similares al actual, dan un espejismo bastante pertubador y que salió nada bien en aquel entonces del siglo pasado, ojala me equivoque, ojala que el gobierno no meta su política en la IA y otros hábitos del país y dejen que la gente que sabe haga las cosas bien, también espero que las universidades capaciten bien a sus estudiantes en temas IA y como pueden aprovechar estás nuevas tecnologías para sus trabajos y hasta podemos decir en algunas cosas de la vida y que no haiga brecha tan radical de educación pública a la privada. Quizás pido mucho pero espero que todo salga bien y que México pueda tener éxito en la inteligencia artificial y no fracasar como lo hizo en la era digital, pero siento que no a hacer así, seguramente tendremos una era de inteligencia artificial mediocre y muy alejado a lo México puede hacer, con proyectos y implementaciones conformistas y que una vez más, México se quede muy por debajo de otros países que si supieron aprovechan la siguiente revolución y posiblemente no sea la última vez que pasé. 
\ No newline at end of file
diff --git a/pages/blog/El simple The Ultra-Scale Playbook.md b/pages/blog/El simple The Ultra-Scale Playbook.md
new file mode 100644
index 00000000..f853fc8e
--- /dev/null
+++ b/pages/blog/El simple The Ultra-Scale Playbook.md	
@@ -0,0 +1,50 @@
+**El simple The Ultra-Scale Playbook**
+
+Entrenar Modelos de Lenguaje Grandes (LLMs) como los que vemos hoy en día requiere una cantidad enorme de poder computacional y memoria. Si bien empezar con una sola GPU es el primer paso, escalar a miles de GPUs presenta desafíos significativos, especialmente problemas de memoria. Este artículo explora cómo abordamos estos desafíos utilizando diversas técnicas de paralelismo y optimización.
+
+**El Proceso Básico de Entrenamiento y el Problema de la Memoria**
+
+En esencia, el entrenamiento de un modelo en una sola GPU consta de tres pasos:
+
+1. **Paso hacia adelante (Forward Pass):** La entrada pasa por el modelo para obtener una salida.
+2. **Paso hacia atrás (Backward Pass):** Se calculan los gradientes, que indican cómo ajustar los parámetros del modelo.
+3. **Paso de optimización (Optimization):** Se usan los gradientes para actualizar los parámetros del modelo.
+
+El problema es que, a medida que los modelos y los tamaños de los lotes (batch sizes) crecen, la memoria de la GPU se agota. 
+
+**¿Qué consume esta memoria? **
+
+Principalmente, **los parámetros del modelo (weights), los gradientes (gradients), los estados del optimizador (optimizer states) y las activaciones (activations)**. Los parámetros, gradientes y estados del optimizador pueden sumar gigabytes rápidamente para modelos grandes. Las activaciones, que son los resultados intermedios del paso hacia adelante necesarios para calcular gradientes durante el paso hacia atrás, son particularmente problemáticas porque su memoria requerida escala con la longitud de la secuencia y el tamaño del lote (batch size).
+
+El tamaño del lote (batch size) es un hiperparámetro clave. Se reporta comúnmente en tokens, y para LLMs recientes, un punto ideal está en el rango de 4-60 millones de tokens por lote. Lograr tamaños de lote tan grandes con memoria limitada es uno de los primeros retos.
+
+**Primeras Técnicas para Manejar la Memoria**
+
+1. **Recomputación de Activaciones (Activation Recomputation):** Para "domar" la "explosión de activaciones", podemos optar por no almacenar todas las activaciones del paso hacia adelante. En su lugar, algunas se recomputan durante el paso hacia atrás cuando son necesarias. La estrategia "full" recomputa casi todo, ahorrando mucha memoria pero aumentando el costo computacional. Estrategias "selective" recomputan solo las activaciones más costosas de almacenar. Aunque aumenta un poco los FLOPS (operaciones de punto flotante), reduce significativamente los accesos a memoria, lo que a menudo resulta en una computación más rápida en GPUs. FlashAttention, una optimización común para el mecanismo de atención, integra la recomputación.
+2. **Acumulación de Gradientes (Gradient Accumulation):** Esta es una técnica sencilla para simular un lote grande dividiéndolo en "micro-lotes". Realizamos pasos hacia adelante y hacia atrás para cada micro-lote, acumulando los gradientes. Solo después de procesar todos los micro-lotes, realizamos un único paso de optimización con los gradientes acumulados. Esto nos permite usar un tamaño de lote efectivo (global batch size) mayor del que cabría en la memoria de una sola GPU, a costa de tiempo de cálculo adicional por la sequentialidad.
+
+**Escalando a Múltiples GPUs: Paralelismo**
+
+Cuando una sola GPU ya no es suficiente, necesitamos distribuir el entrenamiento a través de múltiples dispositivos. Aquí entran las técnicas de paralelismo:
+
+1. **Paralelismo de Datos (Data Parallelism - DP):** Esta es una extensión natural de la acumulación de gradientes, pero paralela. El modelo se replica en varias GPUs. Cada GPU procesa un micro-lote de datos diferente en paralelo. Para mantener las réplicas del modelo sincronizadas, los gradientes calculados en cada GPU se promedian usando una operación llamada "all-reduce" antes del paso del optimizador. Es crucial solapar (overlap) la computación del paso hacia atrás con la comunicación del "all-reduce" para no dejar las GPUs inactivas. DP es la primera dimensión del paralelismo (1D). La desventaja principal es que la memoria por GPU sigue siendo la misma.
+2. **ZeRO (Zero Redundancy Optimizer):** DP ayuda a escalar el *tamaño del lote*, pero si el modelo *en sí mismo* no cabe en una sola GPU, necesitamos otra solución. ZeRO aborda esto eliminando la redundancia en los parámetros, gradientes y estados del optimizador a través de las réplicas de DP. En lugar de que cada GPU almacene copias completas de estos elementos, ZeRO los "shardea" (divide) entre las GPUs en el grupo de DP. ZeRO-3 es la etapa más agresiva, shardeando parámetros, gradientes y estados del optimizador. Esto reduce significativamente la memoria necesaria por GPU para estos elementos. Sin embargo, ZeRO **no sharde las activaciones**.
+3. **Paralelismo de Tensores (Tensor Parallelism - TP):** Para sharder también las activaciones, usamos TP. TP divide los tensores (como las matrices de pesos y las activaciones) en fragmentos más pequeños a lo largo de alguna dimensión (por ejemplo, la dimensión oculta) y distribuye estos fragmentos a diferentes GPUs. Las operaciones como la multiplicación de matrices se realizan en paralelo en los fragmentos. Esto requiere comunicación entre GPUs para ciertas operaciones, como "all-gather" o "reduce-scatter", que a veces son difíciles de solapar completamente. TP reduce la memoria para parámetros, gradientes, estados del optimizador y, crucialmente, **activaciones**. Sin embargo, ciertas operaciones como LayerNorm y Dropout requieren acceso a la dimensión oculta completa, necesitando reagrupar activaciones.
+4. **Paralelismo de Secuencia (Sequence Parallelism - SP):** SP es un complemento natural a TP. Aborda las operaciones que TP no sharde completamente, como LayerNorm y Dropout. En lugar de sharder a lo largo de la dimensión oculta como TP, SP sharde las activaciones de estas operaciones a lo largo de la dimensión de la *secuencia de entrada*. Esto permite reducir aún más la memoria de activación máxima, ayudando a acomodar lotes y secuencias más grandes. SP se usa junto con TP.
+5. **Paralelismo de Contexto (Context Parallelism - CP):** Dirigido a entrenar con secuencias *muy* largas (por ejemplo, 128k+ tokens). CP también sharde la secuencia de entrada a lo largo de las GPUs, similar a SP, pero se aplica a módulos donde ya se usa TP. El desafío principal es la capa de atención, ya que cada token necesita información de otros tokens en la secuencia completa. Una técnica clave para manejar la comunicación de atención en CP es "Ring Attention", que distribuye el cálculo de atención e intercambio de datos clave/valor (KV) en un patrón de anillo eficiente. CP ayuda a reducir la memoria de activación para secuencias largas.
+6. **Paralelismo de Pipeline (Pipeline Parallelism - PP):** PP es útil cuando el modelo es tan grande que no cabe en la memoria de un solo *nodo* (un grupo de GPUs con interconexión rápida, como 8 GPUs en un servidor). PP divide las *capas* del modelo a través de diferentes GPUs o nodos. Por ejemplo, las capas 1-4 en GPU 1, las capas 5-8 en GPU 2, y así sucesivamente. Esto distribuye la memoria necesaria para los parámetros del modelo. La comunicación en PP consiste en pasar las activaciones de las últimas capas de una GPU a las primeras capas de la siguiente GPU en el pipeline. El principal desafío es el "bubble" o tiempo inactivo que ocurre porque las GPUs deben esperar las activaciones de la GPU anterior para empezar su trabajo. Se han desarrollado varios "horarios" o esquemas de PP (como one-forward-one-backward, interleaved stages) para reducir este bubble y mejorar la eficiencia. PP tiende a escalar mejor a través de nodos que TP debido a menores requisitos de ancho de banda de interconexión.
+7. **Paralelismo de Expertos (Expert Parallelism - EP):** Específico para arquitecturas de modelos "Mixture-of-Experts" (MoE). En modelos MoE, algunas capas tienen múltiples "expertos" (módulos de feedforward paralelos) y se enrutan tokens a uno o varios expertos. EP consiste en colocar estos expertos en diferentes GPUs. Como los expertos operan de forma independiente en un token dado, esto es relativamente sencillo comparado con TP, requiriendo principalmente enrutar los "hidden states" de los tokens al experto correcto usando una operación "all-to-all". EP a menudo se combina con DP. Permite escalar la capacidad del modelo al tener muchos expertos distribuidos.
+
+**Combinando y Optimizando**
+
+Estas técnicas de paralelismo a menudo se combinan (formando lo que se llama "paralelismo 5D"). Por ejemplo, se puede usar TP dentro de un nodo (donde la comunicación es rápida), y PP o ZeRO-3 a través de nodos (donde la comunicación es más lenta). CP se añade para secuencias muy largas y EP para modelos MoE.
+
+Además de la organización del paralelismo, la eficiencia también depende de optimizaciones de bajo nivel en la GPU:
+
+- **Fused Kernels:** Combinar varias operaciones sucesivas en una sola tarea para la GPU reduce la sobrecarga y el movimiento de datos entre memorias.
+- **Flash Attention:** Un ejemplo maestro de un kernel fusionado que optimiza el cálculo de atención al evitar materializar matrices grandes en la memoria global lenta de la GPU.
+- **Entrenamiento de Precisión Mixta (Mixed Precision Training):** Usar formatos numéricos de menor precisión (como BF16 o el experimental FP8) en lugar de FP32 para los cálculos del paso hacia adelante/atrás. Esto reduce el uso de memoria y permite usar hardware optimizado (Tensor Cores), aunque requiere técnicas para mantener la estabilidad numérica (como escalamiento de pérdida y acumulación en mayor precisión). FP8 promete mayor velocidad pero presenta desafíos de estabilidad.
+
+Encontrar la configuración óptima de paralelismo, tamaños de lote y micro-lotes, y optimizaciones de bajo nivel es un proceso complejo que a menudo requiere experimentar y hacer benchmarks (mediciones de rendimiento) en el clúster de GPUs específico. No hay una única "bala de plata"; la mejor configuración depende del tamaño del modelo, el tamaño del clúster y la arquitectura de red.
+
+En resumen, entrenar LLMs gigantes es un arte y una ciencia que combina estrategias de alto nivel para distribuir el trabajo y la memoria a través de miles de GPUs con optimizaciones de bajo nivel para exprimir cada ciclo de la GPU. No hay una única "solución" el arte recabe en elegir la mejor configuración para conseguir el mejor LLM, un LLM que se diferencie de los demás.
\ No newline at end of file