Implementa en PyTorch los cuatro mecanismos de DeepSeek-V3: atención latente multicabeza, mezcla de expertos, balanceo sin pérdida auxiliar y predicción multi-token. Intégralos en una versión compacta que conserva cada uno y entrénala con TinyStories hasta lograr texto coherente. Entiende cada pieza y sabrás por qué funciona.
"Como ingeniero de datos con experiencia en NLP, estoy dando mis primeros pasos en el mundo de los Large Language Models (LLM), un campo que cada vez tiene más impacto en la industria. Recientemente finalicé el curso "Large Language Models", donde se abordaron temas clave sobre su implementación, mejores prácticas y casos de uso reales. Me pareció especialmente valioso por su enfoque práctico en cómo integrar LLM en proyectos del mundo laboral, entendiendo sus alcances, limitaciones y cuándo realmente pueden marcar la diferencia. He venido profundizando en NLP y LLM a través de distintos cursos, y este ha sido un gran complemento para conectar teoría con aplicación. ¡Sigo aprendiendo de este fascinante mundo!"
Daniel Miranda Badillo
AI Factory Data Engineering - BBVA México
"Hoy quiero recomendar con entusiasmo el curso de Large Language Models (LLMs) que tomé recientemente con Actumlogos, impartido por el M. en C. Israel Prado y dirigido por el Dr. Erik Zamora. Exploramos a profundidad cómo funcionan los modelos como GPT, aprendimos a construir chatbots, asistentes de voz, sistemas de RAG, y hasta entrenamos modelos desde cero. Todo con un enfoque técnico, práctico y actual. Si estás en el mundo de la IA, ciencia de datos o simplemente quieres entender (y dominar) lo que mueve al presente y futuro de la tecnología, este curso no puede faltar en tu ruta. Ya van 5 cursos con ellos, y sigo eligiéndolos por su calidad, claridad y pasión por enseñar."