El Groq 3 LPX de Nvidia entra en producción total: 3.400 tokens por segundo y una nueva clase de chip para agentes de IA

Nvidia anunció el lunes que Groq 3 LPX, su acelerador de inferencia de baja latencia, ha entrado en producción total. Construido sobre la arquitectura LPU (Language Processing Unit) que Nvidia absorbió con Groq, el chip no es una GPU: es un motor de generación de tokens diseñado específicamente para acoplarse a la plataforma Vera Rubin y hacer rápidos a los agentes de IA.

El benchmark estrella: ejecutando Gemma 4 31B, el modelo agéntico open source de Google, un sistema Groq 3 LPX entregó 3.400 tokens de salida por segundo en cargas de contexto largo de 100.000 tokens — 4 veces más rápido que la plataforma alternativa más cercana, según Artificial Analysis. Ese matiz del contexto largo importa. Generar rápido con un prompt corto es fácil; sostener el rendimiento cuando el modelo arrastra 100.000 tokens de historial de agente en cada paso de decodificación es el problema difícil, y es exactamente la forma de las cargas agénticas reales.

División del trabajo a escala de rack

La arquitectura es explícita en su especialización. Las GPUs Vera Rubin se encargan del prefill, el trabajo paralelo y ligado a cómputo de ingerir el contexto. Groq 3 LPX se encarga del decode, el trabajo serial y ligado a latencia de generar tokens uno a uno. Un sistema completo empaqueta 32 bandejas 1U con refrigeración líquida, cada una con ocho LPUs de tercera generación: 256 aceleradores por rack conectados con enlaces directos chip a chip.

Nvidia lo llama “extreme codesign”, y disuelve el clásico dilema entre velocidad y throughput: ya no eliges entre un sistema afinado para eficiencia por lotes y otro afinado para latencia interactiva. Para los agentes —que iteran generar, llamar herramienta, leer resultado, volver a generar, docenas de veces por tarea— la latencia de decodificación se acumula en cada vuelta. Redúcela 4 veces y un agente que tardaba dos minutos termina en treinta segundos.

Nebius es la primera nube de IA en adoptar el chip; CoreWeave despliega el networking Spectrum-X que lo acompaña. No se reveló el precio.

SpaceX pone CPUs Vera en órbita

El anuncio paralelo es más extraño y quizá mayor: la división de IA de SpaceX desplegará las CPUs Vera de Nvidia para la mitad no-GPU de la IA agéntica —orquestación, uso de herramientas, ejecución de código, procesamiento de datos, simulación—, escalando “desde centros de datos terrestres hasta satélites orbitales”. El cómputo en órbita tiene un atractivo obvio para una compañía que ya opera miles de satélites con energía solar y refrigeración gratis, pero ejecutar orquestación de agentes fuera del planeta es un objetivo de despliegue genuinamente nuevo.

La lectura estratégica: Nvidia pasó dos años viendo a las startups especialistas en inferencia —Groq antes de la adquisición, Cerebras, Etched— reclamar ventajas de un orden de magnitud en generación de tokens. El CS-4 de Cerebras se lanzó la semana pasada prometiendo 30x sobre las GPUs. Groq 3 LPX es la respuesta de Nvidia, y es característicamente contundente: en lugar de defender el honor de la GPU, Nvidia simplemente añadió la arquitectura rival a su propia plataforma. El foso nunca fue solo CUDA. Es que toda respuesta creíble a Nvidia ahora se vende dentro de un rack de Nvidia.

Fuentes

• NVIDIA Blog
• SiliconANGLE