Meta abrió los pesos de su modelo de 816B parámetros y Nvidia lanzó el mismo día un modelo multimodal de 120B para agentes en servidor propio

El 15 de octubre Meta publicó en Hugging Face los pesos de Muse Spark Open bajo el identificador Muse-Spark-Open-816B-A42B. Horas después Nvidia lanzó Nemotron 3.5 Super VL en el mismo repositorio público. Los dos modelos coinciden en algo que hace unos meses era impensable: calidad de frontera con pesos descargables, ventanas de contexto muy amplias y una arquitectura que hace que el hardware real necesario sea mucho menor de lo que el número de parámetros sugiere.

Por qué el número de parámetros no es el número que importa

Ambos modelos son de mezcla de expertos (Mixture of Experts, MoE). La diferencia con un modelo denso es que no todos los parámetros se activan con cada token: el modelo los agrupa en expertos especializados y para cada token solo usa un subconjunto de ellos.

Muse Spark Open tiene 816 mil millones de parámetros en total, pero solo 42 mil millones activos por paso. Nemotron 3.5 Super VL tiene 120 mil millones en total y 12 mil millones activos.

Eso cambia completamente el cálculo de hardware. En un modelo denso, los parámetros activos y los totales son el mismo número; en MoE, todos los pesos tienen que estar en memoria (porque no sabés de antemano qué experto va a usar cada token), pero el cómputo real por token solo toca la fracción activa. El resultado es que el costo de inferencia se parece al de un modelo de 42B o 12B, no al de uno de 816B o 120B.

Muse Spark Open: el modelo de frontera que cabe en tu escritorio

Meta diseñó Muse Spark Open para correr en dos a cuatro Mac Studios M5 Ultra conectados entre sí mediante el nuevo protocolo de interconexión de Apple. Cada unidad aporta una cantidad considerable de memoria unificada, de modo que la suma de varias unidades conectadas alcanza el volumen de RAM necesario para alojar el modelo completo.

Con cuantización a 4 bits, los 816 mil millones de parámetros pesan alrededor de 408 GB — dentro del rango de cuatro Mac Studios y holgado con dos para las variantes más comprimidas que Meta publicó junto al modelo base.

Meta lo presenta como uno de los modelos de pesos abiertos más capaces desarrollados en Estados Unidos hasta la fecha. La ventana de contexto es de un millón de tokens, lo que en la práctica equivale a procesar un libro de varios cientos de páginas en una sola consulta.

La licencia no es Apache 2.0 ni MIT: Meta usa la Muse Model License, que tiene sus propias condiciones para uso comercial. Antes de construir un producto encima, vale la pena leer los términos, no asumir que pesos abiertos equivale a uso irrestricto.

Nemotron 3.5 Super VL: 120B parámetros, visión integrada y diseñado para agentes

Nvidia tomó una dirección diferente. Nemotron 3.5 Super VL es multimodal desde el diseño (el VL del nombre es Vision-Language), con 120 mil millones de parámetros totales y 12 mil millones activos, bajo una licencia de pesos abiertos propia de Nvidia.

La arquitectura usa un backbone híbrido Mamba-Transformer. Mamba reemplaza los bloques de atención en parte de la red: mientras que la atención escala cuadráticamente con la longitud del contexto (duplicar el contexto cuadruplica el cómputo), Mamba escala de forma lineal. Para agentes que procesan contextos largos — logs, capturas de pantalla, documentos, estados acumulados — eso no es una mejora marginal.

Nvidia afirma hasta 5 veces más throughput que modelos abiertos comparables. El número es de Nvidia y no había reproducciones independientes al momento del lanzamiento, pero la mecánica está bien documentada: la ventaja de Mamba sobre la atención cuadrática crece a medida que los contextos se alargan, no es un multiplicador fijo.

El mismo día llegaron dos modelos adicionales de la familia: Bolt 74B-A9B (74 mil millones totales, 9 mil millones activos) y un build E4B para borde (edge), pensado para dispositivos con recursos limitados. Los pesos están en Hugging Face en dos formatos: BF16 y NVFP4.

Con 12 mil millones de parámetros activos y cuantización NVFP4, Nemotron 3.5 Super VL puede correr en un servidor con una sola GPU H100 de 80 GB.

Qué significa tener dos de estos modelos disponibles el mismo día

Hace seis meses, si querías un modelo de razonamiento con contexto de un millón de tokens y capacidades multimodales, tu única opción práctica era la API de un hiperscalador. Hoy tenés dos: uno de Meta, uno de Nvidia, con pesos públicos, arquitecturas que reducen el cómputo activo y licencias que (con la lectura correcta de los términos) permiten uso propio.

Eso no elimina la nube para todos los casos. Si necesitás procesar miles de consultas concurrentes o no querés gestionar infraestructura, una API sigue siendo la opción más sencilla. Pero para empresas con datos sensibles que no pueden salir del entorno propio, para proyectos de investigación, o para quien necesita previsibilidad de costos a largo plazo, la ecuación cambió.

Un servidor dedicado con 4× H100 (320 GB de VRAM total) puede correr Nemotron 3.5 Super VL en full BF16 con margen. Una configuración de 4× H200 (564 GB) corre el modelo de Meta en variantes cuantizadas. El hardware sigue siendo caro, pero ya no es el hardware de un data center entero: es una máquina que entra en un rack.