El próximo cuello de botella de la IA no es el GPU ni la electricidad: es la memoria RAM, y ya existe el primer chip para resolverlo

Este mes ya cubrimos cómo el cuello de botella de la IA pasó del chip a la electricidad. Hay un tercer límite del que se habla menos, pero que empieza a pesar tanto como los otros dos: la memoria RAM. Un modelo grande como GPT-4 o Claude Opus no solo necesita GPU potentes para procesar — necesita terabytes de memoria disponible para mantener el modelo completo "cargado" y listo para responder. Si el servidor se queda corto de memoria, no importa cuánta potencia de cómputo tenga: no puede atender más usuarios simultáneos ni cargar modelos más grandes, sencillamente porque no hay dónde ponerlos.

La respuesta a ese problema específico llegó el 31 de julio, cuando la empresa china de semiconductores Montage Technology anunció la producción de prueba de lo que describe como el primer chip CXL 3.2 Memory eXpander Controller (MXC) del sector. Para entender qué hace, ayuda separar dos conceptos: CXL (Compute Express Link) es un estándar de conexión de alta velocidad que le permite a un servidor ampliar su memoria disponible conectando módulos externos, en vez de estar limitado a la memoria físicamente instalada junto al procesador. El MXC es el controlador que hace que esa memoria externa funcione como si fuera parte nativa del servidor. En otras palabras: en vez de comprar un servidor nuevo con más RAM cada vez que te quedas corto, le agregas memoria por fuera, a través de esta conexión.

El salto técnico de este chip frente a la generación anterior de CXL es concreto: opera hasta 64 GT/s de velocidad de transferencia, más del doble que CXL 2.0, es compatible con memoria DDR5 de hasta 8.000 MT/s, y usa una interfaz PCIe 6.x. La función que más interesa a quien opera centros de datos a gran escala es lo que se conoce como "memory pooling" — la posibilidad de que varios servidores compartan un mismo banco de memoria externa según la necesiten en cada momento, en vez de que cada servidor tenga su propia memoria fija sobredimensionada "por si acaso". Es, otra vez, la misma lógica de eficiencia que venimos viendo en distintas partes de esta industria: en vez de sobredimensionar cada máquina individualmente, comparte el recurso donde realmente se necesita en cada momento.

El momento de este anuncio no es casual. La presión de costos sobre la industria de IA se intensificó después de que competidores como DeepSeek demostraran que se podían lograr resultados competitivos con arquitecturas más baratas de operar, lo que obligó a todo el sector —incluidos los operadores de centros de datos que corren modelos sobre plataformas de AMD e Intel— a buscar cualquier ventaja de eficiencia disponible, por específica que sea. Ampliar memoria mediante CXL en vez de comprar servidores completamente nuevos con más RAM integrada es exactamente ese tipo de ahorro: resuelve el límite sin duplicar la inversión en todo lo demás.

Como pasa con casi toda esta clase de innovación de hardware, no es algo que vaya a estar disponible en un servidor de entrada mañana mismo — primero llega a los operadores de infraestructura a gran escala, y de ahí, con el tiempo, la presión de costos que genera termina bajando el precio de la memoria y las arquitecturas de servidor en general para todos los demás. Vale la pena tenerlo en el radar no porque vaya a cambiar algo hoy, sino porque es la tercera pieza —después del chip y la energía— de hacia dónde se está moviendo la ingeniería de esta industria: exprimir cada recurso posible antes de simplemente comprar más de todo.