La IA rompe las reglas de la arquitectura de servidores: la memoria ya no quiere vivir dentro de cada máquina
La inteligencia artificial está provocando la mayor transformación estructural en la memoria de los servidores de las últimas décadas. La arquitectura tradicional basada en memoria RAM conectada directamente a la placa base se ha vuelto ineficiente ante las demandas de los grandes modelos de lenguaje. La IA absorberá hasta el 70% de la producción mundial de chips de memoria, impulsando la transición hacia la memoria compartida y descentralizada.
El cuello de botella de la inferencia y la KV Cache
Cuando un modelo genera respuestas en tiempo real, crea una memoria de trabajo llamada KV Cache que crece exponencialmente en servicios con alta concurrencia, superando incluso el tamaño de los pesos del modelo. Al ser la memoria HBM de las GPU sumamente costosa y limitada, los centros de datos se han quedado sin espacio físico en los aceleradores.
Las tecnologías que lideran el cambio
La especificación CXL permite conectar módulos de memoria externamente, con asignación dinámica que eleva la eficiencia de uso desde un 50% hasta más del 85%. Por otro lado, HBM4 y HBM4E apilan verticalmente los troqueles de DRAM mediante vías a través de silicio, alcanzando anchos de banda superiores a 4 TB/s por dispositivo.
Fuentes: Xataka, Rambus Architectural Insights, CXL Consortium, The Next Platform.
