La IA se chocó contra el límite de la memoria: ahora necesita un nuevo nivel de contexto.

Presentado por Solidigm A medida que las cargas de trabajo de inferencia evolucionan de intercambios discretos de preguntas y respuestas a sistemas agentes persistentes y de múltiples pasos, la disponibilidad de GPU ya no es el cuello de botella más crítico de la IA. En cambio, el cuello de botella se ha trasladado de la computación al contexto, dice Jeff Harthorn, líder de investigación aplicada de IA en Solidigm. "Por qué la gestión del contexto se ha convertido en un cuello de botella principal, más que la disponibilidad de GPU o la eficiencia de computación, es la pregunta de 2026", dice Harthorn. "Las GPU se han vuelto dramáticamente más baratas por FLOP. Las arquitecturas de modelos y los motores de servicio de inferencia se han vuelto mucho más eficientes. Pero lo que ha crecido más rápido que ambos es el contexto. El estado persistente que debe vivir entre sesiones ha crecido incluso más rápido que el propio contexto." Esto sucede a medida que las ventanas de contexto crecen drásticamente, haciendo que las entradas individuales sean mucho más grandes que antes. Los sistemas de IA agentes encadenan docenas o cientos de llamadas a modelos, cada una generando un estado que debe ser rastreado, y las empresas requieren que el estado de inferencia persista a través de sesiones para auditoría, gobernanza y reutilización. Estas tendencias se combinan, empujando los volúmenes de contexto más allá de lo que cualquier nivel de memoria existente fue diseñado para manejar. "Esas tres cosas están ocurriendo al mismo tiempo, lo que empuja los datos de contexto y la memoria de contexto a la estratósfera mucho más rápido de lo que estamos acostumbrados a ver", añade Ace Stryker, director de marketing de IA y ecosistemas en Solidigm. La solución es un nivel de contexto dedicado que surge entre la memoria de GPU y el almacenamiento en red a granel: una capa de memoria flash de alto rendimiento y alta densidad diseñada específicamente para mantener y servir el caché de clave-valor (KV), los datos de inferencia que permiten a los modelos retener y reutilizar contexto, y datos de recuperación a velocidad de inferencia. Nvidia ha formalizado esta arquitectura bajo el término CMX. Empresas de almacenamiento, incluido Solidigm, están construyendo productos SSD optimizados para esta carga de trabajo. "El almacenamiento no ha sido lo primero en lo que la gente ha pensado al planear la infraestructura empresarial", dice Stryker. "De muchas maneras, era un costo relativamente pequeño en comparación con la computación, y era una mercancía. Simplemente buscabas el costo más bajo por gigabyte y lo considerabas suficiente. Pero ahora, si tu almacenamiento no está a la altura, tu ROI sufre, y eso impacta directamente en tu resultado final.” Por qué la inferencia de IA requiere una arquitectura de almacenamiento diferente a la de entrenamiento La arquitectura de almacenamiento en la que los sistemas de IA confían hoy fue en gran parte heredada de los flujos de trabajo de entrenamiento. El entrenamiento es secuencial y dominado por escrituras, con datos que se mueven en grandes bloques hacia y desde el almacenamiento de objetos a granel. La estructura de niveles, con memoria de alto ancho de banda en la GPU, NVMe rápido en el servidor y almacenamiento a granel a través de la red, sirve razonablemente bien ese caso de uso. Sin embargo, la inferencia es un animal diferente. Su firma de I/O es de grano fino, sensible a la latencia, y cada vez más con estado. Los datos del caché KV y los datos de recuperación tienen cada uno patrones de acceso distintos, pero ambos necesitan ser servidos rápidamente y reutilizados en las interacciones. Ninguno encaja limpiamente dentro de la memoria de alto ancho de banda de la GPU, que es cara y está físicamente limitada, ni dentro del almacenamiento a granel tradicional, que nunca fue diseñado para cargas de trabajo de inferencia activas. "La brecha arquitectónica que es interesante para mí en este momento no está en la parte superior de la pila ni en la inferior, está justo en el medio", dice Harthorn. "Mucho de lo que se encuentra debajo de la memoria HBM de la GPU está siendo solicitado para hacer cosas para las que no fue realmente diseñado, que es donde están ocurriendo hoy los sistemas más interesantes." Uno de los síntomas más visibles de esta brecha es la recomputación. En la inferencia, la etapa de prellenado procesa todo el contexto relevante para una sesión dada antes de que pueda comenzar la generación de tokens. Cuando el estado del caché KV no está disponible en un nivel rápido y accesible, el sistema lo recomputa, quemando ciclos de GPU que no producen nuevo valor. "Una parte significativa de los ciclos de GPU termina yendo a volver a prellenar", explica Harthorn. "Durante todo ese contexto calculado, eso es potencialmente computación que se gasta reproduciendo estado, en lugar de realizar un nuevo trabajo. Cuando comienzas a mirar el problema de esa manera, la utilización de GPU comienza a parecerse a que es en parte un problema de almacenamiento." Este nuevo enfoque está impulsando un renovado interés en una métrica tomada del networking: goodput, o tokens útiles por dólar, en lugar de tokens crudos por dólar. La memoria de contexto de IA y cómo funciona La respuesta de la industria está tomando forma estructural. Un nuevo nivel está surgiendo entre la memoria de GPU y el almacenamiento de red tradicional, diseñado específicamente para mantener y servir contexto de inferencia, una capa distinta de las unidades dentro de los servidores de GPU (G3) y los servidores de almacenamiento a través de la red (G4), diseñada para servir datos de contexto de vuelta a los aceleradores tan rápidamente como sea posible. "Si estás construyendo un centro de datos que comienza en la segunda mitad de este año, o a principios del próximo año, no puedes pensar que el almacenamiento solo vive en dos lugares", dice Stryker. "El almacenamiento tiene que vivir en al menos tres lugares para manejar la capa de memoria de contexto, y es probable que sea un elemento permanente en cómo se construye la infraestructura en el futuro." Es análogo a la aparición del almacenamiento de objetos como categoría, que no existía hasta que suficientes cargas de trabajo lo necesitaron. Y una vez que lo hizo, desarrolló sus propios primitivos, SLA, modelos de costo y un ecosistema de proveedores. "La capa de contexto parece estar en un arco similar", dice Harthorn. "Esa presión volumétrica está causando que la categoría se forme, en lugar de un mapa de ruta de un solo proveedor." Para los líderes de infraestructura, esto significa planear activamente para el nuevo nivel en lugar de tratarlo como opcional. Desplegar NAND adicional en este nivel reduce la dependencia de DRAM, que es órdenes de magnitud más cara por gigabyte y está limitada tanto en disponibilidad como en margen térmico. "En términos de la efectividad de tu inversión, estás gastando menos dinero para hacerlo si confías en la capa SSD de la manera que Nvidia está recomendando y prescribiendo para muchos casos de uso", añade Stryker. Lo que la memoria flash necesita entregar para soportar la inferencia de IA Participar significativamente en la pila de inferencia plantea nuevas demandas para la tecnología SSD. La latencia de cola, el rendimiento en el peor de los casos de una unidad, debe ser predecible, no solo rápido en promedio. Un sistema de orquestación que asigna recursos de GPU basados en los tiempos de respuesta esperados del almacenamiento no puede tolerar retrasos inesperados de varios segundos. Un rendimiento consistente y observable es más importante aquí que el rendimiento máximo. Más allá de la latencia, la densidad se convierte en una preocupación crítica, especialmente a gran escala. En centros de datos donde la energía, no el costo, es la restricción vinculante, vatios por petabyte se convierte en la métrica operativa. El NAND de puerta flotante, el enfoque de fabricación en el núcleo de los productos de Solidigm, es adecuado para ese cálculo. La integración de red a través de NVMe sobre Fabrics, RDMA y eventual soporte CXL también es esencial, dado los estrictos presupuestos de latencia de las tuberías de inferencia activas. "Las unidades deben tener características de rendimiento confiables, más allá del lado del rendimiento y la capacidad de transferir tantos datos como sea posible tan rápido como sea posible, como lo requería el entrenamiento", dice Harthorn. "Ahora se trata de poder hacerlo de manera muy consistente, de una manera que sea muy observable para las personas que operan y orquestan estos sistemas." Cómo los líderes empresariales de IA deben planear para la capa de contexto Los estándares, primitivos de software y mejores prácticas que se están estableciendo ahora definirán cómo opera la infraestructura de inferencia de IA en los próximos años. Solidigm está participando en ese proceso a través de organismos de estándares, colaboraciones en laboratorios de socios e investigación publicada, lo cual es crítico precisamente porque la categoría aún se está formando. "La pregunta interesante para los próximos par de años no es si la infraestructura de IA necesita más computación", dice Harthorn. "Es si puede usar lo que tiene de manera más eficiente. Gran parte de esa respuesta pasa por este nivel que se está construyendo hoy." Los artículos patrocinados son contenido producido por una empresa que está pagando por la publicación o tiene una relación comercial con VentureBeat, y siempre están claramente marcados. Para más información, contactar a sales@venturebeat.com.