Una prueba de concepto perdona un camino de datos frágil. La IA operativa no.

Presentado por F5 Cuando las empresas mueven cargas de trabajo de IA de piloto a producción, la entrega de datos a menudo se convierte en el factor que determina si esos sistemas pueden escalar de manera fiable. Las arquitecturas punto a punto que conectan el almacenamiento directamente a la computación funcionan adecuadamente en condiciones de demostración, pero a menudo se descomponen bajo tráfico de producción sostenido y concurrente. El resultado son tuberías de inferencia detenidas, sistemas RAG retrasados, GPUs subutilizadas y violaciones de SLA, todos los cuales tienen consecuencias directas para el negocio. "Las organizaciones operativizan la IA con éxito cuando su infraestructura está diseñada para manejar fallos en el mundo real, no solo condiciones controladas", dice Hunter Smit, gerente senior de marketing de producto en F5. El tráfico de producción expone debilidades arquitectónicas En una prueba, una transferencia detenida es un inconveniente, mientras que en producción, esa misma detención es una interrupción de la que ahora alguien es responsable. La arquitectura subyacente a menudo es idéntica en ambos casos: cuando un cliente está conectado directamente al almacenamiento, el sistema se vuelve cada vez más frágil bajo tráfico de producción sostenido y concurrente porque esa conexión directa no tiene respuesta cuando un nodo falla o el tráfico aumenta. A partir de ahí, reintentos y tiempos de espera se acumulan, y toda la tubería se congestiona precisamente en el momento en que el negocio depende de la salida. "Las arquitecturas punto a punto, donde el cliente S3 se conecta directamente al almacenamiento S3, no son resilientes", dice Paul Pindell, arquitecto principal de soluciones para alianzas tecnológicas en F5. "Si un solo nodo de almacenamiento falla, todo el tráfico hacia ese clúster se degrada, y en algunos casos el clúster puede fallar por completo". El problema es que los flujos de trabajo de IA, incluida la inferencia basada en RAG y la IA agencial, tratan cada vez más el almacenamiento S3 como un ciudadano de primera clase en el clúster de IA. Sin embargo, la conectividad de red entre ese almacenamiento y el clúster nunca fue diseñada para el movimiento de datos ininterrumpido y de alto rendimiento que se necesita para mantener las GPUs funcionando de manera óptima. El verdadero costo de las tuberías detenidas y las GPUs subutilizadas "Los líderes empresariales tienden a enmarcar la infraestructura de IA en torno a la utilización de GPU, pero lo que hace que la IA sea diferente de las cargas de trabajo deterministas tradicionales es que la infraestructura influye continuamente en esos resultados en cada interacción", dice Tanu Mutreja, directora senior de gestión de productos en F5. "En entornos de IA, la infraestructura ya no es solo una preocupación de backend. Moldea la experiencia del cliente, la calidad, la resiliencia y el costo con cada transacción". Pueden haber consecuencias comerciales significativas. Por ejemplo, cuando las tuberías de inferencia se detienen, se convierte en un problema de SLA y experiencia del cliente. Cuando los sistemas RAG se retrasan, los modelos pierden acceso a contexto relevante y oportuno, lo que resulta en respuestas inexactas, desactualizadas o alucinadas, todas las cuales crean riesgos operativos, de cumplimiento y reputacionales. Al mismo tiempo, los problemas de infraestructura que crean esos problemas también pueden aumentar los costos al dejar los recursos de GPU costosos inactivos o subutilizados. "Cuando las GPUs están subutilizadas, indica ineficiencias en la infraestructura que inflan los costos al limitar la escalabilidad y capacidad de respuesta", dice Mutreja. "La pregunta para el liderazgo es si la infraestructura de IA de extremo a extremo entrega consistentemente experiencias de IA confiables, seguras, de alta calidad y reguladas a una economía de unidades sostenible". Construyendo una capa de entrega de datos lista para producción F5 considera la entrega de datos como una capa de infraestructura de primera clase en lugar de asumir que el camino de red simplemente funcionará. Donde la entrega de aplicaciones optimiza el flujo de solicitudes entre usuarios y aplicaciones, la entrega de datos optimiza el flujo de datos entre almacenamiento, redes y computación, incluida la computación de IA. Hacer de la entrega de datos una capa de primera clase significa construir tres propiedades en ella: La observabilidad proporciona visibilidad en tiempo real sobre la latencia, rendimiento y salud del flujo. La programabilidad permite un control basado en políticas sobre cómo se mueve los datos, a través de enrutamiento dinámico, optimización de tráfico, gestión de tasas y failover automatizado. La conciencia de fallos construye resiliencia para redes degradadas, limitaciones de almacenamiento y interrupciones del servicio. En la arquitectura que F5 ha desarrollado para Dell ObjectScale, F5 BIG-IP se sitúa entre ObjectScale y la computación de IA como un punto de control programable en el borde del almacenamiento. "Hemos visto casos donde una mala configuración en la capa de computación de IA efectivamente DDoS'eó la infraestructura de almacenamiento S3", dice Pindell. "No de una manera maliciosa, más bien un momento de 'Oh no, ¿qué hice?', pero aun así dejó el almacenamiento fuera de servicio para toda la organización". Colocar BIG-IP como el controlador de entrega de aplicaciones entre las capas de almacenamiento y computación protege el almacenamiento con QoS, límites de tasa y límites de conexión, manteniéndolo resiliente y operativo bajo ese tipo de carga. Las pruebas validadas por SecureIQLab confirmaron que esta protección no afecta el rendimiento, lo que es arquitectónicamente importante, dice Pindell. "Preservar, e incluso mejorar, el rendimiento es imprescindible", explica. "Es lo que te permite agregar funcionalidades de alto nivel, resiliencia y seguridad mejorada, sin perder rendimiento para llegar allí". La complejidad añadida de la IA híbrida y multicloud Las implementaciones de IA en entornos híbridos y multicloud tienen un desafío aún mayor en la entrega de datos debido a la heterogeneidad involucrada. En otras palabras, los datos que atraviesan estos entornos deben lidiar con políticas inconsistentes, controles de seguridad, sistemas de identidad, requisitos de gobernanza, visibilidad fragmentada y límites de fallos distintos. La gestión de tráfico programable y la observabilidad abordan esta complejidad juntas. La observabilidad proporciona una vista unificada de la salud de aplicaciones, redes e infraestructuras a través de entornos de otra manera desconectados. La gestión de tráfico programable utiliza esas percepciones para enrutar, equilibrar y redirigir el tráfico de manera inteligente en tiempo real. Juntas, crean un sistema de retroalimentación en bucle cerrado que hace cumplir políticas consistentes, mejora la resiliencia a través de dominios de fallos y asegura una entrega de datos de IA fiable y de alto rendimiento independientemente de dónde residan las aplicaciones, los datos o los usuarios. Lo que separa la IA de producción de los pilotos perpetuos Las organizaciones que van más allá de los pilotos perpetuos comparten una disciplina de ingeniería específica, dice Smit. "Son aquellos que buscan un diseño de producción con el fallo como el estado normal, no la excepción", explica. "Asumirán que la latencia, la congestión y las interrupciones parciales ocurrirán. Y construyen un camino de datos que es observable y consciente de fallos lo suficiente como para absorberlos, con mitigación explícita para cada condición degradada en lugar de la esperanza de que la red se mantenga". Las organizaciones atrapadas en pilotos perpetuos aún están optimizando para el resultado perfecto en el laboratorio y descubriendo la brecha del mundo real solo cuando una carga de trabajo entra en funcionamiento. El problema no es la calidad del modelo o la cantidad de GPU, sino si la capa de entrega de datos fue diseñada con el mismo rigor que la computación. "Los equipos necesitan entender que una red del mundo real se comporta de manera muy diferente a una red de laboratorio optimizada", dice Pindell. "Necesitan un plan de mitigación para los estados de fallo y los cuellos de botella de rendimiento que enfrentarán en producción". Los artículos patrocinados son contenido producido por una empresa que está pagando por la publicación o tiene una relación comercial con VentureBeat, y siempre están claramente marcados. Para más información, contacta a sales@venturebeat.com.