Akamai, la empresa de ciberseguridad y cloud computing que impulsa y protege las empresas online, presentó Akamai Cloud Inference con el propósito de iniciar una ola de innovación más rápida y eficiente para las organizaciones que buscan convertir los modelos lingüísticos predictivos y de gran tamaño (LLM, del inglés large language models) en acciones reales. Akamai Cloud Inference se ejecuta Akamai Cloud, la plataforma más distribuida del mundo, para abordar las crecientes limitaciones de los modelos de nube centralizados.
‘Conseguir que los datos de la IA estén más cerca de los usuarios y los dispositivos es difícil, y es en este aspecto donde las nubes heredadas tienen dificultades’, afirma Adam Karon, director de Operaciones y director general del Grupo de Tecnología de Nube de Akamai. ‘Mientras que el trabajo más duro del entrenamiento de los LLM seguirá haciéndose en centros de datos de hiperescala grandes, el trabajo práctico de inferencia tendrá lugar en el Edge, donde la plataforma que Akamai ha creado durante las últimas dos décadas se convierte en vital para el futuro de la IA y nos diferencia de cualquier otro proveedor de nube del mercado’.
Inferencia de la IA en Akamai Cloud
La nueva solución de Akamai proporciona herramientas para que los ingenieros y los desarrolladores de plataformas puedan crear y ejecutar aplicaciones y cargas de trabajo de IA que hacen un uso intensivo de datos más cerca de los usuarios finales, lo que proporciona un rendimiento 3 veces mayor al mismo tiempo que reduce la latencia hasta 2,5 veces. Con la solución de Akamai, las empresas pueden ahorrar hasta un 86 % en inferencia de IA y cargas de trabajo de IA con agentes en comparación con la infraestructura hiperescalable tradicional. Akamai Cloud Inference incluye:
- Computación: Akamai Cloud ofrece un arsenal de recursos informáticos versátil, desde CPU clásicas para una inferencia ajustada hasta potentes opciones de computación acelerada en GPU, y VPU ASIC personalizadas para proporcionar la potencia adecuada para un amplio espectro de desafíos de inferencia de IA. Akamai se integra con el ecosistema AI Enterprise de Nvidia y aprovecha Triton, TAO Toolkit, TensorRT y NVFlare para optimizar el rendimiento de la inferencia de IA en las GPU NVIDIA.
- Gestión de datos: Akamai permite a los clientes aprovechar todo el potencial de la inferencia de IA con una estructura de datos de vanguardia diseñada específicamente para cargas de trabajo de IA modernas. Akamai se ha asociado con VAST Data para proporcionar un acceso optimizado a los datos en tiempo real y acelerar las tareas relacionadas con la inferencia, algo esencial para ofrecer resultados relevantes y una experiencia con capacidad de respuesta. Esto se complementa con un almacenamiento de objetos altamente escalable para gestionar el volumen y la variedad de conjuntos de datos críticos para las aplicaciones de IA, y la integración con los principales proveedores de bases de datos vectoriales, incluidos Aiven y Milvus, para permitir la generación aumentada por recuperación (RAG). Con esta pila de gestión de datos, Akamai almacena de forma segura datos de modelos ajustados y artefactos de entrenamiento para ofrecer inferencia de IA de baja latencia a escala global.
- Contenedorización: la contenedorización de las cargas de trabajo de IA permite una ampliación automática basada en la demanda, una mayor resiliencia de las aplicaciones y una portabilidad multinube o híbrida, a la vez que optimiza tanto el rendimiento como el coste. Con Kubernetes, Akamai ofrece una inferencia de IA más rápida, barata y segura con un rendimiento a escala de petabytes. Respaldado por Linode Kubernetes Engine (LKE)-Enterprise, una nueva edición empresarial de la plataforma de orquestación de Kubernetes de Akamai Cloud diseñada específicamente para cargas de trabajo empresariales a gran escala, y la plataforma Akamai App que se ha presentado recientemente, Akamai Cloud Inference puede implementar rápidamente una plataforma preparada para la IA de proyectos de Kubernetes de código abierto, incluidos KServe, Kubeflow y SpinKube, integrada a la perfección para optimizar la implementación de modelos de IA para la inferencia.
- Edge computing: Para simplificar la forma en que los desarrolladores crean aplicaciones basadas en IA, Akamai AI Inference incluye funciones de WebAssembly (Wasm). Al trabajar con proveedores de Wasm como Fermyon, Akamai permite a los desarrolladores ejecutar inferencias para los LLM directamente desde aplicaciones sin servidor, lo que permite a los clientes ejecutar código ligero en el Edge para habilitar aplicaciones sensibles a la latencia.
Juntas, estas herramientas crean una potente plataforma para aplicaciones basadas en IA de baja latencia que permite a las empresas ofrecer la experiencia que demandan sus usuarios. Akamai Cloud Inference se ejecuta en la plataforma ampliamente distribuida de la empresa, capaz de ofrecer de forma constante más de un petabyte por segundo de rendimiento para cargas de trabajo que hacen un uso intensivo de datos. Compuesta por más de 4200 puntos de presencia en más de 1200 redes distribuidas por más de 130 países en todo el mundo, Akamai Cloud proporciona recursos informáticos disponibles desde la nube hasta el Edge, al mismo tiempo que acelera el rendimiento de las aplicaciones y aumenta la escalabilidad.
El cambio del entrenamiento a la inferencia
A medida que madura la adopción de la IA, las empresas reconocen que la publicidad que rodea a los LLM ha generado una distracción, y ha desviado la atención, alejándola de las soluciones prácticas de IA más adecuadas para resolver problemas empresariales específicos. Los LLM destacan en tareas generales como la creación de resúmenes, la traducción y el servicio de atención al cliente. Se trata de modelos muy grandes que son costosos y requieren mucho tiempo de entrenamiento. Muchas empresas se han visto limitadas por los requisitos de arquitectura y costes, incluidos el centro de datos y la potencia computacional, los sistemas de datos bien estructurados, seguros y escalables, y los desafíos que los requisitos de ubicación y seguridad suponen para la latencia de las decisiones. Los modelos de IA ligeros, diseñados para abordar problemas empresariales específicos, se pueden optimizar para los sectores individuales, pueden utilizar datos propios para crear resultados cuantificables y representan un mejor retorno de la inversión para las empresas actuales.
La inferencia de IA necesita una nube más distribuida
Cada vez más, los datos se generan fuera de los centros de datos centralizados o las regiones de nube. Este cambio está favoreciendo la demanda de soluciones de IA que aprovechen la generación de datos más cerca del punto de origen. Esto redefine fundamentalmente las necesidades de infraestructura a medida que las empresas van más allá de la creación y el entrenamiento de los LLM, y se empiezan a centrar en el uso de los datos para tomar decisiones más rápidas e inteligentes, e invertir en experiencias más personalizadas. Las empresas reconocen que pueden generar más valor al aprovechar la IA para gestionar y mejorar sus operaciones y procesos empresariales. Las arquitecturas distribuidas en la nube y el Edge comienzan a emerger como las preferidas para los casos de uso de inteligencia operativa, ya que pueden proporcionar información procesable en tiempo real en los activos distribuidos, incluso en entornos remotos. Entre los primeros ejemplos de clientes de Akamai Cloud se incluyen la asistencia por voz en el coche, la gestión de cultivos basada en la IA, la optimización de imágenes para mercados de productos de consumo, las experiencias de compra con visualización de prendas virtuales, los generadores automatizados de descripciones de productos y los analizadores de opiniones de clientes.
‘Entrenar un LLM es como crear un mapa que requiere recopilar datos, analizar el terreno y trazar rutas. Es lento y consume muchos recursos, pero una vez creado, es muy útil. La inferencia de la IA es como usar un GPS, aplicar instantáneamente ese conocimiento, recalcular en tiempo real y adaptarse a los cambios para llevarle donde necesita ir’, explicó Karon. ‘La inferencia es la siguiente meta de la IA’.
