Red Hat adquiere innovadora empresa de software
El líder mundial en soluciones de código abierto, anunció la adquisición de Neural Magic, empresa que trabaja con algoritmos que aceleran las cargas de trabajo de IA generativa (GenAI). Su experiencia en inferencia y compromiso con el open source se alinean con la visión de Red Hat de ofrecer IA de alto rendimiento para casos de uso específicos en la nube híbrida.
La IA generativa se expande rápidamente, pero el tamaño y la complejidad de los modelos de lenguaje (LLM) hacen que su implementación sea costosa y complicada para la mayoría de las empresas. Red Hat busca hacer la IA generativa más accesible mediante la innovación de vLLM, un proyecto open source impulsado por UC Berkeley que permite un servicio eficiente de modelos IA.
Esta tecnología soporta múltiples tipos de modelos y hardware como AMD, AWS Neuron, TPU de Google, Intel Gaudi, GPU de NVIDIA y CPU x86. La experiencia de Neural Magic en vLLM, junto con la tecnología en la nube de Red Hat, permitirá a las organizaciones desarrollar estrategias de IA adaptadas a sus datos y necesidades.
‘Las cargas de trabajo de la IA deben poder ejecutarse donde los clientes quieran. Esto hace que las plataformas y herramientas abiertas, flexibles y estandarizadas sean una necesidad, ya que permiten que las organizaciones seleccionen de acuerdo a sus necesidades. Estamos entusiasmados de complementar nuestro portafolio de IA orientado a la nube híbrida con la innovación en IA de Neural Magic, que refuerza nuestro objetivo de ser no solo el Red Hat del open source, sino también el Red Hat de la IA’, dijo Matt Hicks, presidente y CEO de Red Hat.
Red Hat + Neural Magic: el futuro de la IA generativa lista para la nube híbrida
Neural Magic, fundada en el MIT en 2018, ofrece software de inferencia de alto rendimiento para deep learning. Red Hat aprovechará esta tecnología para acelerar su visión de IA abierta mediante:
- Modelos open source de hasta 405 mil millones de parámetros, que se ejecutan en la nube híbrida, en centros de datos, nubes múltiples y edge.
- Capacidades de ajuste fino que permiten a las organizaciones personalizar LLM con mayor seguridad.
- Experiencia en ingeniería de inferencia para mejorar la eficiencia operativa.
- Un ecosistema open source que ofrece a los clientes libertad de elección en modelos, hardware y arquitecturas de chips.
Liderazgo en vLLM para potenciar Red Hat AI
Neural Magic usará su experiencia en vLLM para optimizar las cargas de trabajo de LLM en entornos de nube híbrida, brindando control total sobre infraestructura, seguridad y ciclo de vida de los modelos. La empresa desarrolla herramientas como LLM Compressor, una biblioteca de optimización de modelos, y repositorio de modelos pre optimizados.
Red Hat AI aspira a reducir los costos de IA y la escasez de habilidades mediante tecnologías como:
- Red Hat Enterprise Linux AI (RHEL AI): plataforma base para desarrollar y ejecutar la familia de LLM Granite de IBM en Linux.
- Red Hat OpenShift AI: plataforma para entrenar, entregar y monitorear modelos de machine learning en Kubernetes, en instalaciones propias, nube pública o edge.
- InstructLab: proyecto open source desarrollado por Red Hat e IBM para el avance colaborativo de LLM Granite mediante ajuste fino.
El liderazgo tecnológico de Neural Magic en vLLM potenciará la capacidad de Red Hat AI de admitir implementaciones de LLM en cualquier lugar de la nube híbrida con una pila de inferencia abierta, altamente optimizada y lista para usar.
