IBM ofrece una versión optimizada de Mixtral-8x7b que, en pruebas internas, fue capaz de aumentar el rendimiento o la cantidad de datos que pueden procesarse en un periodo de tiempo determinado en un 50% en comparación con el modelo normal. Esto podría reducir la latencia entre un 35 y un 75%, dependiendo del tamaño del lote, lo que aceleraría la obtención de información. Esto se consigue mediante un proceso llamado cuantización, que reduce el tamaño del modelo y los requisitos de memoria de los LLM y, a su vez, puede acelerar el procesamiento para ayudar a reducir los costes y el consumo de energía.
La incorporación de Mixtral-8x7B amplía la estrategia abierta y multimodelo de IBM para responder a las necesidades de los clientes y ofrecerles opciones y flexibilidad para ampliar las soluciones de IA empresarial en sus negocios. A través de décadas de investigación y desarrollo de IA, la colaboración abierta con Meta y Hugging Face, y las asociación con líderes de modelos, IBM está expandiendo su cartera de soluciones de watsonx.ai para obtener nuevos conocimientos, lenguajes y modalidades.

Las opciones de modelos fundacionales de IBM listos para las empresas y su plataforma de datos e IA watsonx pueden permitir a los clientes utilizar la IA generativa para obtener nuevos conocimientos y eficiencias, y crear nuevos modelos de negocio basados en principios de confianza. IBM permite a los clientes seleccionar el modelo adecuado para los casos de uso correctos y los objetivos de precio y rendimiento para dominios de negocio específicos como las finanzas.

Mixtral-8x7B se construyó utilizando una combinación de Sparse modeling, una técnica innovadora que encuentra y utiliza sólo las partes más esenciales de los datos para crear modelos más eficientes, y la técnica Mixture-of-Experts, que combina diferentes modelos ("expertos") que se especializan y resuelven diferentes partes de un problema. El modelo Mixtral-8x7B es ampliamente conocido por su capacidad de procesar y analizar rápidamente grandes cantidades de datos para proporcionar perspectivas relevantes para el contexto.

"Los clientes piden opciones y flexibilidad para desplegar los modelos que mejor se adapten a sus casos de uso y requisitos únicos de negocio", dijo Kareem Yusuf, Ph.D, Vicepresidente Senior de Gestión de Producto y Crecimiento de IBM Software. "Al ofrecer Mixtral-8x7B y otros modelos en watsonx, no sólo les estamos dando opción en la forma en que despliegan la IA, estamos potenciando un sólido ecosistema de desarrolladores de IA y líderes empresariales con herramientas y tecnologías para impulsar la innovación a través de diversas industrias y dominios."

Esta semana, IBM también ha anunciado la disponibilidad de ELYZA-japanese-Llama-2-7b, un modelo LLM japonés de código abierto de ELYZA Corporation, en watsonx. IBM también ofrece en watsonx los modelos de código abierto Llama-2-13B-chat y Llama-2-70B-chat de Meta, así como otros modelos de terceros, y se espera que se añadan más en los próximos meses.

Redacción C21