Snowflake ha lanzado Arctic, su nuevo modelo de lenguaje abierto y eficiente, que rivaliza o incluso supera al último modelo de Meta, Llama 3, en tareas de negocios como la instrucción de SQL y la creación de código, con un coste de entrenamiento reducido.
La empresa especializada en almacenamiento de datos en la nube ha destacado que, generalmente, el desarrollo de herramientas basadas en IA con LLMs para empresas es costoso y consume muchos recursos. Por ello, han creado un sistema que disminuye considerablemente el gasto en entrenamiento e inferencia de los LLMs, haciendo que esta tecnología sea más accesible y económica.
El equipo de Snowflake AI Research ha introducido Arctic, un LLM de alta calidad diseñado para empresas, que es "inteligentemente eficiente y completamente abierto". Destaca en funciones como la generación de código y la instrucción de SQL, y se distribuye bajo la licencia Apache 2.0.
Según Snowflake, Arctic iguala o mejora las capacidades de los modelos de IA de Meta, Llama 3 8B y Llama 2 70B, en términos de métricas empresariales de entrenamiento e inferencia, y todo esto con menos de la mitad del presupuesto computacional.
A pesar de tener un presupuesto computacional 17 veces inferior al de Llama 3 70B, Arctic logra resultados comparables en la instrucción de SQL (con una puntuación de 79,0 frente a 80,2 de Llama 3 70B) y en el seguimiento de instrucciones, con una puntuación de 57,4 que supera los 43,6 del modelo de Meta.
La compañía también ha resaltado que Arctic mantiene un rendimiento competitivo sin comprometer la eficiencia general. La "alta eficiencia de entrenamiento" de Arctic permite a usuarios y organizaciones entrenar modelos personalizados de forma más económica.
Para alcanzar esta eficiencia en el entrenamiento, la empresa utiliza una arquitectura híbrida de transformador con Mezcla de Expertos (MoE) densa, combinando un modelo de transformador denso de 10B con un MLP MoE residual de 128 x 3,66B. Esto resulta en un total de 480B y 17B de parámetros activos seleccionados por un sistema de puertas de dos niveles, lo que garantiza una mayor eficiencia.
Arctic es un LLM "completamente abierto", ya que Snowflake comparte los pesos del modelo bajo la licencia Apache 2.0, facilitando la divulgación de la investigación en IA y la metodología de entrenamiento. Además, Arctic se puede usar tanto para propósitos comerciales como de investigación.
Finalmente, Snowflake ha anunciado que Arctic ya está disponible en plataformas como Hugging Face, Replicate y el catálogo de API de Nvidia, y pronto lo estará en Amazon AWS, Microsoft Azure, Lamini o Perplexity.