El Instituto de Innovación Tecnológica de los EAU ha sorprendido al mundo tecnológico con el lanzamiento de Falcon 180B, el modelo de lenguaje de código abierto más grande y potente jamás creado. Con sus asombrosos 180 mil millones de parámetros y entrenado en 3,5 billones de tokens, este modelo ha establecido nuevos estándares en el campo de la inteligencia artificial.
Un vistazo a Falcon 180B:
El modelo, Falcon 180B, es un decodificador causal con 180 mil millones de parámetros, entrenado con 3,5 billones de tokens de RefinedWeb mejorados con corpora curados. Se encuentra a la cabeza en la clasificación de modelos de lenguaje grande preentrenados de Hugging Face, y está disponible tanto para investigación como para uso comercial.
Este titán de la IA muestra un rendimiento excepcional en diversas tareas, como razonamiento, codificación y pruebas de conocimiento, superando a competidores de la talla del LlaMa 2 de Meta. Aunque en modelos de código cerrado, Falcon 180B está justo detrás de GPT 4 de OpenAI, compite con el PaLM 2 Large de Google, que alimenta a Bard, a pesar de ser la mitad de su tamaño.
Tras el impacto que causó el modelo Falcon-40B, el Instituto ha vuelto a superarse con el lanzamiento de este impresionante modelo de código abierto.
¿Por qué usar Falcon-180B?
- Es el mejor modelo de acceso abierto disponible actualmente y uno de los mejores en general, superando a otros modelos como LLaMA-2, StableLM, RedPajama, MPT, entre otros.
- Su arquitectura está optimizada para inferencia, con multiquery.
- Está disponible bajo una licencia permisiva que permite su uso comercial.
- A pesar de ser un modelo preentrenado en bruto, existe una versión, Falcon-180B-Chat, diseñada específicamente para instrucciones genéricas en formato de chat.
- Para aquellos que buscan modelos más pequeños y menos costosos, Falcon-7B y Falcon-40B son alternativas viables.
Detalles del Modelo:
- Desarrollado por: Instituto de Innovación Tecnológica de los EAU
- Tipo de Modelo: Decodificador causal únicamente.
- Idiomas: Inglés, alemán, español, francés y capacidades limitadas en italiano, portugués, polaco, holandés, rumano, checo y sueco.
- Licencia: Licencia Falcon-180B TII y Política de Uso Aceptable.
Aunque el modelo es una maravilla tecnológica, tiene sus limitaciones. Está entrenado principalmente en idiomas como inglés, alemán, español y francés, y puede no generalizarse adecuadamente a otros idiomas. Además, al ser entrenado en corpora a gran escala representativos de la web, puede llevar consigo estereotipos y sesgos comúnmente encontrados en línea.
El Instituto recomienda a los usuarios considerar la adaptación del modelo a tareas específicas y tomar las precauciones necesarias para cualquier uso en producción. La comunidad está ansiosa por el paper que se espera próximamente y por lo que Falcon 180B tiene reservado para el futuro de la IA.
Más información en blog de EAU y también podréis probar en un ChatDemo.
Fuente: Noticias AI
