Stability AI ha lanzado Beluga 1 y Stable Beluga 2, nuevos LLM de acceso abierto.

Stability AI ha lanzado Beluga 1 y Stable Beluga 2, nuevos LLM de acceso abierto.

En un nuevo blog, Stability AI y su laboratorio CarperAI presentaron Stable Beluga 1 y su sucesor, Stable Beluga 2 (anteriormente conocido como FreeWilly). Según su publicación, el objetivo de estos dos Modelos de Lenguaje Grande es expandir y crear un nuevo estándar para la investigación de IA de acceso abierto.

Stable Beluga 1 se basa en los cimientos del modelo LLaMA 65B. Se ajusta con un nuevo conjunto de datos generado sintéticamente utilizando Fine-Tune Supervisado (SFT) en el formato estándar Alpaca. Del mismo modo, Stable Beluga 2 aprovecha el poder del modelo base LLaMA 2 70B. Según la publicación, esto le otorga un rendimiento líder en la industria.

Ambos modelos surgieron como experimentos de investigación convincentes para impulsar iniciativas de investigación abierta bajo una licencia no comercial. El equipo interno se aseguró de que ambos modelos sean “educados y benignos en su naturaleza”. Pero también esperan que la comunidad ayude y participe en pruebas adicionales.

El proceso de generación y recopilación de datos para los modelos Stable Beluga se inspira en la metodología de Microsoft descrita en el artículo “Orca: Aprendizaje progresivo a partir de trazas de explicación complejas de GPT-4”. En la publicación, mencionaron que su proceso era similar, pero el equipo tomó otro enfoque en cuanto a las fuentes de datos.

Luego mencionaron que el conjunto de datos sintético contiene 600,000 puntos de datos. Se curó a partir de instrucciones de alta calidad y es una variante de los conjuntos de datos de Enrico Shippole:

  • COT Submix Original
  • NIV2 Submix Original
  • FLAN 2021 Submix Original
  • T0 Submix Original

Más adelante en la publicación, mencionaron que el filtrado de estos conjuntos de datos eliminó ejemplos de los puntos de referencia de evaluación. Según ellos, fue para garantizar una competencia justa. A pesar de entrenar con una fracción de los datos utilizados en el artículo original de Orca, los modelos Stable Beluga pudieron mostrar un rendimiento notable en diversos puntos de referencia. En la opinión de Stability AI, esto validó su enfoque en conjuntos de datos generados sintéticamente.

Finalmente, la publicación mencionó que Hugging Face pudo validar las métricas de ambos modelos Beluga. Los resultados luego se publicaron en su Open LLM Leaderboard (tabla de clasificación). Actualmente, Stable Beluga 2 ocupa el segundo lugar, mientras que Stable Beluga 1 ocupa el séptimo lugar.

Nota del editor: El Aprendizaje Profundo se está convirtiendo en un tema crítico en el futuro del desarrollo de la IA, y si deseas estar a la vanguardia de los últimos avances, debes escuchar a los líderes de la industria que lideran el camino. Obtendrás eso en la pista de Aprendizaje Profundo y Aprendizaje Automático de ODSC West 2023. Reserva tu lugar y regístrate hoy.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

Inteligencia Artificial

Conoce Objaverse-XL Un conjunto de datos abierto de más de 10 millones de objetos en 3D.

Un avance reciente en IA ha sido la importancia de la escala para impulsar los avances en varios dominios. Los modelo...

Aprendizaje Automático

Conoce a FastSAM La solución revolucionaria en tiempo real que logra una segmentación de alto rendimiento con una carga computacional mínima.

El Modelo Segment Anything (SAM) es una propuesta más reciente en el campo. Es un concepto fundamental en la visión q...

Inteligencia Artificial

Este artículo de IA propone inyectar el mundo 3D en los grandes modelos de lenguaje y presentar una nueva familia completa de modelos de lenguaje 3D (3D-LLMs).

En los últimos años, hemos visto un aumento en los modelos de lenguaje grandes (LLMs) (como GPT4) que son excelentes ...

Inteligencia Artificial

Las ratas utilizan la imaginación para navegar en realidad virtual

Investigadores del Instituto Howard Hughes Medical Institute probaron si las ratas, al igual que los humanos, pueden ...