¿Qué significa GPT-3 para el futuro de MLOps? Con David Hershey

'El significado de GPT-3 para el futuro de MLOps con David Hershey'

Este artículo originalmente fue un episodio de MLOps Live, una sesión interactiva de preguntas y respuestas en la que los profesionales de ML responden preguntas de otros profesionales de ML.

Cada episodio se enfoca en un tema específico de ML, y durante este, hablamos con David Hershey sobre GPT-3 y la función de MLOps.

Puedes verlo en YouTube:

O escucharlo como un podcast en:

  • Spotify
  • Apple Podcasts

Pero si prefieres una versión escrita, ¡aquí la tienes!

En este episodio, aprenderás sobre:

  • 1
    ¿De qué se trata GPT-3?
  • 2
    ¿Cuál es el impacto de GPT-3 en el campo de MLOps y cómo está cambiando el ML?
  • 3
    ¿Cómo pueden los modelos de lenguaje complementar a MLOps?
  • 4
    ¿Cuáles son las preocupaciones asociadas con la construcción de este tipo de sistema MLOps?
  • 5
    ¿Cómo están aprovechando las startups y empresas los LLMs para lanzar productos rápidamente?

Stephen: En esta llamada, tenemos a David Hershey, uno de los favoritos de la comunidad, diría yo, me atrevo a decirlo, de hecho, y estaremos hablando sobre lo que significa OpenAI GPT-3 para el mundo de MLOps. David es actualmente el Vicepresidente de Unusual Ventures, donde están elevando el nivel de lo que los fundadores deben esperar de sus inversores de riesgo. Antes de Unusual Ventures, fue Arquitecto de Soluciones Senior en Tecton. Antes de Tecton, trabajó como Ingeniero de Soluciones en Determined AI y como Gerente de Producto de la Plataforma de ML en Ford Motor Companies.

David: Gracias. Emocionado de estar aquí y emocionado de charlar.

Stephen: Solo por curiosidad, dada tu experiencia, ¿cuál es realmente tu papel en Unusual Ventures?

David: Unusual es un fondo de inversión, y mi enfoque actual está en nuestras inversiones en Infraestructura de Aprendizaje Automático y Datos. Lidero todo el trabajo que hacemos, pensando en el futuro de la infraestructura de aprendizaje automático y la infraestructura de datos, y un poco sobre las herramientas de desarrollo en general. Pero es una continuación de los cinco o seis años que he dedicado a pensar en la infraestructura de ML y todavía sigo haciéndolo, pero esta vez tratando de descubrir la próxima ola.

Stephen: Sí, eso es increíble. Y has escrito algunos artículos en el próximo ciclo de la infraestructura de ML. ¿Podrías arrojar más luz sobre lo que estás viendo allí?

David: Sí, ha sido un largo viaje de MLOps, supongo, para muchos de nosotros, y ha habido altibajos para mí. Hemos logrado un número increíble de cosas. Cuando comencé en esto, no había muchas herramientas, y ahora hay tantas herramientas y tantas posibilidades, y creo que algunas de ellas son buenas y otras no tanto.

El tema de esta conversación, obviamente, es adentrarnos un poco en GPT-3 y los modelos de lenguaje; ahora hay mucho bombo sobre la IA Generativa.

Creo que existe una increíble oportunidad para ampliar la cantidad de aplicaciones de ML que podemos construir y el conjunto de personas que pueden construir aplicaciones de aprendizaje automático gracias a los avances recientes en modelos de lenguaje como ChatGPT y GPT-3, entre otros.

En cuanto a MLOps, hay nuevas herramientas en las que podemos pensar, hay nuevas personas que pueden participar y hay herramientas antiguas que pueden tener nuevas capacidades en las que podemos pensar también. Así que hay muchas oportunidades.

¿Qué es GPT-3?

Stephen: Sí, definitivamente nos adentraremos en eso. Hablando del espacio de IA Generativa, el enfoque principal de este episodio sería el GPT-3, pero ¿podrías compartir un poco más sobre qué significa GPT-3 y dar un contexto allí?

David: Por supuesto. GPT-3 está relacionado con ChatGPT, que es lo que supongo que todo el mundo ha escuchado ahora.

En general, es un modelo de lenguaje grande, no muy diferente de los modelos de aprendizaje automático de lenguaje que hemos visto en el pasado y que realizan diversas tareas de procesamiento del lenguaje natural.

Está construido sobre la arquitectura de transformador que fue lanzada por Google en 2017, pero GPT-3 y ChatGPT son como encarnaciones propietarias de eso por parte de OpenAI.

Se les llama modelos de lenguaje grandes porque, en los últimos seis años aproximadamente, lo que hemos estado haciendo en gran medida es proporcionar más datos y hacer que los modelos sean más grandes. A medida que hemos hecho eso tanto a través de GPT-3 como de otras personas que han entrenado modelos de lenguaje, hemos visto que surgen estos conjuntos asombrosos de capacidades con los modelos de lenguaje más allá de las cosas clásicas con las que hemos asociado el procesamiento del lenguaje, como el análisis de sentimientos.

Estos modelos de lenguaje pueden realizar un razonamiento más complejo y resolver una tonelada de tareas de lenguaje de manera eficiente; una de las encarnaciones más populares de ellos es ChatGPT, que es esencialmente un Chatbot capaz de mantener conversaciones humanas.

El impacto de GPT-3 en MLOps

Stephen: Genial. Gracias por compartir eso… ¿Cuáles son tus ideas sobre el impacto de GPT-3 en el campo de MLOps? ¿Y cómo ves que el Aprendizaje Automático está cambiando?

David: Creo que hay un par de aspectos realmente interesantes para analizar lo que los modelos de lenguaje significan para el mundo de MLOps; tal vez quiera separarlo en dos cosas.

1. Modelos de lenguaje

Los modelos de lenguaje, como dije, tienen una cantidad sorprendente de capacidades. Pueden resolver un número sorprendentemente grande de tareas sin ningún trabajo adicional; esto significa que no es necesario entrenar ni ajustar nada, solo se requiere escribir una buena frase de inicio,

Varios problemas se pueden resolver utilizando modelos de lenguaje.

Lo bueno de poder usar un modelo que alguien más entrenó es que se delega el trabajo de MLOps a las personas que construyen el modelo, y aún se puede hacer una gran cantidad de trabajo divertido aguas abajo.

No es necesario preocuparse tanto por la inferencia o la versión y los datos.

Aparecen todos estos problemas de repente, lo que te permite enfocarte en otras cosas, lo que creo que amplía la accesibilidad del aprendizaje automático en muchos casos.

Pero no todos los casos de uso se resolverán de inmediato; los modelos de lenguaje son buenos, pero aún no lo son todo.

Una categoría para pensar es si ya no necesitamos entrenar modelos para cierto conjunto de cosas,

  • ¿En qué actividades estamos participando?
  • ¿Qué estamos haciendo y qué herramientas necesitamos?
  • ¿Qué talentos y habilidades necesitamos para poder construir sistemas de aprendizaje automático sobre modelos de lenguaje?

2. Cómo complementan los modelos de lenguaje a MLOps

Todavía estamos entrenando modelos; todavía hay muchos casos en los que hacemos eso, y creo que vale la pena comentar al menos sobre el impacto de los modelos de lenguaje en la actualidad.

Una de las cosas más difíciles sobre MLOps en la actualidad es que muchos científicos de datos no son ingenieros de software nativos, pero puede ser posible bajar la barrera para la ingeniería de software.

Por ejemplo, ha habido mucha anticipación en torno a la traducción del lenguaje natural a cosas como SQL para que sea un poco más fácil hacer descubrimiento de datos y cosas así. Y así, esos son más complementos de las conversaciones u otras piezas complementarias, tal vez.

Pero creo que todavía es impactante cuando piensas en si hay una forma en que los modelos de lenguaje se puedan utilizar para bajar la barrera de quién puede participar realmente en MLOps tradicionales al hacer que los aspectos de software sean más accesibles, los aspectos de datos sean más accesibles, etc.

La accesibilidad de los modelos de lenguaje grandes

Stephen: Cuando hablas de GPT-3 y los Modelos de Lenguaje Grandes (LLMS), algunas personas piensan que estas son herramientas para grandes empresas como Microsoft, OpenAI, Google, etc.

¿Cómo ves la tendencia hacia hacer que estos sistemas sean más accesibles para organizaciones más pequeñas, startups en etapa inicial o equipos más pequeños? Quiero aprovechar esta tecnología y ponerla a disposición de los consumidores.

David: Sí, en realidad creo que esto es tal vez lo más emocionante que ha surgido de los modelos de lenguaje, y lo enfocaré de un par de maneras.

Alguien más ha descubierto MLOps para los Modelos de Lenguaje Grandes.

Hasta cierto punto, los están sirviendo, los están versionando, los están iterando, están haciendo todo el ajuste fino. Y lo que eso significa es que para muchas empresas con las que trabajo y hablo, el Aprendizaje Automático en esta forma es mucho más accesible de lo que nunca ha sido: no necesitan contratar a una persona para aprender cómo hacer aprendizaje automático y aprender PyTorch y descubrir todo el MLOps para poder obtener algo.

Lo sorprendente de los modelos de lenguaje es que puedes sacar tu MVP simplemente escribiendo una buena solicitud en el OpenAI playground o algo así.

En ese punto, muchos de ellos son demostraciones, todavía no son productos. Pero creo que el mensaje es el mismo: de repente es tan fácil pasar de una idea a algo que parece que realmente funciona.

A nivel muy superficial, lo obvio es que cualquiera puede intentar y potencialmente construir algo bastante genial; no es tan difícil, pero eso es genial: que no sea difícil es genial.

Hemos estado haciendo un trabajo muy duro para crear modelos de ML simples durante un tiempo, y esto es realmente genial.

Otra cosa en la que me centraré es en esto: cuando pienso en mi tiempo en Ford, un tema importante en el que pensamos fue la democratización de los datos.

¿Cómo podemos hacer que toda la empresa pueda interactuar con los datos?

La democratización ha sido principalmente palabrería, y los modelos de lenguaje, hasta cierto punto, han democratizado un poco los datos para todo el mundo.

Para explicarlo un poco más, cuando piensas en lo que son esos modelos, la forma en que GPT-3 u otros modelos de lenguaje similares se entrenan es con un corpus de datos llamado Common Crawl, que es esencialmente todo internet, ¿verdad? Así que descargan todo el texto de internet y entrenan modelos de lenguaje para predecir todo ese texto.

Una de las cosas que solías necesitar para hacer el aprendizaje automático que todos conocemos es la recolección de datos.

Cuando estaba en Ford, necesitábamos conectar cosas al automóvil y telemetrizarlo y descargar todos esos datos en algún lugar y crear un lago de datos y contratar a un equipo de personas para clasificar esos datos y hacerlos utilizables; el obstáculo para hacer cualquier ML era cambiar los automóviles y construir lagos de datos y cosas así.

Una de las cosas más emocionantes de los modelos de lenguaje es que no necesitas conectar muchas cosas. Solo dices, por favor completa mi texto, y lo hará.

Creo que uno de los obstáculos que muchas startups tenían en el pasado era este problema de inicio en frío. Como, si no tienes datos, ¿cómo construyes ML? Y ahora, en el primer día, puedes hacerlo, cualquier persona puede.

Eso es realmente genial.

¿Por qué se preocupan las startups si se resuelve MLOps?

Stephen: Y es bastante interesante porque si no te preocupas por estas cosas, ¿entonces de qué te preocupas como startup?

David: Bueno, te daré la parte buena y luego la mala…

El caso bueno es preocuparse por lo que piensan las personas, ¿verdad? Eres centrado en el cliente.

En lugar de preocuparte por cómo vas a encontrar otra persona de MLOps o un ingeniero de datos, lo cual es difícil de encontrar porque no hay suficientes, puedes preocuparte por construir algo que los clientes quieran, escuchar a los clientes, construir características geniales y con suerte, también puedes iterar más rápidamente.

El otro aspecto de esto del que a todos los VCs en el mundo les gusta hablar es la defensibilidad, y no quiero, no necesitamos profundizar en eso.

Pero cuando es tan fácil construir algo con LLM, deja de ser esta cosa diferenciada y genial que te distingue de tu competencia.

Si construyes un modelo de puntuación de crédito increíble que te convierte en un mejor proveedor de seguros, o que te convierte en un mejor proveedor de préstamos, etc.

La completación de texto es algo básico en este momento. Mucha gente está preocupada por cómo construir algo que mis competidores no puedan copiar mañana, pero hey, no es un problema malo de tener.

Volviendo a lo que dije antes, puedes enfocarte en lo que la gente quiere y cómo interactúa con ello y tal vez enmarcarlo ligeramente diferente.

Por ejemplo, hay todo este conjunto de herramientas de MLOps, y lo que está más al final es el monitoreo, ¿verdad? Cuando lo pensamos, es como si enviáramos un modelo y lo último que hacemos es monitorearlo para poder actualizarlo continuamente y cosas así.

Pero el monitoreo para muchos equipos de MLOps con los que trabajo aún es algo que se deja para después porque todavía están trabajando en llegar al punto en el que tienen algo que monitorear. Pero el monitoreo es en realidad la parte interesante; es donde las personas están usando su sistema y están descubriendo cómo iterar y cambiarlo para mejorarlo.

Casi todas las personas que conozco que están trabajando en modelos de lenguaje ya están haciendo monitoreo porque envían algo en cinco días; están trabajando en iterar con los clientes en lugar de tratar de entenderlo y rayarse la cabeza.

Podemos centrarnos más en iterar estos sistemas teniendo en cuenta a los usuarios en lugar de en la parte difícil de PyTorch y todo eso.

¿Ha cambiado el enfoque centrado en los datos para el aprendizaje automático después de la llegada de los grandes modelos de lenguaje?

Stephen: Antes de los LLMs, había un frenesí en torno a los enfoques centrados en los datos para construir los sistemas de IA. ¿Cómo se vincula este enfoque para construir sus sistemas de aprendizaje automático ahora que ya tenemos grandes modelos de lenguaje que ya han sido entrenados con una gran cantidad de datos?

David: Sí, supongo que algo que quiero destacar es que –

El aprendizaje automático que es menos probable que sea reemplazado por los modelos de lenguaje a corto plazo es lo más centrado en los datos.

Cuando estaba en Tecton, construyeron una tienda de características, y muchos de los problemas en los que estábamos trabajando eran cosas como detección de fraude, sistemas de recomendación y calificación crediticia. Resulta que la parte difícil de todos esos sistemas no es la parte de aprendizaje automático, sino la parte de los datos.

Casi siempre necesitas conocer muchos datos pequeños sobre todos tus usuarios en todo el mundo, en poco tiempo; luego se utilizan estos datos para sintetizar la respuesta.

En ese sentido, es una parte difícil del problema: aún necesitas los datos porque necesitas saber en qué acaba de hacer clic alguien o cuáles son las últimas cinco cosas que alguien compró. Esos problemas no desaparecerán. Aún necesitas conocer toda esa información. Necesitas centrarte en entender y trabajar con los datos, me sorprendería si los modelos de lenguaje tuvieran algún impacto en eso.

Hay muchos casos en los que la parte difícil es simplemente tener los datos correctos para tomar decisiones. Y en esos casos, tener un enfoque centrado en los datos, hacer preguntas sobre qué datos necesitas recopilar, cómo convertir eso en características y cómo utilizarlo para hacer predicciones, son las preguntas correctas que debes hacer.

En cuanto al modelo de lenguaje, la pregunta sobre los datos es interesante: potencialmente necesitas un poco menos de enfoque en los datos para comenzar. No necesitas curar y pensar en todo, pero debes hacer preguntas sobre cómo las personas realmente usan esto, así como todas las preguntas de monitoreo de las que hablamos.

Construir algo como Chatbots necesita construirse como análisis de productos para poder rastrear las respuestas de nuestros usuarios a esta generación o lo que sea que estemos haciendo y cosas así. Por lo tanto, los datos son realmente importantes para eso.

Podemos profundizar en ello, pero ciertamente tiene una textura diferente a la que solía tener porque los datos ya no son un obstáculo para construir características con modelos de lenguaje con tanta frecuencia. Tal vez sea una parte importante para seguir mejorando, pero ya no es un obstáculo para comenzar como solía serlo.

¿Cómo están aprovechando las empresas los LLMs para enviar productos rápidamente? 

Stephen: Genial. Y estoy tratando de no perder mi hilo de pensamiento para el otro componente de MLOps, pero solo quería dar un poco de contexto nuevamente…

Según tu experiencia, ¿cómo están aprovechando las empresas estos LLMs para enviar productos rápidamente? ¿Has visto casos de uso que quieras compartir basados en tu experiencia con ellos, algo inusual?

David: Es casi de todo; te sorprendería la cantidad de cosas que hay ahí fuera.

Puede haber un puñado de casos de uso evidentes de modelos de lenguaje y luego hablaremos de algunas cosas de envío rápido también…

Asistentes de escritura 

Existen herramientas que te ayudan a escribir muchas de esas cosas; por ejemplo, copiar para marketing o blogs o lo que sea. Ejemplos de tales herramientas incluyen Jasper.AI y Copy.AI: han estado aquí por más tiempo. Probablemente esto sea lo más fácil de implementar con un modelo de lenguaje.

Agentes

Existen casos de uso que te ayudan a tomar acción. Estas son una de las cosas más interesantes que están sucediendo en este momento. La idea es construir un agente que tome tareas en lenguaje natural y las realice por ti. Por ejemplo, podría enviar un correo electrónico, llamar a una API o hacer cosas incipientes. Hay más trabajo en ese campo, pero es genial.

Búsqueda y recuperación semántica

Mucha gente trabaja en la búsqueda y recuperación semántica y cosas por el estilo… Por ejemplo, si quiero buscar una nota, puedo obtener una comprensión profunda de cómo buscar a través de una gran cantidad de información. Los modelos de lenguaje son buenos para digerir y comprender información, por lo que la gestión del conocimiento y la búsqueda de información son casos de uso interesantes.

Doy respuestas generales porque casi todos los productos de la industria tienen alguna oportunidad de incorporar o mejorar una función utilizando modelos de lenguaje. Hay tantas cosas por hacer y no hay suficiente tiempo en el día para hacerlas.

Stephen: Genial. Y estos son casos de uso relacionados con herramientas de desarrollo; ¿como herramientas de desarrollo y cosas por el estilo?

David: Creo que hay todo tipo de cosas por ahí, pero en términos de pensar en el lado de las herramientas de desarrollo, está Copilot, que te ayuda a escribir código más rápido. Y hay muchas cosas como incluso hacer solicitudes de extracción. He visto herramientas que te ayudan a escribir y crear solicitudes de extracción de manera más eficiente, y que ayudan a automatizar la creación de documentación. Creo que todo el universo de cómo desarrollamos software en cierta medida también está listo para cambiar. Así que en esa misma línea.

Monitoreo eficiente de LLMs en producción

Stephen: Por lo general, cuando hablamos de la plataforma de aprendizaje automático o MLOps, se trata de apretar los componentes cercanos y ordenados. Tienes:

  • almacén de características
  • registro de modelos
  • datos de un lago de datos

Luego los datos se mueven a través de este flujo de trabajo, se modelan y se implementan,

Ahora hay una buena conexión entre tus entornos de desarrollo y el entorno de producción donde se monitorea.

Pero en este caso, donde los LLMs casi han eliminado el lado de desarrollo…

¿Cómo has visto que las personas monitorean eficientemente estos sistemas en producción, especialmente al reemplazarlos con otros modelos y otros sistemas disponibles?

David: Sí, es curioso. Creo que el monitoreo es uno de los desafíos más difíciles para los modelos de lenguaje en este momento porque hemos eliminado el desarrollo, por lo que se convierte en el desafío número uno.

Con la mayoría del aprendizaje automático que hemos hecho en el pasado, la salida es estructurada (es decir, ¿es esto un gato o no?). El monitoreo de esto era bastante fácil. Puedes ver con qué frecuencia predices que es un gato o no, y evaluar cómo está cambiando con el tiempo.

Con los modelos de lenguaje, la salida es una oración, no un número. Medir qué tan buena es una oración es difícil. Tienes que pensar en cosas como:

  • 1
    ¿Este número está por encima de 0.95 o algo así?
  • 2
    ¿Esta oración es autoritaria y agradable?
  • 3
    ¿Y somos amigables y no somos tóxicos, no somos sesgados?

Y todas estas preguntas son mucho más difíciles de evaluar y rastrear y medir. Entonces, ¿qué están haciendo las personas? Creo que la primera respuesta para muchas personas es recurrir a algo como análisis de productos.

Se parece más a herramientas como Amplitude que a las herramientas clásicas donde solo generas algo y ves si a la gente le gusta o no. ¿Hacen clic? ¿Se van de la página? ¿Permanecen allí? ¿Aceptan esta generación? Cosas así. Pero, vaya, eso es una métrica bastante superficial.

Eso no te brinda casi ningún detalle para comprender los aspectos internos de un modelo. Pero es lo que la gente está haciendo.

Todavía no hay muchas respuestas excelentes a esa pregunta. ¿Cómo se monitorean estas cosas? ¿Cómo se hace un seguimiento de qué tan bueno está mi modelo, además de observar cómo los usuarios interactúan con él? Es un desafío abierto para muchas personas.

Conocemos muchas herramientas de monitoreo de ML por ahí … Tengo la esperanza de que algunos de nuestros favoritos evolucionen para poder ayudar más directamente con estas preguntas. Pero también creo que hay una oportunidad para que surjan nuevas herramientas que nos ayuden a determinar qué tan buena es una oración y que nos ayuden a medir eso antes y después de enviar un modelo; esto te hará sentir más seguro con el tiempo.

En este momento, la forma más común en la que he escuchado a la gente decir que envían nuevas versiones de modelos es que tienen cinco o seis ejemplos en los que prueban y luego verifican con sus ojos si la salida se ve bien y lo envían.

Stephen: Eso es matable. Irónico, asombroso y sarcástico.

David: No creo que eso dure para siempre.

Donde la gente simplemente mira felizmente cinco ejemplos con sus ojos y presiona el botón de enviar al lado de producción del error.

Eso es audaz, pero hay tanta expectativa en este momento que la gente enviará cualquier cosa, supongo, pero no pasará mucho tiempo para que eso cambie.

Cerrando el ciclo de aprendizaje activo

Stephen: Sí, absolutamente. Y un paso más para eso, porque creo que incluso antes de la locura de los grandes modelos de lenguaje, cuando solo tenían los transformadores básicos, creo que la mayoría de las empresas que lidian con este tipo de sistemas encontrarían una manera de cerrar el ciclo de aprendizaje activo.

¿Cómo puedes encontrar una forma de cerrar ese ciclo de aprendizaje activo donde estás continuamente refinando ese sistema o ese modelo con tu propio conjunto de datos a medida que mejora?

David: Creo que esto sigue siendo un desafío activo para mucha gente, no todos lo han resuelto.

OpenAI tiene una API de ajuste fino, por ejemplo. Otros también lo tienen, donde puedes recopilar datos y ellos generarán un punto de enlace ajustado finamente. Y así que he hablado con mucha gente que eventualmente opta por esa opción, ya sea para mejorar su modelo, más comúnmente para mejorar el rendimiento de latencia. Por ejemplo, si puedes, GPT-3 es realmente grande y costoso, y si puedes ajustar finamente un modelo más barato para que sea igualmente bueno, pero mucho más rápido y económico. He visto a gente elegir esa opción.

Estamos en los primeros días de uso de estos modelos de lenguaje, y tengo la sensación de que el componente de aprendizaje activo seguirá siendo igual de, si no más, importante para refinar los modelos.

Escuchas a mucha gente hablar sobre el ajuste fino por usuario, ¿verdad? ¿Puedes tener un modelo por usuario que conozca mi estilo, lo que quiero, o lo que sea? Es una buena idea para cualquiera que esté usando esto en este momento, estar pensando en ese ciclo de aprendizaje activo hoy, incluso si es difícil de ejecutar hoy, no puedes descargar los pesos de GPT-3 y ajustarlo finamente tú mismo.

Incluso si pudieras, hay todo tipo de desafíos en el ajuste fino de un modelo de 175 mil millones de parámetros, pero espero que los datos que recolectes ahora para mejorar continuamente sean realmente importantes a largo plazo.

¿Es GPT-3 una oportunidad o un riesgo para los profesionales de MLOps?

Stephen: Sí, es bastante interesante ver cómo evoluciona el campo en ese sentido. Así que en este punto, pasaremos directamente a algunas de las preguntas de la comunidad.

Entonces, la primera pregunta de la comunidad: ¿es GPT-3 una oportunidad o un riesgo para los profesionales de MLOps?

David: Creo que las oportunidades y los riesgos son dos caras de la misma moneda de alguna manera, supongo que eso es lo que diría. Me voy a salir por la tangente y decir ambas cosas.

Comienzo con el riesgo, creo que es difícil imaginar que muchas de las cargas de trabajo en las que solíamos confiar para entrenar modelos, donde tenías que hacer todo el ciclo de MLOps, ya no será necesario, tal vez para expandirse. Como hemos hablado, los modelos de lenguaje no pueden hacer todo en este momento, pero pueden hacer mucho. Y no hay razón para creer que no podrán hacer más con el tiempo.

Y si tenemos estos modelos de propósito general que pueden resolver muchas cosas, ¿por qué necesitamos MLOps? Si no estamos entrenando modelos, entonces muchas de las tareas de MLOps desaparecerán. Y por lo tanto, existe el riesgo de que si no prestas atención a eso, la cantidad de trabajo que hay por hacer disminuirá.

Ahora, la buena noticia es que hoy en día no hay suficientes profesionales de MLOps para comenzar. Ni siquiera cerca, ¿verdad? Y por lo tanto, no creo que vayamos a disminuir a un punto en el que el número de profesionales de MLOps sea demasiado grande para la cantidad de trabajo de MLOps que necesitamos hacer en el mundo. Así que no me preocuparía demasiado por eso, supongo que eso es lo que diría.

Pero el otro lado de la moneda es que hay un montón de cosas nuevas que aprender, como cuáles son los desafíos de construir aplicaciones de modelos de lenguaje. Hay muchos de ellos, y hay muchas herramientas nuevas. Y creo que, mirando hacia adelante a un par de preguntas de la comunidad, creo que nos adentraremos en eso. Pero creo que hay una verdadera oportunidad de ser una persona que entiende eso e incluso de empujar eso un poco más lejos.

Puedes utilizar un modelo de lenguaje si eres una persona de MLOps pero no eres un científico de datos; si eres un ingeniero que ayuda a las personas a construir y poner en producción modelos, tal vez ya no necesites al científico de datos. Tal vez el científico de datos debería preocuparse. Tal vez tú, la persona de MLOps, puedas construir todo el sistema. De repente, eres un ingeniero de pila completa en el sentido de que puedes construir modelos de ML construyendo sobre modelos de lenguaje, construyes la infraestructura y el software a su alrededor.

Creo que esa es una verdadera oportunidad de ser un profesional de pila completa para construir aplicaciones impulsadas por modelos de lenguaje. Estás bien posicionado, entiendes cómo funcionan los sistemas de ML y puedes hacerlo. Así que creo que eso es una oportunidad.

¿Qué deben aprender los profesionales de MLOps en la era de los LLMs?

Stephen: Ese es un punto muy bueno; tenemos una pregunta en el chat…

En esta era de los modelos de lenguaje grandes, ¿qué deben aprender realmente los profesionales de MLOps o en qué deben priorizar cuando intentan adquirir habilidades como principiantes?

David: Sí, buena pregunta…

No quiero ser muy radical. Hay muchos casos de uso de machine learning que no se verán afectados drásticamente por los modelos de lenguaje. Todavía hacemos detección de fraude y cosas por el estilo. Estas son cosas en las que alguien va a entrenar un modelo con nuestros propios datos propietarios y todo eso.

Si eres apasionado de MLOps y del desarrollo y entrenamiento de machine learning, aprende el mismo currículo de MLOps que habrías aprendido antes. Aprende las mejores prácticas de ingeniería de software y comprende cómo se construyen y se producen los sistemas de ML.

Tal vez complementaría eso diciendo que es simple, pero simplemente ve al GPT-3 playground de OpenAI y juega con un modelo. Intenta construir un par de casos de uso. Hay muchas demostraciones disponibles. Construye algo. Es fácil.

Personalmente, soy un VC… apenas soy técnico y he construido como cuatro o cinco de mis propias aplicaciones para jugar y usar en mi tiempo libre, es ridículamente fácil. No te lo creerías.

Solo construye algo con modelos de lenguaje, es fácil y aprenderás mucho. Probablemente te sorprenderás de lo simple que es.

Tengo algo que toma transcripciones de mis llamadas y escribe resúmenes de llamadas para mí. Tengo algo que toma un artículo y puedo hacer preguntas sobre ese artículo, como un artículo de investigación, cosas así. Esas son aplicaciones simples. Pero aprenderás algo.

Creo que es una buena idea estar algo familiarizado con lo que se siente construir e iterar con estas cosas en este momento, y también es divertido. Así que recomiendo encarecidamente a cualquier persona en el campo de MLOps que lo pruebe. Sé que es tu tiempo libre, pero debería ser divertido.

¿Cuáles son las mejores opciones para alojar un LLM a una escala razonable?

Stephen: Genial. Así que enfócate en enviar cosas. Gracias por la sugerencia.

Saltemos directamente a la siguiente pregunta de la comunidad: ¿cuáles son las mejores opciones para alojar modelos de lenguaje grandes a una escala razonable?

David: Esta es una pregunta difícil…

Una de las cosas más difíciles de los modelos de lenguaje está en el rango de los 30 mil millones de parámetros. GPT-3 tiene 175 mil millones de parámetros.

En algún lugar en el rango de los 30 mil millones de parámetros, un modelo comienza a encajar en las GPU más grandes que tenemos hoy en día…

La GPU más grande del mercado actual en términos de memoria es la A100 con 80GB de memoria. GPT-3 no cabe en eso.

No puedes inferir GPT-3 en una sola GPU. ¿Y qué significa eso? Se vuelve horriblemente complicado hacer inferencia de un modelo que no cabe en una sola GPU: tienes que hacer paralelismo de modelo y es una pesadilla.

Mi consejo breve es no intentarlo a menos que sea necesario – hay mejores opciones.

La buena noticia es que mucha gente está trabajando en convertir estos modelos en factores de forma que quepan en una sola GPU. Por ejemplo, [estamos grabando el 28 de febrero] creo que fue ayer o el viernes pasado que salió el artículo LLaMA de Facebook; cambiaron un modelo de lenguaje que sí cabe en una GPU y tiene capacidades similares a GPT-3.

Hay otros similares con modelos de 5 mil millones de parámetros hasta, como, 30…

El enfoque más prometedor que tenemos es encontrar una GPU o un modelo que quepa en una sola GPU y luego usar las herramientas que hemos utilizado para todos los despliegues de modelos históricos para alojarlos. Puedes elegir tu favorito: hay muchos por ahí, la gente de BentoML tiene un gran producto de servir.

Mucha otra gente sí necesita asegurarse de tener una GPU realmente grande y potente para ponerlo, aún así. Pero creo que no es muy diferente en ese punto, siempre y cuando elijas algo que quepa en una máquina al menos.

¿Los LLMs para MLOps se están volviendo populares?

Stephen: Oh sí, gracias por compartir eso…

La siguiente pregunta es si los LLMs para MLOps se están volviendo populares; ¿cuáles son los nuevos desafíos que pueden abordar mejor que los MLOps convencionales para casos de uso de NLP?

David: Hombre, siento que esto es un campo minado, voy a hacer que la gente se enfade sin importar lo que diga aquí. Es una buena pregunta, sin embargo. Hay una versión fácil de esto, que hablamos mucho sobre la construcción de ML o aplicaciones sobre modelos de lenguaje. Ya no necesitas entrenar un modelo, ya no necesitas alojar tu propio modelo, todo eso desaparece. Y así, en cierto sentido, es fácil.

Hay muchas cosas que no necesitas para construir modelos de lenguaje. Las nuevas preguntas que debes hacerte son:

  • 1
    ¿qué necesito?
  • 2
    ¿cuáles son las nuevas preguntas que necesito responder?
  • 3
    ¿cuáles son los nuevos flujos de trabajo de los que estamos hablando si no es entrenamiento, alojamiento, servir y probar?

Prompting es un nuevo flujo de trabajo del modelo de lenguaje… Construir un buen prompt es como una versión muy simple de construir un buen modelo. Aún es experimental.

Pruebas un prompt y funciona o no funciona. Experimentas con él hasta que funciona o no funciona, es casi como ajustar hiperparámetros de alguna manera.

Estás experimentando y experimentando, probando cosas y construyendo cosas hasta que encuentras un prompt que te gusta y luego lo implementas o lo que sea. Y así que algunas personas se centran en la experimentación de prompts. Y creo que eso es como una forma válida de pensar al respecto, cómo piensas en pesos y sesgos como experimentación para modelos.

¿Cómo tienes una herramienta similar para experimentar con prompts?

Llevar un registro de las versiones de los prompts y lo que funcionó y todo eso. Creo que eso es como una categoría de herramientas propia. Y si piensas que la Ingeniería de Prompts es una forma inferior de aprendizaje automático o no, es ciertamente algo que requiere sus propias herramientas y es completamente nuevo y, ciertamente, es diferente de todos los MLOps que hemos hecho antes. Creo que hay muchas oportunidades para pensar en ese flujo de trabajo y mejorarlo.

Hablamos de evaluación y monitoreo y algunos de los nuevos desafíos que son únicos para evaluar la calidad de la salida de un modelo de lenguaje en comparación con otros modelos.

Hay similitudes entre eso y el monitoreo de modelos de ML históricos, pero hay cosas que son simplemente diferentes de manera única. Creo que las preguntas que estamos haciendo son diferentes. Como dije, gran parte de ello es como análisis de producto. ¿Te gusta esto o no? Todos los objetivos de lo que capturas podrían afinar el modelo de una manera ligeramente diferente a como era antes.

Puedes decir que sabemos sobre monitoreo y MLOps, pero creo que hay al menos nuevas preguntas que necesitamos responder sobre cómo monitorear los modelos de lenguaje.

Por ejemplo, ¿qué es similar? Es experimental y probabilístico.

¿Por qué tenemos MLOps en lugar de DevOps? Esta es la pregunta que podrías hacer primero, supongo. Es porque el ML tiene este conjunto extraño de probabilidades, distribuciones y cosas que actúan de manera diferente al software tradicional, y eso sigue siendo lo mismo.

En cierto sentido, hay una gran superposición en cuanto a similitud porque gran parte de lo que estamos haciendo es descubrir cómo trabajar con software probabilístico. La diferencia es que ya no necesitamos entrenar modelos; escribimos indicaciones.

Los desafíos de alojamiento e interacción son diferentes… ¿Justifica un nuevo acrónimo? Tal vez. El hecho de que decir LLMOps sea tan molesto no significa que no debamos intentar hacerlo en primer lugar.

Independientemente de los acrónimos, ciertamente hay nuevos desafíos que debemos abordar y algunos desafíos antiguos a los que no necesitamos abordar tanto.

Stephen: Solo quería mencionar la parte de experimentación, sé que los desarrolladores ya están tomando notas… Está sucediendo mucho ingeniería de indicaciones. Ahora en realidad se está convirtiendo en un rol activo. De hecho, hay ingenieros de indicaciones avanzados, lo cual es increíble en sí mismo.

David: Es más fácil convertirse en ingeniero de indicaciones que en una persona de ML. Tal vez. Solo digo eso porque tengo un título en aprendizaje automático y no tengo un título en indicaciones. Pero ciertamente es un conjunto de habilidades y creo que administrarlo y trabajar con él es una buena habilidad para tener, y claramente es valiosa. Entonces, ¿por qué no?

¿Requiere GPT-3 alguna forma de orquestación?

Stephen: Absolutamente. Bien, veamos la otra pregunta:

¿GPT-3 necesita involucrar alguna forma de orquestación o tal vez encadenamiento? Por su comprensión, sienten que MLOps es más bien un proceso de orquestación que cualquier otra cosa.

David: Sí, creo que hay dos formas de pensar en eso.

Hay casos de uso de modelos de lenguaje que podrías imaginar que ocurren en lote. Por ejemplo, tomar todas las reseñas de mi aplicación, extraer comentarios relevantes de los usuarios y reportármelos o algo así.

Todavía existen todos los mismos desafíos de orquestación para obtener todos los nuevos datos, todas las nuevas reseñas de la App Store, pasarlos a través de un modelo de lenguaje en paralelo o en secuencia o como sea, recopilar esa información y luego enviarla donde sea necesario. Nada ha cambiado allí. Si tenías tu modelo alojado en un punto final internamente antes, ahora lo tienes alojado en el punto final de Open.AI externamente. ¿A quién le importa? Lo mismo, no hay cambios y los desafíos son más o menos los mismos.

En el momento de la inferencia, escucharás a mucha gente hablar de cosas como el encadenamiento y cosas así en los modelos de lenguaje. Y la idea principal aquí es que muchos de los casos de uso que tenemos en realidad implican ir y venir con un modelo muchas veces. Escribo una indicación, el modelo de lenguaje responde en función de lo que el modelo de lenguaje dice, y envío otra indicación para aclarar o avanzar en alguna otra dirección. Eso es un problema de orquestación.

Fundamentalmente, obtener datos de ida y vuelta de un modelo varias veces es un problema de orquestación. Entonces, sí, ciertamente hay desafíos de orquestación con los modelos de lenguaje. Algunos de ellos se ven igual que antes. Algunos de ellos son algo nuevo. Creo que las herramientas que tenemos para orquestar son las mismas herramientas que debemos seguir usando. Entonces, si estás usando Airflow, creo que eso es algo razonable de hacer. Si estás usando flujos de trabajo de Kubeflow, creo que eso es algo razonable de hacer. Si estás haciendo esas cosas en vivo, tal vez queramos herramientas ligeramente nuevas como las que la gente está usando LangChain ahora.

Parece similar a muchas cosas de orquestación, como temporal u otras cosas que ayudan con la orquestación y los flujos de trabajo en general también. Entonces, sí, creo que es una buena idea. Todavía hay mucho buen trabajo similar, como unir todos estos sistemas para que funcionen cuando deben hacerlo, y es ingeniería de software, como construir algo que siempre haga un conjunto de cosas que necesitas hacer y siempre lo haga. Y puedes confiar en eso, ya sea que se trate de MLOps o DevOps o lo que sea, construyendo flujos computacionales confiables.

Eso es una buena ingeniería de software.

¿Qué principios de MLOps se requieren para aprovechar al máximo los LLMs?

Stephen: Sé que MLOps tiene sus propios principios. Hablas de la reproducibilidad, que podría ser un problema difícil de resolver, y hablas de la colaboración. ¿Existen principios de MLOps que deben seguirse para aprovechar adecuadamente el potencial de estos Large Language Models para los equipos que se encuentran en el sistema?

David: Buena pregunta. Creo que todavía es temprano para saberlo realmente, pero creo que hay algunas preguntas similares…

Gran parte de lo que hemos aprendido de MLOps y DevOps son simplemente principios de cómo hacer esto. Y así, al final del día, gran parte de lo que pienso sobre esto tanto para MLOps como para DevOps es ingeniería de software en cierta medida. Es como, ¿podemos construir cosas que sean mantenibles, confiables, reproducibles y escalables?

Para muchas de las preguntas que queremos construir productos, esencialmente, tal vez específicamente para el modelo de lenguaje Ops, probablemente quieras versionar tus indicaciones. Es algo similar. Quieres hacer un seguimiento de las versiones y, a medida que cambien, quieres poder volver atrás. Y si tienes la misma versión de la indicación y la misma temperatura cero en el modelo, es reproducible, es lo mismo.

Nuevamente, el alcance de los desafíos es inherentemente más pequeño. Así que no creo que haya muchas cosas nuevas que necesariamente necesitemos aprender. Pero necesito pensar más al respecto, supongo que porque creo que seguramente habrá un manual de todas las cosas que necesitamos seguir para los modelos de lenguaje en el futuro. Pero creo que nadie lo ha escrito aún, así que tal vez uno de nosotros debería hacerlo.

Regulaciones en torno a las aplicaciones generativas de IA

Stephen: Sí, una oportunidad. Gracias por compartir eso, David.

La siguiente pregunta de la comunidad: ¿existen requisitos regulatorios y de cumplimiento que los equipos pequeños de herramientas de desarrollo deben tener en cuenta al incorporar modelos generativos de IA en servicios para los usuarios?

David: Sí, buena pregunta…

Un rango de cosas que creo que probablemente vale la pena considerar. Aviso que no soy abogado, así que por favor no tomes mi consejo y corras con él porque no sé todo.

De todas formas, hay algunos desafíos:

  1. OpenAI y servicios externos: muchos de los servicios que alojan los modelos de lenguaje en este momento son servicios externos. Les estamos enviando datos. Debido a los cambios activos que están haciendo en ChatGPT, ahora puedes obtener código fuente propietario de Amazon porque los ingenieros de Amazon han estado enviando su código a ChatGPT y ha sido ajustado y ahora puedes retroceder un poco.

Esto es un buen recordatorio de que estás enviando tus datos a otra persona cuando utilizas un servicio externo. Y eso obviamente, dependiendo de las implicaciones legales o empresariales, podría significar que no debes hacerlo y es posible que desees considerar alojarlo en el sitio y hay todo tipo de desafíos que vienen con eso.

  1. Unión Europea: el Acta de IA de la UE debería aprobarse este año y tiene cosas bastante estrictas que decir sobre la introducción de sesgos en los modelos y la medición de sesgos y cosas así. Cuando no eres propietario de un modelo, creo que vale la pena tener en cuenta que estos modelos ciertamente tienen una larga historia de producir contenido sesgado o tóxico y podría haber ramificaciones de cumplimiento por no probarlo y ser consciente de ello.

Y creo que eso es probablemente un nuevo conjunto de desafíos que vamos a tener que enfrentar, cómo asegurarse de que al generar el contenido no se esté generando contenido tóxico o sesgado o tomando acciones sesgadas debido a lo que se está generando. Y así estamos acostumbrados a un mundo donde somos propietarios de los datos que se utilizan para entrenar estos modelos, por lo que con suerte podemos iterar y tratar de eliminar los sesgos. Si eso no es cierto, ciertamente son nuevas preguntas que debes hacer sobre cómo es posible utilizar estos sistemas de manera que cumplan con el panorama legislativo en constante evolución.

En general, la legislación en materia de IA todavía es bastante nueva. Creo que muchas personas tendrán que descubrir muchas cosas, especialmente cuando se apruebe el Acta de IA de la UE.

Pruebas de LLMs

Stephen: Y mencionaste algo realmente interesante sobre la parte de las pruebas del modelo… ¿Alguien ha descubierto eso para LLMs?

David: Muchas personas están intentando; sé que las personas están intentando cosas interesantes. Hay métricas que las personas han construido en la Academia para medir la toxicidad. Hay métodos y medidas disponibles para evaluar la salida de texto. Ha habido pruebas similares para el sesgo de género y cosas así que históricamente han jugado un papel en esto. Así que hay métodos disponibles.

Hay personas que están utilizando modelos para probar modelos. Por ejemplo, puedes usar un modelo de lenguaje para analizar la salida de otro modelo de lenguaje y simplemente decir: “¿es esto odioso o discriminatorio?” o algo así, y son bastante buenos en eso.

Supongo que la versión corta es que estamos en una etapa muy temprana y no creo que haya una sola herramienta a la que pueda señalar a alguien y decir: “aquí está la forma de hacer toda tu evaluación y pruebas”. Pero al menos hay elementos básicos en su forma original disponibles ahora mismo para tratar de trabajar en algunos de estos aspectos. Pero es difícil en este momento.

“Creo que es uno de los desafíos más grandes y activos para que las personas lo resuelvan en este momento”.

Inteligencia Artificial generativa con recursos limitados

Stephen: Cuando hablas de un modelo evaluando otro modelo, mi mente se dirige directamente a los equipos que utilizan el monitoreo en algunas de las últimas plataformas, donde los modelos están evaluándose activamente a sí mismos. Probablemente sea un buen lugar de negocio para buscar estas herramientas.

Voy a pasar directamente a la siguiente pregunta y creo que se trata de la parte de optimización de las cosas…

Hay una razón por la que los llamamos LLM (Modelos de Lenguaje de Largo) y mencionaste un par de herramientas, siendo la más reciente de Facebook, LLaMA.

¿Cómo vamos a ver más modelos de IA generativos optimizados para desarrollos con recursos limitados con el tiempo, donde hay recursos limitados pero quieres alojarlo en la plataforma?

David: Sí, creo que esto es realmente importante. Creo que probablemente sea una de las tendencias más importantes que vamos a ver, y la gente está trabajando en ello todavía en una etapa temprana, pero hay muchas razones para preocuparse por esto:

  1. Costo: Es muy caro operar miles de GPUs para hacer esto.
  2. Latencia: Si estás construyendo un producto que interactúa con un usuario, cada milisegundo de latencia en cargar una página afecta su experiencia.
  3. Entornos que no pueden tener una GPU: no puedes llevar un clúster en tu teléfono o donde sea que estés para hacer todo.

Creo que hay mucho desarrollo en la generación de imágenes. Ha habido una cantidad increíble de progreso en pocos meses para mejorar el rendimiento. Mi MacBook puede generar imágenes bastante rápido.

Ahora, los modelos de lenguaje son más grandes y más desafiantes todavía: creo que hay mucho trabajo por hacer. Pero hay muchas técnicas prometedoras que he visto que las personas utilizan, como usar un modelo muy grande para generar datos y ajustar un modelo más pequeño para lograr una tarea.

Por ejemplo, si el modelo más grande de OpenAI es bueno en alguna tarea pero el más pequeño no lo es, puedes hacer que el más grande realice esa tarea 10,000 veces, ajustar el más pequeño para mejorar, o un modelo más pequeño para mejorar en esa tarea.

Los componentes están ahí, pero este es otro lugar donde no creo que tengamos todas las herramientas que necesitamos aún para resolver este problema. También es uno de los lugares que más me emociona; ¿cómo podemos hacer que sea más fácil para las personas aprovechar las capacidades de estos modelos realmente grandes e impresionantes y ajustarlos a una forma que tenga sentido para sus restricciones de costo, latencia o entorno?

¿Qué industrias se beneficiarán de los LLM y cómo pueden integrarlos?

Stephen: Sí, y parece que la forma en que pensamos en el aprendizaje activo y otras técnicas está cambiando con el tiempo. Porque si puedes tener un modelo de lenguaje grande como el de afinar un modelo más pequeño o entrenar un modelo más pequeño, eso es una cadena de eventos increíble que está sucediendo.

Gracias por compartir eso, David.

Voy a pasar directamente a la próxima pregunta de la comunidad: ¿en qué industrias crees que se beneficiarían más de las capacidades de generación de lenguaje de GPT-3 y cómo pueden integrarlo?

David: Tal vez para empezar con lo obvio y luego nos adentraremos en lo menos obvio porque creo que eso es fácil.

Cualquier generación de contenido debe complementarse ahora con modelos de lenguaje.

Eso es obvio.

Por ejemplo, la redacción y el marketing son industrias fundamentalmente diferentes ahora que solían ser, y es obvio por qué; es mucho más barato producir contenido de calidad que nunca. Puedes construir contenido de calidad personalizado en poco tiempo y a una escala infinita.

Es difícil creer que casi todos los aspectos de esa industria no deban cambiar en cierta medida y adoptar rápidamente modelos de lenguaje. Y hemos visto que en gran medida hasta ahora.

Hay personas que generarán las descripciones de tus productos, tus fotos de productos, tu contenido de marketing y tu copia, y no es casualidad que eso sea lo más grande y obvio porque encaja perfectamente.

Avanzando, creo que mi respuesta empeora un poco. Probablemente todos deberían considerar cómo pueden utilizar un modelo de lenguaje, pero los casos de uso probablemente no sean tan obvios. No todos necesitan un chatbot, no todos necesitan tener la función de autocompletar texto, o algo así.

Pero ya sea que tus ingenieros de software sean más eficientes porque están utilizando Copilot, o que tengas una mejor búsqueda interna de tu documentación o que tu documentación de producto tenga mejores capacidades de búsqueda porque puedes indexarla con modelos de lenguaje, eso probablemente sea cierto para la mayoría de las personas en alguna forma. Y una vez que te adentras en cosas más complicadas y, como dije, hay oportunidades para automatizar acciones u otras automatizaciones, comienzas a adentrarte en todo tipo de formas de casi todo.

Supongo que hay cosas que obviamente se transforman por completo con modelos de lenguaje, como cualquier lugar donde se genere contenido, debería ser completamente transformador en cierto sentido. Luego hay una larga lista de cambios potenciales que se aplican a casi todas las industrias.

Herramientas para ayudar con la implementación de LLMs

Stephen: Bien, gracias por compartir eso. Y solo dos preguntas finales antes de que terminemos la sesión.

¿Hay herramientas que estás viendo que están cambiando realmente el panorama ahora y de las que las personas deberían estar conscientes en este momento, especialmente aquellas que están facilitando realmente la implementación de estos modelos?

David: Bueno, estamos hablando de LLMOps. Mencionaré a algunas personas que están trabajando en ese espacio y haciendo cosas interesantes. La herramienta de despegue más importante para ayudar a las personas con la generación de comandos y la orquestación de comandos, y cosas así, es LangChain, se ha vuelto muy popular.

Tienen una biblioteca de Python y una biblioteca de JavaScript. Ahora están iterando a un ritmo increíble. Esa comunidad es realmente asombrosa y vibrante. Así que échale un vistazo si estás tratando de empezar y experimentar. Creo que es el mejor lugar para comenzar.

Otras herramientas como Dust y GPT Index también están en un espacio similar para ayudarte a escribir y luego construir, prototipos de interacción con modelos de lenguaje.

Hay algunas otras cosas disponibles. Hablamos mucho sobre evaluación y monitoreo, y creo que hay una empresa llamada Humanloop, una empresa llamada HoneyHive, que están ambas en ese espacio, así como cuatro o cinco empresas en el actual grupo de YC, que tal vez se enojen conmigo por no mencionarlas individualmente, pero todas están construyendo cosas realmente interesantes allí.

Hay muchas cosas nuevas que están saliendo en torno a la valoración y gestión de comandos, y cosas así, gestión de costos y todo. Así que te diría que eches un vistazo a esas herramientas y te familiarices con las nuevas cosas que necesitamos para ayudar.

El futuro de MLOps con GPT, GPT-3 y GPT-4

Stephen: Genial. Gracias, David. Definitivamente, déjalas en las notas del programa también para el próximo episodio del podcast que se lanzará.

¿Alguna palabra final, David, sobre el futuro de MLOps con GPT-3 y GPT en el horizonte, y GPT-4 en el horizonte?

David: He estado trabajando en MLOps durante años, y esto es lo más emocionante que he estado. Porque creo que esta es la oportunidad que tenemos de pasar de un campo de nicho, relativamente de nicho, a impactar a todos y cada uno y a todos los productos. Y eso va a cambiar y hay muchas diferencias.

Pero por primera vez, siento que la IA realmente esperaba que MLOps hiciera posible que todos en el mundo pudieran utilizar la IA para cambiar sus productos. Y esto es lo más cercano, siento que estamos donde, al bajar la barrera de entrada, todos pueden hacerlo. Así que creo que tenemos una gran oportunidad de llevar la IA a las masas ahora, y espero que como comunidad, todos podamos hacer que eso suceda.

Conclusiones

Stephen: Genial. Espero que así sea porque también estoy emocionado por el panorama en sí. Así que muchas gracias. David, ¿dónde pueden encontrarte las personas y conectarse contigo en línea?

David: Sí, tanto LinkedIn como Twitter son geniales.

@DavidSHershey en Twitter, y David Hershey en LinkedIn. Así que por favor contáctame, envíame un mensaje en cualquier momento. Encantado de hablar sobre modelos de lenguaje, MLOps, lo que sea, y discutir al respecto.

Stephen: Increíble. Así que aquí en MLOps Live, estaremos de regreso en dos semanas, y en ese momento estaremos hablando con Leanne y discutiendo cómo puedes superar las barreras organizativas mediante MLOps. Muchas cosas interesantes sobre MLOps en el horizonte, así que no te lo pierdas. Así que muchas gracias, David, por unirte a la sesión. Apreciamos tu tiempo y también valoramos tu trabajo. Es genial tenerte a ambos aquí.

David: Gracias por recibirme. Fue realmente divertido.

Stephen: Increíble. Adiós y cuídate.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

Inteligencia Artificial

Un nuevo estudio de investigación de IA de Stanford explica el papel de las expresiones de exceso de confianza e incertidumbre en los modelos de lenguaje

A medida que los sistemas de lenguaje natural se vuelven cada vez más prevalentes en escenarios reales, estos sistema...

Noticias de Inteligencia Artificial

Un Asistente Robótico Vestible Que Está Por Todas Partes

El robot asistente Calico desarrollado por investigadores de la Universidad de Maryland puede ser usado en la ropa de...

Inteligencia Artificial

Enfoque de IA produce un perro robótico 'inteligente atléticamente

Un equipo internacional de investigadores ha desarrollado un algoritmo basado en visión que permite a los robots cuad...

Inteligencia Artificial

Intuitivo logra un mayor rendimiento mientras ahorra en costos de IA/ML utilizando AWS Inferentia y PyTorch

Este es un post de invitado escrito por José Benítez, fundador y director de AI y Mattias Ponchon, jefe de infraestru...

Inteligencia Artificial

Conoce ConceptGraphs Una representación gráfica estructurada de vocabulario abierto para escenas en 3D

La captura y codificación de información sobre una escena visual, típicamente en el contexto de la visión por computa...