Cómo funciona el modelo de lenguaje para aplicaciones de diálogo


Google creando un modelo de lenguaje no es algo nuevo; de hecho, Google LaMDA se une a BERT y MUM como una forma para que las máquinas mejoren comprender la intención del usuario.

Google ha investigado modelos basados ​​en el lenguaje durante varios años con la esperanza de entrenar un modelo que esencialmente pudiera mantener una conversación lógica y perspicaz sobre cualquier tema.

Hasta ahora, Google LaMDA parece ser el más cercano a alcanzar este hito.

¿Qué es Google LaMDA?

LaMDA, que significa Language Models for Dialog Application, se creó para permitir que el software participe mejor en una conversación fluida y natural.

LaMDA se basa en la misma arquitectura de transformadores que otros modelos de lenguaje como BERT y GPT-3.

Sin embargo, debido a su capacitación, LaMDA puede comprender preguntas y conversaciones matizadas que cubren varios temas diferentes.

Con otros modelos, debido a la naturaleza abierta de las conversaciones, podría terminar hablando de algo completamente diferente, a pesar de centrarse inicialmente en un solo tema.

Este comportamiento puede confundir fácilmente a la mayoría de los modelos conversacionales y chatbots.

Durante el anuncio de Google I/O del año pasado, vimos que LaMDA se creó para superar estos problemas.

La demostración demostró cómo el modelo podía llevar a cabo de forma natural una conversación sobre un tema dado al suerte.

A pesar de la corriente de preguntas vagamente asociadas, la conversación se mantuvo encaminada, lo cual fue increíble de ver.

¿Cómo funciona LaMDA?

LaMDA se creó en la red neuronal de código abierto de Google, Transformadorque se utiliza para la comprensión del lenguaje natural.

El modelo está entrenado para encontrar patrones en oraciones, correlaciones entre las diferentes palabras utilizadas en esas oraciones e incluso predecir la palabra que probablemente vendrá a continuación.

Lo hace mediante el estudio de conjuntos de datos que consisten en diálogos en lugar de solo palabras individuales.

Si bien un sistema de IA conversacional es similar al software de chatbot, existen algunas diferencias clave entre los dos.

Por ejemplo, los chatbots están entrenados en conjuntos de datos específicos y limitados y solo pueden tener una conversación limitada en función de los datos y las preguntas exactas en las que están entrenados.

Por otro lado, debido a que LaMDA está capacitado en múltiples conjuntos de datos diferentes, puede tener conversaciones abiertas.

Durante el proceso de formación, capta los matices del diálogo abierto y se adapta.

Puede responder preguntas sobre muchos temas diferentes, según el flujo de la conversación.

Por lo tanto, permite conversaciones que son aún más similares a la interacción humana de lo que a menudo pueden proporcionar los chatbots.

¿Cómo se entrena LaMDA?

Google explicó que LaMDA tiene un proceso de capacitación en dos etapas, que incluye capacitación previa y ajuste.

En total, el modelo se entrena en 1,56 billones de palabras con 137 mil millones de parámetros.

Pre-entrenamiento

Para la etapa de precapacitación, el equipo de Google creó un conjunto de datos de 1,56T de palabras de varios documentos web públicos.

Luego, este conjunto de datos se tokeniza (se convierte en una cadena de caracteres para formar oraciones) en tokens 2.81T, en los que se entrena inicialmente el modelo.

Durante el pre-entrenamiento, el modelo utiliza paralelización general y escalable para predecir la siguiente parte de la conversación en función de los tokens anteriores que ha visto.

Sintonia FINA

LaMDA está capacitado para realizar tareas de generación y clasificación durante la fase de puesta a punto.

Esencialmente, el generador LaMDA, que predice la siguiente parte del diálogo, genera varias respuestas relevantes basadas en la conversación de ida y vuelta.

Los clasificadores de LaMDA luego predecirán los puntajes de seguridad y calidad para cada respuesta posible.

Cualquier respuesta con una puntuación de seguridad baja se filtra antes de que se seleccione la respuesta con la puntuación más alta para continuar la conversación.

Las puntuaciones se basan en la seguridad, sensibilidad, especificidad y porcentajes interesantes.

Clasificadores LaMDAImagen del blog de Google AI, marzo de 2022

El objetivo es garantizar que se brinde la respuesta más relevante, de alta calidad y, en última instancia, más segura.

Métricas y objetivos clave de LaMDA

Se han definido tres objetivos principales para el modelo para guiar el entrenamiento del modelo.

Estos son la calidad, la seguridad y la conexión a tierra.

Calidad

Esto se basa en tres dimensiones del evaluador humano:

  • Sensatez.
  • especificidad
  • Interesante.

El puntaje de calidad se usa para garantizar que una respuesta tenga sentido en el contexto en que se usa, que sea específica para la pregunta formulada y que se considere lo suficientemente perspicaz para crear un mejor diálogo.

La seguridad

Para garantizar la seguridad, el modelo sigue los estándares de la IA responsable. Se utiliza un conjunto de objetivos de seguridad para capturar y revisar el comportamiento del modelo.

Esto garantiza que la salida no proporcione ninguna respuesta no deseada y evita cualquier sesgo.

puesta a tierra

La puesta a tierra se define como “el porcentaje de respuestas que contienen afirmaciones sobre el mundo externo”.

Esto se utiliza para garantizar que las respuestas sean lo más precisas posible, lo que permite a los usuarios juzgar la validez de una respuesta en función de la confiabilidad de su fuente.

Evaluación

A través de un proceso continuo de cuantificación del progreso, las respuestas del modelo preentrenado, el modelo ajustado y los evaluadores humanos se revisan para evaluar las respuestas frente a las métricas de calidad, seguridad y conexión a tierra antes mencionadas.

Hasta el momento, han podido concluir que:

  • Las métricas de calidad mejoran con el número de parámetros.
  • La seguridad mejora con el ajuste fino.
  • La conexión a tierra mejora a medida que aumenta el tamaño del modelo.
Progreso de LaMDAImagen del blog de Google AI, marzo de 2022

¿Cómo se utilizará LaMDA?

Si bien todavía es un trabajo en progreso sin una fecha de lanzamiento definitiva, se prevé que LaMDA se utilizará en el futuro para mejorar la experiencia del cliente y permitir que los chatbots brinden una conversación más humana.

Además, usar LaMDA para navegar dentro del motor de búsqueda de Google es una posibilidad real.

Implicaciones de LaMDA para SEO

Al centrarse en el lenguaje y los modelos conversacionales, Google ofrece información sobre su visión para el futuro de la búsqueda y destaca un cambio en la forma en que se desarrollan sus productos.

En última instancia, esto significa que puede haber un cambio en el comportamiento de búsqueda y en la forma en que los usuarios buscan productos o información.

Google trabaja constantemente para mejorar la comprensión de la intención de búsqueda de los usuarios para garantizar que reciban los resultados más útiles y relevantes en los SERP.

El modelo LaMDA, sin duda, será una herramienta clave para comprender las preguntas que los buscadores pueden estar haciendo.

Todo esto destaca aún más la necesidad de garantizar que el contenido esté optimizado para humanos en lugar de motores de búsqueda.

Asegurarse de que el contenido sea conversacional y esté escrito teniendo en cuenta a su público objetivo significa que incluso a medida que Google avanza, el contenido puede seguir funcionando bien.

También es clave para regularmente actualizar el contenido perenne para garantizar que evolucione con el tiempo y siga siendo relevante.

En un trabajo titulado Repensar la búsqueda: convertir a los diletantes en expertoslos ingenieros de investigación de Google compartieron cómo prevén que los avances de IA como LaMDA mejorarán aún más la «búsqueda como una conversación con expertos».

Compartieron un ejemplo en torno a la pregunta de búsqueda: «¿Cuáles son los beneficios y riesgos para la salud del vino tinto?»

Actualmente, Google mostrará una lista de casillas de respuesta con viñetas como respuestas a esta pregunta.

Sin embargo, sugieren que en el futuro, una respuesta bien podría ser un párrafo que explique los beneficios y riesgos del vino tinto, con enlaces a la información de origen.

Por lo tanto, garantizar que el contenido esté respaldado por fuentes expertas será más importante que nunca si Google LaMDA genera resultados de búsqueda en el futuro.

Superando desafíos

Al igual que con cualquier modelo de IA, hay desafíos que chocar.

los dos retos principales que enfrentan los ingenieros con Google LaMDA son la seguridad y la conexión a tierra.

Seguridad: evitar sesgos

Debido a que puede obtener respuestas de cualquier parte de la web, existe la posibilidad de que la salida amplifique el sesgo, reflejando las nociones que se comparten en línea.

Es importante que la responsabilidad sea lo primero con Google LaMDA para garantizar que no genere resultados impredecibles o dañinos.

Para ayudar a superar esto, Google ha abierto los recursos utilizados para analizar y entrenar los datos.

Esto permite que diversos grupos participen en la creación de los conjuntos de datos utilizados para entrenar el modelo, ayudar a identificar el sesgo existente y minimizar el intercambio de información dañina o engañosa.

Puesta a tierra fáctica

No es fácil validar la confiabilidad de las respuestas que producen los modelos de IA, ya que las fuentes se recopilan de toda la web.

Para superar este desafío, el equipo permite que el modelo consulte con múltiples fuentes externas, incluidos los sistemas de recuperación de información e incluso una calculadora, para brindar resultados precisos.

La métrica Groundedness compartida anteriormente también garantiza que las respuestas se basen en fuentes conocidas. Estas fuentes se comparten para permitir a los usuarios validar los resultados proporcionados y evitar la difusión de información errónea.

¿Qué sigue para Google LaMDA?

Google tiene claro que existen beneficios y riesgos en los modelos de diálogo abierto como LaMDA y está comprometido a mejorar la seguridad y la conexión a tierra para garantizar una experiencia más confiable e imparcial.

Entrenar modelos LaMDA en diferentes datos, incluidas imágenes o videos, es otra cosa que podemos ver en el futuro.

Esto abre la capacidad de navegar aún más en la web, utilizando indicaciones conversacionales.

CEO de Google, Sundar Pichai dicho de LaMDA«Creemos que las capacidades de conversación de LaMDA tienen el potencial de hacer que la información y la computación sean radicalmente más accesibles y fáciles de usar».

Si bien aún no se ha confirmado una fecha de lanzamiento, no hay duda de que modelos como LaMDA serán el futuro de Google.

Más recursos:


Imagen destacada: Andrey Suslov/Shutterstock





Consultar el artículo en la publicación original

Cómo funciona el modelo de lenguaje para aplicaciones de diálogo
A %d blogueros les gusta esto: