Los modelos de lenguaje como GPT-3 podrían presagiar un nuevo tipo de motor de búsqueda

Ahora, un equipo de investigadores de Google ha publicado una propuesta de rediseño radical que descarta el enfoque de clasificación y lo reemplaza con un único modelo de lenguaje de IA grande, como BERT o GPT-3, o una versión futura de ellos. La idea es que en lugar de buscar información en una amplia lista de páginas web, los usuarios hagan preguntas y tengan un modelo de lenguaje entrenado en esas páginas que las responda directamente. El enfoque podría cambiar no solo el funcionamiento de los motores de búsqueda, sino también lo que hacen y cómo interactuamos con ellos.

Los motores de búsqueda se han vuelto más rápidos y precisos, incluso cuando la web se ha disparado en tamaño. La IA ahora se usa para clasificar los resultados y Google usa BERT para comprender las consultas de búsqueda

mejor. Sin embargo, debajo de estos ajustes, todos los motores de búsqueda convencion ales todavía funcionan de la misma manera que lo hacían hace 20 años: las páginas web son indexadas por rastreadores (software que lee la web sin parar y mantiene una lista de todo lo que encuentra), los resultados que coinciden con la consulta de un usuario son recopilados de este índice, y los resultados se clasifican.

“Este modelo de índice de recuperación y luego clasificación ha resistido la prueba del tiempo y rara vez ha sido desafiado o replanteado seriamente”, escriben Donald Metzler y sus colegas de Google Research.

El problema es que incluso los mejores motores de búsqueda de hoy todavía responden con una lista de documentos que incluyen la información solicitada, no con la información en sí. Los motores de búsqueda tampoco son buenos para responder a consultas que requieren respuestas extraídas de múltiples fuentes. Es como si le pidiera consejo a su médico y recibiera una lista de artículos para leer en lugar de una respuesta directa.

Metzler y sus colegas están interesados ​​en un motor de búsqueda que se comporte como un experto humano. Debe producir respuestas en lenguaje natural, sintetizadas a partir de más de un documento, y respaldar sus respuestas con referencias a evidencia de apoyo, como pretenden hacer los artículos de Wikipedia.

Los grandes modelos de lenguaje nos llevan parte del camino. Formado en la mayor parte de la web y cientos de libros, GPT-3 extrae información de múltiples fuentes para responder preguntas en lenguaje natural. El problema es que no realiza un seguimiento de esas fuentes y no puede proporcionar evidencia para sus respuestas. No hay forma de saber si GPT-3 está repitiendo información confiable o desinformación, o simplemente arrojando tonterías de su propia creación.

Metzler y sus colegas llaman diletantes a los modelos del lenguaje: “Se percibe que saben mucho, pero su conocimiento es superficial”. La solución, afirman, es construir y entrenar futuros BERT y GPT-3 para retener registros de dónde provienen sus palabras. Ningún modelo de este tipo es capaz todavía de hacer esto, pero en principio es posible, y hay trabajos iniciales en esa dirección.

Ha habido décadas de progreso en diferentes áreas de búsqueda, desde responder consultas hasta resumir documentos y estructurar la información, dice Ziqi Zhang de la Universidad de Sheffield, Reino Unido, que estudia la recuperación de información en la web. Pero ninguna de estas tecnologías revisó la búsqueda porque cada una aborda problemas específicos y no es generalizable. La interesante premisa de este artículo es que los grandes modelos de lenguaje pueden hacer todas estas cosas al mismo tiempo, dice.

Sin embargo, Zhang señala que los modelos de lenguaje no funcionan bien con materias técnicas o especializadas porque hay menos ejemplos en el texto en el que están capacitados. “Probablemente hay cientos de veces más datos sobre comercio electrónico en la web que datos sobre mecánica cuántica”, dice. Los modelos lingüísticos de hoy también están sesgados hacia el inglés, lo que dejaría desatendidas las partes de la web que no están en inglés.

Aún así, Zhang agradece la idea. “Esto no ha sido posible en el pasado, porque los modelos de lenguaje grandes solo despegaron recientemente”, dice. “Si funciona, transformaría nuestra experiencia de búsqueda”.

Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.