Claude AI de Anthropic ahora puede digerir un libro completo como El gran Gatsby en segundos

El jueves, la empresa de inteligencia artificial Anthropic Anunciado le ha dado a su modelo de lenguaje Claude AI, similar a ChatGPT, la capacidad de analizar el material de un libro completo en menos de un minuto. Esta nueva habilidad proviene de expandir la ventana de contexto de Claude a 100 000 fichas, o alrededor de 75 000 palabras.

Al igual que GPT-4 de OpenAI, Claude es un modelo de lenguaje grande (LLM) que funciona al predecir el siguiente token en una secuencia cuando se le da una entrada determinada. Los tokens son fragmentos de palabras que se utilizan para simplificar el procesamiento de datos de IA, y una “ventana de contexto” es similar a la memoria a corto plazo: la cantidad de datos de entrada proporcionados por humanos que un LLM puede procesar a la vez.

Una ventana de contexto más grande significa que un LLM puede considerar trabajos más grandes como libros o participar en conversaciones interactivas muy largas que duran “horas o incluso días”, según Anthropic:

La persona promedio puede leer 100,000 tokens de texto en ~5+ horas, y luego podría necesitar mucho más tiempo para digerir, recordar y analizar esa información. Claude ahora puede hacer esto en menos de un minuto. Por ejemplo, cargamos el texto completo de El gran Gatsby en Claude-Instant (72K tokens) y modificamos una línea para decir que el Sr. Carraway era “un ingeniero de software que trabaja con herramientas de aprendizaje automático en Anthropic”. Cuando le pedimos al modelo que detectara qué era diferente, respondió con la respuesta correcta en 22 segundos.

Si bien puede no sonar impresionante seleccionar cambios en un texto (Microsoft Word puede hacer eso, pero solo si tiene dos documentos para comparar), considere que después de darle a Claude el texto de El gran Gatsby, el modelo de IA puede responder preguntas al respecto de forma interactiva o analizar su significado. 100,000 tokens es una gran mejora para los LLM. En comparación, GPT-4 LLM de OpenAI cuenta con longitudes de ventana de contexto de 4096 tokens (alrededor de 3000 palabras) cuando se usa como parte de ChatGPT y 8192 o 32 768 tokens a través de la API GPT-4 (que actualmente solo está disponible a través de la lista de espera).

Para entender cómo una ventana de contexto más grande lleva a una conversación más larga con un chatbot como ChatGPT o Claude, hicimos un diagrama para un artículo anterior que muestra cómo se agranda el tamaño de la indicación (que se mantiene en la ventana de contexto) para contener todo el mensaje. texto de la conversación. Eso significa que una conversación puede durar más antes de que el chatbot pierda su “memoria” de la conversación.

Según Anthropic, las capacidades mejoradas de Claude van más allá del procesamiento de libros. La ventana de contexto ampliada podría ayudar a las empresas a extraer información importante de varios documentos a través de una interacción conversacional. La compañía sugiere que este enfoque puede superar a los métodos basados ​​en la búsqueda de vectores cuando se trata de consultas complicadas.

Si bien no es un nombre tan importante en IA como Microsoft y Google, Anthropic se ha convertido en un rival notable de OpenAI en términos de ofertas competitivas en LLM y acceso a API. El ex vicepresidente de investigación de OpenAI Dario Amodei y su hermana Daniela fundado Anthropic en 2021 tras un desacuerdo sobre la dirección comercial de OpenAI. En particular, Anthropic recibió $ 300 millones inversión de Google a fines de 2022, y Google adquirió una participación del 10 por ciento en la empresa.

Anthropic dice que las ventanas de contexto de 100K están disponibles ahora para los usuarios de la Claude APIque actualmente está restringido por una lista de espera.