Difusión estable / OpenAI
El martes, OpenAI Anunciado una actualización considerable de sus ofertas de API de modelo de lenguaje grande (incluidos GPT-4 y gpt-3.5-turbo), incluida una nueva capacidad de llamada de funciones, reducciones significativas de costos y una opción de ventana de contexto de 16,000 tokens para el modelo gpt-3.5-turbo.
En los modelos de lenguaje grande (LLM), la “ventana de contexto” es como una memoria a corto plazo que almacena el contenido de la entrada de aviso o, en el caso de un chatbot, todo el contenido de la conversación en curso. En los modelos de lenguaje, aumentar el tamaño del contexto se ha convertido en una carrera tecnológica, y Anthropic anunció recientemente una opción de ventana de contexto de 75 000 tokens para su modelo de lenguaje Claude. Además, OpenAI ha desarrollado una versión de 32 000 tokens de GPT-4, pero aún no está disponible públicamente.
En ese sentido, OpenAI acaba de presentar una nueva versión de 16 000 ventanas de contexto de gpt-3.5-turbo, llamada, como era de esperar, “gpt-3.5-turbo-16k”, que permite que un indicador tenga una longitud de hasta 16 000 tokens. Con cuatro veces la longitud de contexto de la versión estándar de 4000, gpt-3.5-turbo-16k puede procesar alrededor de 20 páginas de texto en una sola solicitud. Este es un impulso considerable para los desarrolladores que requieren que el modelo procese y genere respuestas para fragmentos de texto más grandes.
Como se cubre en detalle en la publicación del anuncio, OpenAI enumeró al menos otros cuatro cambios importantes en sus API de GPT:
- Introducción de la característica de llamada de función en el API de finalización de chat
- Versiones mejoradas y “más orientables” de GPT-4 y gpt-3.5-turbo
- Un recorte de precio del 75 por ciento en el modelo de incrustaciones “ada”
- Una reducción del 25 por ciento en el precio de los tokens de entrada para gpt-3.5-turbo.
Con la función de llamada, los desarrolladores ahora pueden crear chatbots más fácilmente capaces de llamar a herramientas externas, convertir el lenguaje natural en llamadas API externas o realizar consultas a bases de datos. Por ejemplo, puede convertir avisos como “Envía un correo electrónico a Anya para ver si quiere tomar un café el próximo viernes” en una llamada de función como “send_email(to: string, body: string)”. En particular, esta característica también permitirá una JSON -salida formateada, que los usuarios de la API tenían dificultades para generar anteriormente.
Con respecto a la “direccionabilidad”, que es un término elegante para el proceso de hacer que el LLM se comporte de la manera que desea, OpenAI dice que su nuevo modelo “gpt-3.5-turbo-0613” incluirá “direccionabilidad más confiable a través del mensaje del sistema .” El mensaje del sistema en la API es un indicador de directiva especial que le dice al modelo cómo comportarse, como “Eres Grimace. Solo hablas de batidos”.
Además de las mejoras funcionales, OpenAI ofrece reducciones sustanciales de costos. En particular, el precio de los tokens de entrada del popular gpt-3.5-turbo se ha reducido en un 25 por ciento. Esto significa que los desarrolladores ahora pueden usar este modelo por aproximadamente $0.0015 por cada 1000 tokens de entrada y $0.002 por cada 1000 tokens de salida, lo que equivale a aproximadamente 700 páginas por dólar. El modelo gpt-3.5-turbo-16k tiene un precio de 0,003 USD por 1000 tokens de entrada y 0,004 USD por 1000 tokens de salida.
Benj Edwards / Ars Technica
Además, OpenAI ofrece una enorme reducción de costos del 75 por ciento para su “incrustación de texto-ada-002” modelo de incrustaciones, cuyo uso es más esotérico que sus hermanos conversacionales. Un modelo de incrustaciones es como un traductor para computadoras, convirtiendo palabras y conceptos en un lenguaje numérico que las máquinas pueden entender, lo cual es importante para tareas como buscar texto y sugerir contenido relevante .
Dado que OpenAI sigue actualizando sus modelos, los antiguos no existirán para siempre. Hoy, la compañía también anunció que está comenzando el proceso de desaprobación de algunas versiones anteriores de estos modelos, incluidos gpt-3.5-turbo-0301 y gpt-4-0314. La compañía dice que los desarrolladores pueden continuar usando estos modelos hasta el 13 de septiembre, después de lo cual ya no se podrá acceder a los modelos más antiguos.
Vale la pena señalar que la API GPT-4 de OpenAI todavía está encerrado detrás de una lista de espera y, sin embargo, ampliamente disponible.