ReALM. ¿Un modelo de lenguaje innovador de Apple? | IA en los negocios #121

¿Qué es ReALM?

ReALM significa “Resolución de Referencias Como Modelado de Lenguaje”, una solución innovadora desarrollada por investigadores de Apple. Así, es un nuevo modelo de lenguaje (Modelo de Lenguaje Grande, LLM) que trata el problema del reconocimiento de referencias como una tarea en el campo del modelado de lenguaje.

ReALM convierte efectivamente varios tipos de contexto en una representación textual, que luego procesa como parte de una tarea de lenguaje. Esto puede incluir:

• conversaciones – como mensajes de texto, comandos de voz a un asistente o correos electrónicos,
• elementos en la pantalla – por ejemplo, fotos, calendario, widget del clima o aplicaciones y procesos que se ejecutan en segundo plano.

¿Qué hace que ReALM sea diferente de otros modelos de reconocimiento de referencias? Primero, el enfoque – en lugar de depender del procesamiento de imágenes, ReALM opera en el dominio del texto. Esto lo hace mucho más ligero y eficiente, lo que debería permitir que funcione directamente en dispositivos móviles mientras mantiene la privacidad del usuario.

¿En qué aspectos es ReALM mejor que GPT-4?

El equipo de investigación de Apple comparó ReALM con los modelos de lenguaje más poderosos en el mercado hoy en día – GPT-3.5 y GPT-4 de OpenAI. Los resultados fueron impresionantes. En tareas de reconocimiento de referencias, la variante más pequeña de ReALM logró una precisión comparable a GPT-4. ¡Los modelos más grandes de ReALM incluso superaron a GPT-4 en el reconocimiento de referencias a elementos mostrados en la pantalla (http://arxiv.org/abs/2403.20329).

¿Qué explica esta ventaja? Primero, ReALM es excelente con consultas específicas de dominio, como aquellas relacionadas con electrodomésticos inteligentes. Esto se debe a que ReALM demuestra una comprensión más profunda del contexto al ajustar el modelo para datos específicos de dominio.

Además, a diferencia de GPT-4, que se entrena principalmente con imágenes de objetos reales, ReALM sobresale en el reconocimiento de elementos textuales y componentes de interfaces de usuario de aplicaciones. Y es la comprensión de la interfaz lo que es crítico para la interacción fluida de los asistentes de voz con las aplicaciones que usamos hoy en día.

Fuente: DALL·E 3, prompt: Marta M. Kania (https://www.linkedin.com/in/martamatyldakania/)

¿Es este el comienzo de la era de asistentes verdaderamente inteligentes?

De hecho, la integración de ReALM con Siri podría abrir un capítulo completamente nuevo en la interacción humano-computadora. Con ReALM, Siri podrá entender comandos que incluyan referencias a elementos mostrados en la pantalla del smartphone, así como procesos y aplicaciones que se ejecutan en segundo plano. Pero, ¿cuándo estará disponible esta opción para los usuarios? Eso aún se desconoce.

Nos queda la especulación basada en las capacidades técnicas del modelo. Entonces, ¿cómo podría funcionar una Siri impulsada por ReALM? Por ejemplo, si estás navegando por un sitio de listados de negocios y ves una empresa que te interesa, podrías simplemente decirle a Siri: “Llama a esta empresa”, y el asistente – utilizando ReALM para analizar el contexto – encontrará el número de teléfono de la empresa que especificas e iniciará la llamada. Ni siquiera tienes que explicar exactamente a qué empresa te refieres.

A esto solo es el comienzo de las posibilidades de ReALM. Comandos como “Reproduce la última lista de reproducción” permitirían un control intuitivo de aplicaciones multimedia y dispositivos de hogar inteligente. ReALM también podría permitir que Siri comprenda el contexto de las conversaciones y el historial de comandos, para que el asistente responda adecuadamente a las solicitudes anteriores del usuario. Este es un paso hacia agentes inteligentes que nos acerca no tanto a una inteligencia artificial que entienda nuestras consultas, sino a una que sepa ejecutar comandos.

Y esto es solo el comienzo de lo que ReALM puede hacer. Comandos como “reproduce la última lista de reproducción” permitirían un control intuitivo de aplicaciones multimedia y dispositivos de hogar inteligente. ReALM también podría permitir que Siri comprenda el contexto de las conversaciones y el historial de comandos, para que el asistente responda adecuadamente a las solicitudes anteriores del usuario. Este es un paso hacia agentes inteligentes, acercándonos no a una inteligencia artificial que entienda nuestras solicitudes, sino a una que sepa cómo ejecutar comandos.

Desafortunadamente, los usuarios de dispositivos Android tendrán que esperar. Actualmente, no hay información sobre los planes de Google para agregar las capacidades de Gemini a Google Assistant. Se ha desarrollado una aplicación de Google Gemini para dispositivos Android (https://play.google.com/store/apps/details?id=com.google.android.apps.bard&hl=en_US), pero aún no está disponible fuera de los Estados Unidos.

Fuente: Google Play (https://play.google.com/store/apps/details?id=com.google.android.apps.bard&hl=en_US)

Resumen

ReALM es el enfoque innovador de Apple para resolver el problema del reconocimiento de contexto por parte de los asistentes de voz. En lugar de depender del procesamiento de imágenes, este modelo de lenguaje convierte diferentes tipos de contexto en una representación textual, que luego procesa en una tarea de lenguaje. Este enfoque asegura no solo una alta precisión de reconocimiento, sino también la capacidad de operar en un dispositivo móvil mientras se mantiene la privacidad del usuario.

Dar acceso a Siri a ReALM puede proporcionar interacciones de voz más naturales y contextuales, un paso importante hacia asistentes verdaderamente inteligentes. Con ReALM, Siri podrá responder instantáneamente a comandos relacionados con elementos de la pantalla, aplicaciones y procesos en segundo plano. Una cosa es cierta: mejorar la conciencia contextual de los asistentes es la clave para crear interacciones de voz verdaderamente inteligentes y naturales, y ReALM es, sin duda, un paso importante en esa dirección.

Si te gusta nuestro contenido, únete a nuestra comunidad de abejas ocupadas en Facebook, Twitter, LinkedIn, Instagram, YouTube, Pinterest, TikTok.