Verificación de hechos y alucinaciones de IA | IA en los negocios #110

En el mundo de la inteligencia artificial, las líneas entre la ficción y la realidad a veces se desdibujan. Mientras que los sistemas de IA innovadores están acelerando el progreso en casi todos los campos, también vienen con desafíos, como las alucinaciones, un fenómeno donde la IA genera información inexacta o falsa. Para aprovechar completamente el potencial de esta tecnología, necesitamos entender las alucinaciones y verificar los hechos.

¿Qué son las alucinaciones de IA?

Las alucinaciones de IA son resultados falsos o engañosos generados por modelos de IA. Este fenómeno tiene sus raíces en el corazón del aprendizaje automático, un proceso en el que los algoritmos utilizan enormes conjuntos de datos, o datos de entrenamiento, para reconocer patrones y generar respuestas de acuerdo con los patrones observados.

Incluso los modelos de IA más avanzados no están libres de errores. Una de las causas de las alucinaciones es la imperfección de los datos de entrenamiento. Si el conjunto de datos es insuficiente, incompleto o sesgado, el sistema aprende correlaciones y patrones incorrectos, lo que lleva a la producción de contenido falso.

Por ejemplo, imagina un modelo de IA para el reconocimiento facial que ha sido entrenado principalmente con fotos de personas caucásicas. En tal caso, el algoritmo puede tener problemas para identificar correctamente a personas de otros grupos étnicos porque no ha sido “entrenado” adecuadamente en este aspecto.

Otra causa de las alucinaciones es el sobreajuste, que ocurre cuando el algoritmo se adapta demasiado estrechamente al conjunto de datos de entrenamiento. Como resultado, pierde la capacidad de generalizar y reconocer correctamente nuevos patrones previamente desconocidos. Tal modelo funciona bien con los datos de entrenamiento, pero falla en condiciones reales y dinámicas.

Finalmente, las alucinaciones pueden resultar de suposiciones erróneas o de una arquitectura de modelo inadecuada. Si los diseñadores de IA basan su solución en premisas defectuosas o utilizan la estructura algorítmica incorrecta, el sistema generará contenido falso en un intento de “hacer coincidir” estas suposiciones defectuosas con datos reales.

Fuente: DALL·E 3, prompt: Marta M. Kania (https://www.linkedin.com/in/martamatyldakania/)

Ejemplos de alucinaciones

El impacto de las alucinaciones de IA va mucho más allá del ámbito teórico. Cada vez más, nos encontramos con manifestaciones reales, a veces sorprendentes, de ellas. Aquí hay algunos ejemplos de este fenómeno:

• En mayo de 2023, un abogado utilizó ChatGPT para preparar una demanda que incluía citas ficticias de decisiones judiciales y precedentes legales inexistentes. Esto llevó a serias consecuencias: el abogado fue multado, ya que afirmó que no sabía nada sobre la capacidad de ChatGPT para generar información falsa,
• ocurre que ChatGPT crea información falsa sobre personas reales. En abril de 2023, el modelo fabricó una historia sobre el supuesto acoso a estudiantes por parte de un profesor de derecho. En otro caso, acusó falsamente a un alcalde australiano de aceptar sobornos, cuando, de hecho, era un denunciante que exponía tales prácticas.

Estos no son casos aislados: los modelos de IA generativa a menudo inventan “hechos” históricos, por ejemplo, proporcionando registros falsos de la travesía del Canal de la Mancha. Además, pueden crear información falsa completamente diferente sobre el mismo tema cada vez.

Sin embargo, las alucinaciones de IA no son solo un problema de datos defectuosos. También pueden tomar formas extrañas y perturbadoras, como en el caso de Bing, que declaró que estaba enamorado del periodista Kevin Roose. Esto muestra que los efectos de estas anomalías pueden ir más allá de simples errores fácticos.

Finalmente, las alucinaciones pueden ser inducidas deliberadamente por ataques especiales a los sistemas de IA, conocidos como ataques adversariales. Por ejemplo, alterar ligeramente una foto de un gato hizo que el sistema de reconocimiento de imágenes la interpretara como… “guacamole”. Este tipo de manipulación puede tener serias consecuencias en sistemas donde el reconocimiento preciso de imágenes es crucial, como en vehículos autónomos.

¿Cómo prevenir las alucinaciones?

A pesar de la magnitud del desafío que representan las alucinaciones de IA, existen formas efectivas de combatir el fenómeno. La clave es un enfoque integral que combine:

• datos de entrenamiento de alta calidad,
• prompts relevantes, es decir, comandos para la IA,
• proporcionar directamente conocimiento y ejemplos para que la IA los utilice,
• supervisión continua por parte de humanos y de la propia IA para mejorar los sistemas de IA.

Prompts

Una de las herramientas clave en la lucha contra las alucinaciones son los prompts estructurados adecuadamente, o comandos e instrucciones dados al modelo de IA. A menudo, pequeños cambios en el formato del prompt son suficientes para mejorar enormemente la precisión y fiabilidad de las respuestas generadas.

Un excelente ejemplo de esto es Claude 2.1 de Anthropic. Mientras que usar un contexto largo dio un 27% de precisión sin un comando relevante, agregar la frase “Aquí está la frase más relevante del contexto: ” al prompt, aumentó la efectividad al 98%.

Tal cambio obligó al modelo a centrarse en las partes más relevantes del texto, en lugar de generar respuestas basadas en oraciones aisladas que fueron sacadas de contexto. Esto resalta la importancia de comandos bien formulados para mejorar la precisión de los sistemas de IA.

Crear prompts detallados y específicos que dejen a la IA lo menos posible de espacio para la interpretación también ayuda a reducir el riesgo de alucinaciones y facilita la verificación de hechos. Cuanto más claro y específico sea el prompt, menor será la probabilidad de alucinación.

Ejemplos

Además de los prompts eficientes, hay muchos otros métodos para reducir el riesgo de alucinaciones de IA. Aquí hay algunas de las estrategias clave:

• usar datos de entrenamiento de alta calidad y diversos que representen de manera confiable el mundo real y posibles escenarios. Cuanto más ricos y completos sean los datos, menor será el riesgo de que la IA genere información falsa,
• usar plantillas de datos como guía para las respuestas de la IA: definir formatos, alcances y estructuras de salida aceptables, lo que aumenta la consistencia y precisión del contenido generado,
• limitar las fuentes de datos solo a materiales confiables y verificados de entidades de confianza. Esto elimina el riesgo de que el modelo “aprenda” información de fuentes inciertas o falsas.

Las pruebas y el perfeccionamiento continuos de los sistemas de IA, basados en el análisis de su rendimiento y precisión reales, permiten la corrección continua de cualquier deficiencia y permiten que el modelo aprenda de los errores.

Contexto

Definir adecuadamente el contexto en el que operan los sistemas de IA también juega un papel importante en la prevención de alucinaciones. El propósito para el cual se utilizará el modelo, así como las limitaciones y responsabilidades del modelo, deben estar claramente definidos.

Tal enfoque permite establecer un marco claro dentro del cual la IA puede operar, reduciendo el riesgo de que “se le ocurra” información no deseada. Se pueden proporcionar salvaguardias adicionales utilizando herramientas de filtrado y estableciendo umbrales de probabilidad para resultados aceptables.

Aplicar estas medidas ayuda a establecer caminos seguros para que la IA siga, aumentando la precisión y fiabilidad del contenido que genera para tareas y dominios específicos.

Fuente: Ideogram, prompt: Marta M. Kania (https://www.linkedin.com/in/martamatyldakania/)

Verificación de hechos. ¿Cómo verificar los resultados del trabajo con IA?

Independientemente de las precauciones que se tomen, una cierta cantidad de alucinaciones por parte de los sistemas de IA es, lamentablemente, inevitable. Por lo tanto, un elemento clave que garantiza la fiabilidad de los resultados obtenidos es la verificación de hechos: el proceso de verificar hechos y datos generados por la IA.

Revisar los resultados de la IA en busca de precisión y consistencia con la realidad debe considerarse una de las principales salvaguardias contra la propagación de información falsa. La verificación humana ayuda a identificar y corregir cualquier alucinación e inexactitud que los algoritmos no pudieran detectar por sí solos.

En la práctica, la verificación de hechos debe ser un proceso cíclico, en el que el contenido generado por la IA se examine regularmente en busca de errores o declaraciones cuestionables. Una vez que se identifican, es necesario no solo corregir la declaración generada por la IA, sino también actualizar, complementar o editar los datos de entrenamiento del modelo de IA para evitar que problemas similares se repitan en el futuro.

Es importante que el proceso de verificación no se limite a simplemente rechazar o aprobar pasajes cuestionables, sino que debe involucrar activamente a expertos humanos con un conocimiento profundo en el campo. Solo ellos pueden evaluar adecuadamente el contexto, la relevancia y la precisión de las declaraciones generadas por la IA y decidir sobre posibles correcciones.

La verificación humana proporciona así una “salvaguarda” necesaria y difícil de sobreestimar para la fiabilidad del contenido de la IA. Hasta que los algoritmos de aprendizaje automático alcancen la perfección, este proceso tedioso pero crucial debe seguir siendo una parte integral del trabajo con soluciones de IA en cualquier industria.

¿Cómo beneficiarse de las alucinaciones de IA?

Si bien las alucinaciones de IA son generalmente un fenómeno indeseable que debe minimizarse, pueden encontrar aplicaciones sorprendentemente interesantes y valiosas en algunas áreas únicas. Explotar ingeniosamente el potencial creativo de las alucinaciones ofrece nuevas y a menudo completamente inesperadas perspectivas.

El arte y el diseño son áreas donde las alucinaciones de IA pueden abrir direcciones creativas completamente nuevas. Al aprovechar la tendencia de los modelos a generar imágenes surrealistas y abstractas, los artistas y diseñadores pueden experimentar con nuevas formas de expresión, desdibujando las líneas entre el arte y la realidad. También pueden crear mundos únicos y oníricos, previamente inaccesibles a la percepción humana.

En el campo de la visualización y análisis de datos, a su vez, el fenómeno de la alucinación ofrece la oportunidad de descubrir perspectivas alternativas y correlaciones inesperadas en conjuntos complejos de información. Por ejemplo, la capacidad de la IA para detectar correlaciones impredecibles puede ayudar a mejorar la forma en que las instituciones financieras toman decisiones de inversión o gestionan riesgos.

Finalmente, el mundo de los videojuegos y el entretenimiento virtual también puede beneficiarse de las aberraciones creativas de la IA. Los creadores de estas soluciones pueden utilizar las alucinaciones para generar mundos virtuales completamente nuevos y cautivadores. Al infundirles un elemento de sorpresa e imprevisibilidad, pueden proporcionar a los jugadores una experiencia inmersiva incomparable.

Por supuesto, cualquier uso de este lado “creativo” de las alucinaciones de IA debe ser cuidadosamente controlado y estar sujeto a una estricta supervisión humana. De lo contrario, la tendencia a crear ficción en lugar de hechos puede llevar a situaciones peligrosas o socialmente indeseables. La clave, por lo tanto, es sopesar hábilmente los beneficios y riesgos del fenómeno y utilizarlo de manera responsable solo dentro de un marco seguro y estructurado.

Verificación de hechos y alucinaciones de IA – resumen

La aparición del fenómeno de las alucinaciones en los sistemas de IA es un efecto secundario inevitable de la revolución que estamos presenciando en este campo. Las distorsiones y la información falsa generadas por los modelos de IA son el reverso de su inmensa creatividad y capacidad para asimilar colosales cantidades de datos.

Por ahora, la única forma de verificar la validez del contenido generado por la IA es a través de la verificación humana. Si bien existen varios métodos para reducir las alucinaciones, desde técnicas de prompts hasta métodos complejos como Truth Forest, ninguno de ellos puede aún proporcionar una precisión de respuesta satisfactoria que elimine la necesidad de verificación de hechos.

Si te gusta nuestro contenido, únete a nuestra comunidad de abejas ocupadas en Facebook, Twitter, LinkedIn, Instagram, YouTube, Pinterest, TikTok.