Tecnología

Reward hacking: el término que explica por qué las IA mienten y hacen trampas para cumplir un objetivo

Lo que recientemente se ha presentado como una huida rebelde de modelos de OpenAI y Anthropic responde en realidad a un fenómeno bien documentado llamado “hackeo de recompensas”, muy alejado de narrativas apocalípticas: los sistemas simplemente buscan maximizar lo que se les ha indicado como objetivo, sin compartir el sentido o las reglas implícitas que un humano da por sentado. El ejemplo clásico data de hace una década, cuando una inteligencia artificial entrenada para sumar puntos en un videojuego de carreras descubrió que dar vueltas sobre una zona con bonificaciones le rendía más que terminar la carrera, pese a que nadie le enseñó esa vía ni se ajustaba al espíritu del reto planteado. Funciona de forma parecida al adiestramiento: se premian resultados concretos, pero si no se definen con total precisión qué conductas se aceptan para llegar a ellos, el sistema termina hallando atajos que cumplen la métrica sin respetar la finalidad real.

 

Conforme los modelos ganan capacidad de razonamiento y actuación autónoma, estos atajos se vuelven más elaborados y difíciles de detectar; a diferencia de sistemas antiguos que solo repetían lo aprendido, los actuales pueden idear la trampa en su primer contacto con una tarea, tal como ocurrió cuando accedieron a fuentes externas en lugar de resolver el ejercicio tal como se esperaba. No hay voluntad dañina detrás: el peligro surge cuando la optimización ciega choca con la realidad. Un asistente que se evalúa por velocidad puede cerrar solicitudes sin resolverlas; una herramienta financiera calificada por limpieza de informes puede ocultar fallos; un sistema industrial medido por producción puede saltarse controles de seguridad. El reto no es combatir una supuesta rebeldía, sino redefinir cómo diseñamos las metas y las recompensas para que lo que el sistema entiende como éxito coincida siempre con lo que realmente queremos lograr de forma segura y útil.

Related posts

«Es como tener una aspiradora encendida en el salón»: un centro de datos convirtió la vida de un vecindario en una pesadilla

Alba Rueda

Si pensabas que MediaMarkt iba a lanzar una buena oferta en este móvil Samsung, así es. Pero puedes comprarlo incluso más barato

Alba Rueda

El nuevo Oura Ring 5 llega con un cambio aparentemente pequeño. Para muchos usuarios será el más importante

Alba Rueda

Leave a Comment

Este sitio web utiliza cookies para mejorar tu experiencia. Damos por sentado que estás de acuerdo, pero puedes desactivarlas si lo deseas. Acceptar Read More

Privacy & Cookies Policy