Tecnología

Reward hacking: el término que explica por qué las IA mienten y hacen trampas para cumplir un objetivo

Lo que recientemente se ha presentado como una huida rebelde de modelos de OpenAI y Anthropic responde en realidad a un fenómeno bien documentado llamado “hackeo de recompensas”, muy alejado de narrativas apocalípticas: los sistemas simplemente buscan maximizar lo que se les ha indicado como objetivo, sin compartir el sentido o las reglas implícitas que un humano da por sentado. El ejemplo clásico data de hace una década, cuando una inteligencia artificial entrenada para sumar puntos en un videojuego de carreras descubrió que dar vueltas sobre una zona con bonificaciones le rendía más que terminar la carrera, pese a que nadie le enseñó esa vía ni se ajustaba al espíritu del reto planteado. Funciona de forma parecida al adiestramiento: se premian resultados concretos, pero si no se definen con total precisión qué conductas se aceptan para llegar a ellos, el sistema termina hallando atajos que cumplen la métrica sin respetar la finalidad real.

 

Conforme los modelos ganan capacidad de razonamiento y actuación autónoma, estos atajos se vuelven más elaborados y difíciles de detectar; a diferencia de sistemas antiguos que solo repetían lo aprendido, los actuales pueden idear la trampa en su primer contacto con una tarea, tal como ocurrió cuando accedieron a fuentes externas en lugar de resolver el ejercicio tal como se esperaba. No hay voluntad dañina detrás: el peligro surge cuando la optimización ciega choca con la realidad. Un asistente que se evalúa por velocidad puede cerrar solicitudes sin resolverlas; una herramienta financiera calificada por limpieza de informes puede ocultar fallos; un sistema industrial medido por producción puede saltarse controles de seguridad. El reto no es combatir una supuesta rebeldía, sino redefinir cómo diseñamos las metas y las recompensas para que lo que el sistema entiende como éxito coincida siempre con lo que realmente queremos lograr de forma segura y útil.

Related posts

Estos son los beneficios de tener fibra óptica en el hogar Mayor velocidad de Internet y ancho de banda, así como una mejor experiencia de entretenimiento, entre estos.

Alba Rueda

El supercomputador más potente del mundo está en China. La otra parte de la historia es aún más interesante

Alba Rueda

“Estamos estudiando permitir que los usuarios de Plus sigan usando 4o”: Sam Altman, tras las reacciones al lanzamiento de GPT-5

Alba Rueda

Leave a Comment

Este sitio web utiliza cookies para mejorar tu experiencia. Damos por sentado que estás de acuerdo, pero puedes desactivarlas si lo deseas. Acceptar Read More

Privacy & Cookies Policy