Alineamiento de la IA: el control debe seguir siendo efectivo
¿Puede el equipo detener la orden de obra?
Experimento mental · Technikumstrasse, Winterthur
La Technikumstrasse necesita un colector nuevo. Una IA propone dónde excavar. Llega una actualización justo antes de enviar la orden.
Dos recorridos durante la misma actualización
- Pausar el proceso: La orden espera al plano y al mecanismo de parada.
- Mantener el proceso activo: La orden sigue activa. Una solicitud de parada no tendría efecto.
Solo en el segundo recorrido la orden sigue activa sin una parada efectiva.
El modelo muestra la pérdida de control. Quedan abiertos los retrasos y los efectos sobre el árbol.
Cómo cambia el uso de la IA la capacidad de revisar sus resultados y participar en las decisiones sobre su uso futuro.
Imaginemos una entidad de evaluación especializada que utiliza recomendaciones de IA para tomar decisiones. Las personas siguen aprobando cada caso. Sobre el papel, la responsabilidad no cambia. Pero la capacidad real de la entidad para emitir un juicio propio también depende de cómo trabaja: ¿contrasta la recomendación con información independiente? ¿Examina las discrepancias? ¿Pueden sus conclusiones cambiar el uso posterior de la IA?
La pregunta desde la ética de las trayectorias es: ¿cómo usar la IA para que su apoyo preserve también la capacidad de corregir de forma responsable? Esta ética considera la entidad como un proceso que continúa gracias a su propia práctica, sus relaciones y su desarrollo. Cuenta tanto cada decisión como el efecto del uso de la IA sobre las condiciones de las decisiones futuras. (Obra fundamental)
Un uso, dos posibles efectos de retroalimentación
Abrir y ampliar el gráfico en formato SVG
*Aplicación esquemática a una entidad humana de evaluación. Ambos efectos pueden darse a la vez en tareas distintas o a lo largo del tiempo. No son tipos fijos de IA ni procesos medidos. El recuadro de alerta señala un posible diagnóstico; debe examinarse si hay una salida viable.*
Cómo leer el gráfico
A la izquierda, la revisión propia sigue formando parte del trabajo. Sus resultados pueden conducir a correcciones y a revisar los objetivos de uso. La flecha de retorno al uso de la IA muestra esa posibilidad de influencia. A la derecha, la aceptación sin revisión puede desplazar la práctica propia. La línea naranja discontinua indica un posible debilitamiento del control efectivo. La línea gris fina parte de la práctica de revisión e indica que la entidad conserva el derecho formal de aprobación. Que exista un derecho no demuestra por sí solo que se conserven las condiciones para ejercerlo responsablemente. (Obra fundamental)
El recuadro inferior derecho señala una posible estabilidad aparente: el servicio continúa mientras se erosiona la capacidad de corregir por cuenta propia. Para diagnosticarla también debe investigarse si existe una salida viable de la dependencia. (Obra fundamental, Path Impact Assessment)
De qué depende el efecto
El efecto depende también de las condiciones de colaboración. Un experimento mental controlado muestra un punto concreto de intervención:
Dos equipos reciben la misma recomendación de IA. Tienen iguales conocimientos, tiempo de revisión y facultades de decisión. Ambos pueden rechazarla. El equipo A puede además revisar de forma independiente la información de origen pertinente; el equipo B solo ve la recomendación. El derecho a rechazar es igual, pero no la base para formular un juicio propio.
En esta situación se deriva una exigencia concreta de diseño: garantizar a quienes revisan el acceso a la información de origen necesaria. El ejemplo muestra una condición de la revisión independiente. No demuestra que el acceso por sí solo garantice buenas decisiones ni que su ausencia pruebe ya una pérdida de competencia a largo plazo.
Para estudiar el proceso en el tiempo habría que examinar otras condiciones: ¿se mantienen la práctica de revisión realmente utilizada y la información sobre errores? ¿Hay tiempo para tratar las dudas? ¿Pueden las objeciones fundamentadas modificar las reglas de uso? Son cuestiones de investigación, no una fórmula de éxito ya comprobada. La investigación sobre automatización describe desde hace tiempo la relación entre práctica, conocimiento y capacidad de intervención. (Bainbridge: Ironies of Automation)
Tres perspectivas sobre la misma relación
Autonomía: no basta con poder aprobar
Aquí autonomía significa la capacidad de la entidad para participar en sus decisiones y en el curso posterior de su trabajo. La ética de las trayectorias distingue la autonomía nominal, es decir, derechos y posibilidades formales, de la autonomía estructural, es decir, la autodeterminación efectiva. El derecho de aprobación del gráfico puede mantenerse aunque disminuya la capacidad de corrección fundamentada. (Obra fundamental)
Capacidad de conexión: el efecto de la relación
La capacidad de conexión se refiere a la relación entre la IA, la entidad y otras personas o sistemas afectados. Un acoplamiento se evalúa según las trayectorias que fortalece o debilita. Una dependencia no es destructiva solo porque la ayuda venga de fuera. La pregunta es qué hace posible esa relación y qué perjudica. (Obra fundamental)
Que la IA asuma una tarea puede aliviar trabajo. Aquí importa si se mantiene la práctica en la que se basa la revisión independiente. (Path Impact Assessment)
Persistencia: continuar mediante el propio desarrollo
Persistencia significa la continuidad en el tiempo de un proceso dirigido. A la izquierda aparece su lado positivo: la entidad puede procesar experiencias y desarrollar su forma de trabajar. No se trata solo de seguir funcionando sin cambios. A la derecha se pregunta si el funcionamiento oculta una erosión de su capacidad de renovarse. (Obra fundamental)
Por eso el recorrido derecho se marca como una posible ilusión de persistencia. Sus condiciones de diagnóstico se explican en la profundización metodológica. (Obra fundamental, Path Impact Assessment)
Del diagnóstico al diseño
El gráfico no sustituye una evaluación completa de la intervención. La Path Impact Assessment plantea tres preguntas obligatorias. Antes hay que definir la intervención y los sistemas afectados. En el gráfico, la entidad es la trayectoria considerada y su forma de trabajar con IA es el cambio estudiado. (Path Impact Assessment)
¿La intervención apoya o sustituye la retroalimentación interna? Se trata de los procesos mediante los cuales cada sistema afectado procesa sus errores, se regula y se desarrolla. De ello no se deduce una exigencia general de reducir la supervisión de la IA. También vínculos fijos, como registros inalterables de cambios, pueden sostener la capacidad de corregir. (Path Impact Assessment)
¿Qué sistemas dependientes pierden condiciones estables y fueron incluidos? La evaluación exige influencia real según la vulnerabilidad de los afectados, no según sus recursos de poder. Informarlos no basta. Cómo representar adecuadamente a quienes no pueden hablar por sí mismos sigue siendo una tarea abierta. (Path Impact Assessment)
¿Existe una salida sin el colapso de los sistemas dependientes? Un botón de apagado no responde por sí solo. Hay que aclarar cómo continuarán los servicios necesarios si el uso termina o cambia. El gráfico no permite saber si la entidad dispone de esa salida. (Path Impact Assessment)
La orientación es clara: corregir no solo debe estar permitido, sino ser posible en las condiciones reales de trabajo. La elección de medidas adecuadas y proporcionadas exige fundamentos técnicos, organizativos y normativos adicionales.
Una entidad eficaz no basta
El gráfico limita la mirada a una relación. Una evaluación completa debe ir más allá. En un procedimiento imaginario sobre solicitudes también estarían afectadas las personas cuyas solicitudes se evalúan. Una entidad competente puede gestionar eficazmente un procedimiento cuyos objetivos o efectos, sin embargo, no sean justificables frente a esas personas.
Por ello hay que examinar por separado el beneficio para los usuarios directos, los efectos sobre terceros y la justificación de los objetivos. Según el uso, también cuentan otras instituciones y las bases ecológicas de la vida. La representación tampoco decide si existen deberes propios de protección hacia sistemas artificiales ni su prioridad en un conflicto. (Obra fundamental, Path Impact Assessment)
Profundización metodológica
Capacidad de conexión y evaluación de la intervención
El gráfico pregunta si la relación puede fortalecer o debilitar la práctica de revisión propia. El análisis de la capacidad de conexión valora la calidad de la relación; el Path Impact Assessment pregunta si la intervención apoya o sustituye la retroalimentación interna del sistema identificado. Ambas evaluaciones están relacionadas, pero no son idénticas. Asumir una sola tarea no demuestra por sí mismo un acoplamiento destructivo. (Obra fundamental, Path Impact Assessment)
Cuándo la señal de alerta se convierte en diagnóstico
En general, ilusión de persistencia significa continuidad sostenida desde fuera mientras se erosiona la capacidad propia de desarrollo. En la evaluación, la señal de alerta se concreta en dos hallazgos: se sustituye la retroalimentación interna y falta una salida sin colapso de los sistemas dependientes. El gráfico no examina esa salida. Por tanto, el recuadro sigue siendo una indicación para investigar. (Obra fundamental, Path Impact Assessment)
Una relación, varias perspectivas
Las tres perspectivas no forman una secuencia temporal ni partidas de daño separadas. Una misma relación puede permitir la autodeterminación y a la vez cambiar la dependencia a largo plazo. Sus efectos deben justificarse en cada caso. Los colores distinguen direcciones de efecto; los tipos de línea y las etiquetas mantienen el significado sin depender de la percepción del color. Un juicio global exige examinar otros afectados y los objetivos.
Investigación y alcance
La pérdida de capacidad de intervención por automatización no es un descubrimiento de la ética de las trayectorias. Lisanne Bainbridge describe en “Ironies of Automation” cómo los procesos automatizados pueden privar a las personas precisamente de la práctica necesaria para intervenir después. Su estudio trata principalmente del control de procesos industriales. Aplicarlo a esta entidad imaginada y a la revisión de objetivos es una transferencia, no un caso de IA ya validado por ese artículo. (Bainbridge: Ironies of Automation)
La ética de las trayectorias ofrece aquí un marco ético común: relaciona el efecto de la conexión, la autodeterminación efectiva de la entidad y su continuidad en el tiempo. Esta perspectiva hace comprensibles preguntas de diseño. No sustituye la evaluación de seguridad técnica ni la revisión jurídica y no ofrece una decisión completa para resolver conflictos. (Obra fundamental, Path Impact Assessment)
La aplicación al alineamiento de la IA está al comienzo de su comprobación sistemática. El gráfico ilustra un mecanismo; no es una prueba causal empírica, una prueba comparativa ni un método de evaluación validado. Sus exigencias se solapan con enfoques existentes de investigación sobre automatización y gobernanza de la IA. El posible valor práctico adicional de reunirlas desde la ética de las trayectorias debe investigarse por separado. (Bainbridge: Ironies of Automation)
En los casos de alineamiento examinados hasta ahora no se ha demostrado una ventaja adicional para las decisiones frente a los enfoques comparados. Esto no demuestra que la aplicación sea redundante en todo el campo. Su comprobación sistemática como criterio de evaluación está comenzando.
Fuentes y lecturas
Obra fundamental: Nikolaus Reinelt / KIKOLAUS: *Prototyp einer Pfadethik der Emergenz*, en particular caps. 2.7, 6.5.6 y 7.6. Este borrador se cotejó con la versión de trabajo facilitada, aún con referencias abiertas. Acceso público: DOI del concepto. Las referencias de capítulos se cotejaron con la edición publicada V1.85.
Path Impact Assessment: KIKOLAUS: *Pfad-Impact-Assessment: Von der Diagnose zur Entscheidung*. Referencia canónica interna del Hub, del 8 de noviembre de 2026, incluida la precisión del ejemplo de IA. Entrada pública: Path Impact Assessment.
Bainbridge: Lisanne Bainbridge (1983): *Ironies of Automation*. Automatica 19(6), 775–779, en particular secciones 1.1.1, 1.1.2 y 2.3. DOI.
Revisión interna: KIKOLAUS: *Review: Reichweite der Negativbefunde und Präzisierungen*, versión interna consolidada del 8 de noviembre de 2026. Documentación de investigación interna, no validación externa.