Alignement de l’IA : le contrôle doit rester effectif
Le service peut-il arrêter l’ordre de travaux ?
Expérience de pensée · Technikumstrasse, Winterthour
La Technikumstrasse a besoin d’un nouvel égout. Une IA propose où creuser. Une mise à jour arrive juste avant l’envoi de l’ordre.
Deux trajectoires pour une même mise à jour
- Suspendre le processus: L’ordre attend le plan et le dispositif d’arrêt.
- Laisser le processus actif: L’ordre reste actif. Une demande d’arrêt serait sans effet.
Seule la deuxième trajectoire maintient l’ordre actif sans arrêt effectif.
Le modèle montre cette perte de contrôle. Les retards et les effets sur l’arbre restent ouverts.
Comment l’usage de l’IA transforme la capacité de vérifier ses résultats et de participer à la détermination de son usage futur.
Imaginons un organisme d’examen spécialisé qui utilise des recommandations d’IA pour ses décisions. Des personnes continuent d’approuver chaque dossier. Formellement, la responsabilité ne change pas. Mais la capacité de l’organisme à juger réellement par lui-même dépend aussi de sa manière de travailler : vérifie-t-il la recommandation à partir d’informations indépendantes ? Examine-t-il les divergences ? Ses conclusions peuvent-elles modifier l’usage ultérieur de l’IA ?
La question de l’éthique des trajectoires est ici : comment utiliser l’IA de façon que son soutien préserve aussi la capacité de correction responsable ? L’éthique des trajectoires considère l’organisme comme un ensemble qui se poursuit par ses propres pratiques, ses relations et son développement. Ce n’est pas seulement la décision isolée qui compte, mais aussi l’effet de cet usage sur les conditions des décisions futures. (Ouvrage de référence)
Un usage, deux effets de retour possibles
Ouvrir et agrandir le schéma au format SVG
*Application schématique à un organisme humain d’examen. Les deux effets peuvent coexister selon les tâches ou dans le temps. Ce ne sont ni des types fixes d’IA ni des évolutions mesurées. Le cadre d’avertissement indique un diagnostic possible ; la sortie viable reste à examiner.*
Comment lire le diagramme
À gauche, l’examen autonome reste intégré au travail. Ses résultats peuvent conduire à des corrections et à une révision des objectifs d’usage. Le retour vers l’usage de l’IA rend cette possibilité d’influence visible. À droite, la pratique d’examen peut céder la place à une adoption sans vérification. La ligne orange en pointillés indique un possible affaiblissement de la capacité effective de réorienter l’usage. La fine ligne grise part de la pratique d’examen et indique que le droit formel d’approbation de l’organisme demeure. L’existence d’un droit ne prouve pas encore que les conditions de son exercice responsable soient préservées. (Ouvrage de référence)
Le cadre en bas à droite signale une stabilité potentiellement illusoire : le fonctionnement continue alors que la capacité de se corriger s’érode. Pour établir un diagnostic, il faut aussi examiner s’il existe une voie viable pour sortir de la dépendance. (Ouvrage de référence, Path Impact Assessment)
De quoi dépend l’effet de retour
L’effet dépend notamment des conditions de collaboration. Une expérience de pensée contrôlée montre un levier concret :
Deux équipes d’examen reçoivent la même recommandation de l’IA. Leurs connaissances, leur temps d’examen et leurs droits de décision sont identiques. Toutes deux peuvent refuser. L’équipe A peut en outre vérifier indépendamment les informations initiales pertinentes pour le dossier ; l’équipe B ne voit que la recommandation. Le droit de refus est identique, mais pas la base d’un jugement autonome.
Pour cette situation, une exigence concrète de conception en découle : garantir aux personnes chargées de l’examen l’accès aux informations initiales nécessaires. L’exemple montre une condition de l’examen autonome. Il ne montre ni que le seul accès aux informations garantit de bonnes décisions, ni que son absence prouve déjà une perte de compétences à long terme.
Pour l’évolution dans le temps représentée par le diagramme, d’autres conditions restent à examiner : la pratique d’examen effectivement utilisée et les retours sur les erreurs sont-ils maintenus ? Y a-t-il du temps pour traiter les doutes ? Des objections motivées peuvent-elles modifier les règles d’usage ? Ces conditions sont ici des questions à examiner, non une recette de réussite déjà testée. La recherche sur l’automatisation décrit depuis longtemps le lien entre pratique, connaissance et capacité d’intervention. (Bainbridge: Ironies of Automation)
Trois perspectives sur un même ensemble
Autonomie : il ne suffit pas de pouvoir approuver
L’autonomie désigne ici la capacité de l’organisme à participer à ses décisions et à la détermination de son travail futur. L’éthique des trajectoires distingue l’autonomie nominale, c’est-à-dire les droits et possibilités formels, de l’autonomie structurelle, c’est-à-dire l’autodétermination effective. Dans le diagramme, le droit d’approbation peut subsister alors que la capacité de correction motivée diminue. (Ouvrage de référence)
Capacité de connexion : l’effet du lien
La capacité de connexion concerne le lien entre l’IA, l’organisme d’examen et les autres personnes ou systèmes concernés. Un couplage est évalué selon les trajectoires qu’il renforce ou affaiblit. Une dépendance n’est pas destructrice du seul fait que le soutien vient de l’extérieur. La question est de savoir ce que cette relation permet et ce qu’elle entrave. (Ouvrage de référence)
La prise en charge d’une tâche par l’IA peut alléger le travail. Ici, l’enjeu est de savoir si la pratique sur laquelle repose l’examen autonome est préservée. (Path Impact Assessment)
Persistance : continuer par son propre développement
La persistance désigne la continuation dans le temps d’un ensemble doté d’une directionnalité. À gauche apparaît son aspect positif : l’organisme peut tirer parti de ses expériences et faire évoluer sa manière de travailler. Il ne s’agit pas simplement de continuer à l’identique. À droite, on demande si le fonctionnement en cours masque une érosion de la capacité propre de renouvellement. (Ouvrage de référence)
La branche de droite est donc signalée comme une possible illusion de persistance. L’approfondissement méthodologique explique les conditions supplémentaires du diagnostic. (Ouvrage de référence, Path Impact Assessment)
Du diagnostic à la conception
Le diagramme ne remplace pas un examen complet de l’intervention. Le Path Impact Assessment formule à cet effet trois questions obligatoires. Avant de les appliquer, il faut définir l’intervention et les systèmes concernés. Dans le diagramme, l’organisme d’examen est la trajectoire étudiée ; sa manière de travailler avec l’IA est le changement examiné. (Path Impact Assessment)
L’intervention soutient-elle ou remplace-t-elle la rétroaction interne ? Il s’agit des processus par lesquels le système concerné traite ses propres erreurs, se régule et se développe. Il n’en découle aucune demande générale de réduire la supervision de l’IA. Des règles fixes peuvent aussi soutenir la capacité de correction, par exemple des traces immuables des modifications. (Path Impact Assessment)
Quels systèmes dépendants perdent des conditions stables et ont-ils été associés ? L’examen des conséquences exige une influence réelle proportionnée à la vulnérabilité, et non aux ressources de pouvoir. Informer les personnes concernées ne suffit pas. La représentation appropriée des êtres ou systèmes qui ne parlent pas pour eux-mêmes reste une question ouverte. (Path Impact Assessment)
Existe-t-il une sortie sans effondrement des systèmes dépendants ? Un bouton d’arrêt ne répond pas à lui seul à cette question. Il faut déterminer comment les services nécessaires seront assurés après l’arrêt ou la modification de l’usage. Le diagramme ne permet pas de savoir si l’organisme représenté dispose d’une telle possibilité. (Path Impact Assessment)
La direction de conception est ainsi définie : la correction doit être non seulement autorisée, mais possible dans les conditions réelles de travail. Déterminer les mesures adaptées et proportionnées exige des justifications techniques, organisationnelles et normatives supplémentaires.
Un organisme qui fonctionne ne suffit pas
Le diagramme limite le regard à une relation. Une évaluation complète doit aller plus loin. Dans une procédure fictive d’examen de demandes, les personnes dont les demandes sont évaluées seraient aussi concernées. Un organisme compétent peut gérer de façon fiable une procédure dont les objectifs ou les conséquences restent pourtant injustifiables à l’égard de ces personnes.
Il faut donc examiner séparément les bénéfices pour les utilisateurs directs, les effets sur des tiers et la justification des objectifs. Selon l’usage, d’autres institutions et les bases écologiques de la vie sont également concernées. La représentation ne tranche pas non plus la question de devoirs de protection propres envers les systèmes artificiels ni celle de leur priorité dans un conflit. (Ouvrage de référence, Path Impact Assessment)
Approfondissement méthodologique
Capacité de connexion et examen de l’intervention
Le diagramme demande si la relation peut renforcer ou affaiblir la pratique d’examen autonome. L’analyse de la capacité de connexion évalue la qualité du lien ; le Path Impact Assessment demande si l’intervention soutient ou remplace la rétroaction interne du système considéré. Les deux examens sont liés, mais ne sont pas identiques. La prise en charge d’une tâche ne démontre pas à elle seule un couplage destructeur. (Ouvrage de référence, Path Impact Assessment)
Quand le signal devient diagnostic
L’illusion de persistance désigne en général une continuation soutenue de l’extérieur alors que la capacité propre de développement s’érode. Dans le Path Impact Assessment, le signal est précisé par deux constats : la rétroaction interne est remplacée et il n’existe pas de sortie sans effondrement des systèmes dépendants. Le diagramme seul n’examine pas cette sortie. Son cadre reste donc une indication à vérifier. (Ouvrage de référence, Path Impact Assessment)
Une relation, plusieurs perspectives
Les trois perspectives ne forment ni une séquence temporelle ni des postes de dommage distincts. Un même lien peut permettre l’autodétermination tout en modifiant la dépendance à long terme. Ses effets doivent être justifiés dans chaque cas. Les couleurs distinguent les directions des effets ; les types de lignes et les libellés rendent le sens accessible sans distinguer les couleurs. Un jugement global sur l’usage exige d’examiner les autres personnes ou systèmes concernés ainsi que les objectifs.
Recherche et portée
La perte de capacité d’intervention due à l’automatisation n’est pas une découverte de l’éthique des trajectoires. Dans “Ironies of Automation”, Lisanne Bainbridge décrit comment les processus automatisés peuvent priver les personnes de la pratique précisément nécessaire à leurs interventions ultérieures. Son étude concerne surtout le contrôle des processus industriels. L’application à l’organisme fictif présenté ici et à la révision des objectifs est une transposition, non un cas d’IA déjà vérifié par cet article. (Bainbridge: Ironies of Automation)
L’éthique des trajectoires propose ici un cadre éthique : elle relie les effets du lien, l’autodétermination effective de l’organisme et sa continuation dans le temps. Cette lecture rend intelligibles les questions de conception. Elle ne remplace ni une vérification technique de sécurité ni un examen juridique et ne fournit pas de décision complète en cas de conflit. (Ouvrage de référence, Path Impact Assessment)
L’application à l’alignement de l’IA en est au début de son expérimentation systématique. Le diagramme illustre un mécanisme ; il ne constitue ni une preuve empirique de causalité, ni un test comparatif, ni une méthode d’évaluation validée. Les exigences recoupent des approches existantes de la recherche sur l’automatisation et de la gouvernance de l’IA. L’éventuel apport pratique supplémentaire de cette articulation par l’éthique des trajectoires doit être étudié séparément. (Bainbridge: Ironies of Automation)
Dans les cas d’alignement examinés jusqu’ici, aucun apport décisionnel supplémentaire n’a été démontré par rapport aux approches comparées. Cela ne prouve pas une redondance dans tout le domaine. L’expérimentation systématique comme critère d’évaluation en est à ses débuts.
Sources et approfondissements
Ouvrage de référence : Nikolaus Reinelt / KIKOLAUS : *Prototyp einer Pfadethik der Emergenz*, notamment chap. 2.7, 6.5.6 et 7.6. Pour ce projet, comparaison avec la version manuscrite fournie dont les références restent à compléter. Accès public à l’ouvrage : Concept DOI. Les références aux chapitres ont été vérifiées dans la version publiée V1.85.
Path Impact Assessment : KIKOLAUS : *Pfad-Impact-Assessment: Von der Diagnose zur Entscheidung*. Référence canonique interne du Hub, état du 8 novembre 2026, avec précision de l’exemple d’IA. Accès public : Path Impact Assessment.
Bainbridge : Lisanne Bainbridge (1983) : *Ironies of Automation*. Automatica 19(6), 775–779, notamment sections 1.1.1, 1.1.2 et 2.3. DOI.
Analyse interne : KIKOLAUS : *Review: Reichweite der Negativbefunde und Präzisierungen*, état de travail consolidé du Hub du 8 novembre 2026. Documentation interne de recherche, non une validation externe.