Préambule : La notion de garantie humaine.
« La science sans conscience n’est que ruine de l’âme », écrivait Rabelais au XVIe siècle. Cette maxime résonne avec une force renouvelée dans notre ère numérique, alors que l’intelligence artificielle (IA) s’impose comme un levier majeur de transformation dans le champ médical. L’IA peut être définie comme un ensemble de technologies fondées sur des algorithmes capables de simuler des raisonnements humains, notamment en matière d’analyse de données, d’apprentissage automatique et de prise de décision. En santé, elle se décline à travers des dispositifs médicaux connectés, des outils prédictifs, des systèmes d’aide au diagnostic ou encore des plateformes de gestion de parcours de soins. Ces innovations suscitent des espoirs considérables : amélioration de la précision diagnostique, personnalisation des traitements, détection précoce de pathologies, rationalisation de l’offre de soins dans un contexte de pénurie médicale. L’IA apparaît ainsi comme un atout pour renforcer l’efficience et l’accessibilité des systèmes de santé, tout en accompagnant les professionnels dans leurs missions. Toutefois, cette évolution technologique, aussi prometteuse soit-elle, ne saurait être neutre. Elle modifie profondément les modalités de la décision médicale et la place de l’humain dans le processus de soin.
Le recours à des dispositifs reposant sur des algorithmes opaques ou évolutifs, parfois opérés par des acteurs privés, soulève des enjeux éthiques et juridiques inédits : comment garantir la qualité et la sécurité de la décision ? Quelle est la part réelle du discernement professionnel ? Qui porte la responsabilité en cas d’erreur ou de dommage ? Le soin, fondé historiquement sur la responsabilité personnelle du praticien et la relation de confiance avec le patient, se voit ainsi transformé par l’intervention d’un tiers technologique dont le fonctionnement reste difficile à saisir pour les non-spécialistes.
C’est dans ce contexte qu’a émergé la notion de garantie humaine, entendue comme l’exigence d’une supervision humaine éclairée, responsable et effective dans tout processus de décision algorithmique, notamment en matière de santé. Ce principe, consacré à l’article 22 du RGPD, renforcé à l’article 14 du règlement européen sur l’intelligence artificielle (IA Act), et reconnu en droit interne par certaines dispositions du Code de la santé publique, vise à préserver la responsabilité du soignant, la transparence du soin et le respect des droits fondamentaux du patient. Il s’agit, en somme, d’un principe d’encadrement de l’innovation technologique, garantissant que l’intelligence artificielle reste un outil au service de l’humain, et non l’inverse.
Pourtant, sa mise en œuvre se heurte à des obstacles multiples : complexité croissante des systèmes d’IA, déficit de formation, dépendance aux solutions logicielles propriétaires, asymétrie entre concepteurs et utilisateurs. La garantie humaine, si elle reste proclamée, peine à devenir une norme effective dans les pratiques médicales. Elle cristallise ainsi une tension fondamentale entre le besoin d’un encadrement protecteur et les limites d’un système de santé de plus en plus automatisé.
I. La garantie humaine comme principe structurant du recours à l’IA en santé.
La garantie humaine repose sur un double socle : elle incarne à la fois une exigence éthique de discernement dans les décisions médicales (A) et un principe juridique désormais reconnu dans plusieurs textes, mais dont l’effectivité reste à consolider (B).
A. Un principe au cœur des enjeux éthiques et juridiques liés à la santé.
1. L’importance du discernement humain face aux décisions à fort impact médical.
L’essor de l’intelligence artificielle dans les pratiques médicales bouleverse la nature du jugement professionnel. Conçue pour assister, l’IA tend parfois à se substituer au raisonnement humain, notamment dans les décisions à fort enjeu diagnostique ou thérapeutique. Cette transformation modifie la posture du soignant, désormais confronté à des recommandations algorithmiques complexes, parfois perçues comme indiscutables. Ce phénomène favorise l’apparition d’un biais d’automatisation, défini comme la tendance à suivre les suggestions d’un système automatisé sans les remettre en cause, même lorsqu’elles sont discutables.
Dans un contexte de pénurie médicale, de surcharge administrative et de manque de temps, ce biais s’accentue. Le soignant risque alors de valider mécaniquement une proposition sans en comprendre les fondements. Cela constitue une rupture avec l’essence même du soin, historiquement fondé sur une relation intersubjective et un jugement clinique nourri par l’expérience, l’empathie et le contexte du patient.
Le Conseil économique, social et environnemental (CESE) rappelle, dans son avis de mars 2025, que le discernement professionnel reste la condition première d’un soin de qualité et que l’humain doit demeurer le garant ultime de la décision médicale, même assistée par l’IA. Le risque, sinon, est d’assister à une désincarnation du soin, où la supervision humaine devient une formalité vidée de sa substance. Or, comme l’indique la norme AFNOR SPEC 2213, l’intervention humaine ne peut se réduire à une « validation a posteriori », mais doit reposer sur une capacité d’analyse, de critique et, le cas échéant, de suspension de l’outil numérique.
La garantie humaine, en ce sens, ne constitue pas seulement une exigence juridique : elle est le reflet d’un impératif éthique fondamental.
2. La garantie humaine comme exigence d’éthique médicale et de confiance numérique.
La garantie humaine constitue également un impératif éthique, visant à maintenir la dignité du patient, son autonomie, la responsabilité du soignant et la qualité du lien thérapeutique dans un environnement numérique de plus en plus complexe. Dans un contexte de défiance croissante à l’égard des institutions et des technologies, la présence humaine dans le processus décisionnel devient essentielle pour légitimer les outils numériques en santé.
L’article 14§2 de l’IA Act explicite que la surveillance humaine vise à prévenir les atteintes aux droits fondamentaux, même lorsque le système fonctionne normalement. Cette approche repose sur le principe de précaution et impose aux superviseurs de pouvoir interpréter les résultats, détecter les biais, et suspendre l’usage si nécessaire. La norme AFNOR SPEC 2213 renforce cette exigence en prévoyant une traçabilité des contrôles, tout en rappelant que les dispositifs doivent être proportionnés aux risques.
Mais cette norme demeure volontaire, et son efficacité dépend de la volonté du concepteur. En l’absence d’exigences contraignantes, la sincérité des contrôles peut être mise en doute. Le CESE souligne à ce titre l’asymétrie croissante entre acteurs publics et privés et appelle à une gouvernance plus transparente et équitable.
Dans la même ligne, il plaide pour dépasser une vision purement technicienne du numérique. La garantie humaine ne peut être réduite à une clause de principe : elle constitue une condition éthique et juridique de légitimité du recours à l’IA, notamment dans un champ aussi sensible que la santé. Le projet de label Ethik-IA, développé avec l’AP-HP, vise justement à encadrer cette exigence selon des principes de robustesse, transparence et gouvernance des données. Ainsi, la garantie humaine est le fondement d’un numérique médical digne de confiance, respectueux à la fois du droit et des valeurs humanistes de la médecine.
B. Une exigence juridique déjà reconnue mais encore perfectible.
1. Les textes actuels (RGPD, Code de la santé publique) et les exigences de supervision humaine.
Avant même l’IA Act, le droit européen et le droit interne comportaient déjà des dispositifs encadrant les décisions automatisées en santé. L’article 22 du RGPD interdit les décisions fondées exclusivement sur un traitement automatisé, sauf exception, à condition d’une « intervention humaine significative ». Mais cette notion reste floue.
Elle ouvre la voie à des pratiques inégales, certaines se limitant à une validation passive, sans réel contrôle.
Dans le domaine médical, cette faiblesse est d’autant plus problématique que les données traitées sont sensibles (art. 9 RGPD), et que les décisions ont des conséquences immédiates. Le Comité européen de la protection des données (EDPB) a insisté sur la nécessité d’un encadrement rigoureux, mais ses lignes directrices n’ont pas de valeur contraignante. En l’état, la protection des patients dépend encore largement de la rigueur des établissements, ce qui crée une insécurité juridique.
En droit interne, les articles L5211-1 et suivants du Code de la santé publique encadrent les dispositifs médicaux numériques. Mais ils ne définissent pas clairement la supervision humaine.
La loi n° 2021-1017 du 2 août 2021 relative à la bioéthique a introduit l’article L4001-3 du Code de la santé publique, instaurant discrètement une exigence de présence humaine dans l’usage de dispositifs algorithmiques. Comme l’analyse très justement Bénédicte Bévière-Boyer, cette reconnaissance implicite du principe de garantie humaine s’accompagne d’une obligation d’explicabilité minimale, insuffisante pour lever l’opacité des systèmes. Cette approche « par minima du minima » traduit une volonté législative timide, au détriment de la protection des personnes et de la dimension humaine du soin. Le Défenseur des droits a, lui aussi, plusieurs fois alerté sur cette lacune, en pointant le risque d’une responsabilité diffuse entre les différents acteurs.
Le CESE, dans son avis de mars 2025, rejoint ce constat. Il déplore un encadrement encore trop fragmenté, incapable d’assurer l’effectivité du principe de garantie humaine. En l’absence de prescriptions précises, certains opérateurs se contentent d’un contrôle de façade. D’où la nécessité d’un réajustement normatif plus cohérent, qui redonne toute sa place au professionnel dans le processus de validation et d’interprétation des décisions issues de l’IA.
Aussi, la Commission nationale consultative des droits de l’homme (CNCDH), dans un avis adopté le 7 avril 2022 relatif à l’impact de l’intelligence artificielle sur les droits fondamentaux, recommande que toute décision automatisée affectant une personne fasse l’objet d’un droit à l’intervention humaine effective. Cette exigence s’inscrit dans la continuité des garanties déjà posées par le RGPD (art. 22) et désormais renforcées par l’IA Act (art. 14), en ce qu’elle vise à préserver tant l’autonomie décisionnelle que la responsabilité juridique.
2. La consécration du principe dans le règlement européen IA Act applicable aux systèmes à haut risque "high-risk AI systems".
Jusqu’en 2024, la garantie humaine, bien qu’évoquée dans certains textes comme le RGPD ou la législation française, restait une exigence implicite, à la portée floue. Le règlement (UE) 2024/1689, dit IA Act, constitue ainsi la première consécration explicite, normative et systémique de ce principe au niveau européen, en particulier pour les systèmes à haut risque. Son article 14 érige la supervision humaine en obligation juridique pour les dispositifs d’intelligence artificielle présentant un impact significatif sur la santé et les droits fondamentaux.
Adopté en juin 2024, ce règlement impose des exigences concrètes : le système doit pouvoir être compris, surveillé, et stoppé par une personne physique compétente. Les superviseurs doivent être capables de détecter les erreurs, d’interpréter les résultats et, si nécessaire, d’agir.
Ce texte représente un tournant, car il impose une surveillance humaine active et qualifiée. Toutefois, il laisse une large place à la logique de proportionnalité. Les modalités concrètes de supervision sont laissées à l’appréciation des concepteurs ou des déployeurs. En conséquence, l’effectivité du principe peut varier considérablement d’un opérateur à l’autre.
La norme AFNOR SPEC 2213 propose un cadre de supervision par un collège d’experts pluridisciplinaires. Mais comme expliqué, elle n’a pas de force obligatoire et repose sur l’initiative du concepteur. Cette dépendance au volontarisme pose un problème évident de contrôle et de neutralité, surtout dans un secteur où les enjeux économiques sont forts.
Le CESE critique cette autorégulation et appelle à la mise en place de référentiels publics opposables. Sans harmonisation juridique et mécanisme de contrôle indépendant, la garantie humaine risque de rester un principe limité, abstrait et inégalement appliqué. Pour devenir pleinement effective, elle doit s’appuyer sur un encadrement juridique renforcé, commun à tous les opérateurs du secteur de la santé.
II. Les limites de la garantie humaine face à l’automatisation croissante sous l’angle de l’évolution du droit.
L’automatisation des soins révèle les fragilités concrètes de la supervision humaine (A) et souligne la nécessité d’un encadrement renforcé, tant en matière d’obligations juridiques que de clarification des responsabilités (B).
A. Les fragilités de la supervision humaine dans les systèmes fondés sur l’IA.
1. Le risque d’une garantie humaine fictive en raison de l’automatisation des décisions médicales.
Bien que consacrée juridiquement, la garantie humaine reste souvent difficile à appliquer. Dans la pratique, nombre d’établissements se contentent d’une validation formelle des décisions issues d’un système d’IA, sans réel contrôle critique. En l’absence de référentiels contraignants, la supervision peut devenir une simple formalité, sans portée concrète.
Ce phénomène est accentué par la complexité des outils utilisés. Certains algorithmes, notamment ceux de type machine learning, fonctionnent selon des logiques opaques qui échappent à la compréhension des utilisateurs. Le CESE insiste sur ce point : sans formation adéquate ni interface claire, la garantie humaine ne peut être effective. Or, la majorité des professionnels de santé ne sont pas outillés pour détecter les anomalies, interpréter les résultats, ou contester les suggestions produites par ces systèmes.
Ce déficit d’intervention réelle soulève également des enjeux de responsabilité. Si un professionnel entérine une décision qu’il ne comprend pas, il reste juridiquement responsable, sans avoir eu les moyens d’agir. Pourtant, l’article 14 du règlement IA Act impose que les systèmes puissent être supervisés, compréhensibles, et désactivables. Lorsque ces conditions ne sont pas réunies, la garantie humaine risque de demeurer une norme de façade, particulièrement dans les structures manquant de ressources.
2. Le manque de contrôle réel face aux biais algorithmiques et à la complexité des systèmes.
Le principe de garantie humaine suppose que le professionnel de santé soit en mesure d’appréhender le fonctionnement des systèmes d’intelligence artificielle pour en contrôler les effets. Or, cette condition reste aujourd’hui largement théorique face à la sophistication des outils mobilisés et à la persistance de biais algorithmiques difficilement identifiables. Ces biais peuvent provenir de données d’apprentissage déséquilibrées, de modèles mathématiques mal calibrés ou encore de choix de conception implicitement orientés, générant ainsi des discriminations systémiques invisibles à l’œil nu. La complexité des systèmes d’IA, notamment ceux basés sur l’apprentissage profond (deep learning), rend leur fonctionnement opaque pour la majorité des utilisateurs finaux. Ces technologies sont souvent qualifiées de « boîtes noires » dans la mesure où même leurs concepteurs ne peuvent pas toujours expliquer les résultats produits. Cette opacité technique limite considérablement les capacités de détection d’erreurs, et donc l’exercice effectif d’une supervision humaine compétente.
Par ailleurs, les interfaces logicielles ne sont pas toujours conçues pour favoriser l’interprétabilité des résultats. La lisibilité des systèmes et leur documentation technique restent insuffisantes, en particulier dans les environnements hospitaliers sous pression, où les professionnels disposent de peu de temps pour approfondir le fonctionnement des outils mis à leur disposition. Dans ces conditions, le contrôle humain devient illusoire, voire dangereux, dès lors que le soignant endosse la responsabilité d’un choix qu’il n’a pas réellement pu comprendre ni remettre en question.
Enfin, les obligations de transparence imposées par l’IA Act (art. 13 et 14) demeurent relativement générales, sans définir les modalités concrètes de restitution des informations aux utilisateurs. Cette absence de standardisation technique fragilise l’effectivité de la garantie humaine, faute de référentiels communs permettant une évaluation critique des recommandations algorithmiques. Sans accès à des données claires, traçables et interprétables, la supervision humaine ne peut jouer son rôle de contrôle, de filtre éthique, scientifique et juridique.
B. Vers un encadrement renforcé de la garantie humaine à l’ère de l’IA.
1. Les obligations de supervision humaine imposées par l’IA Act pour les systèmes à haut risque en santé.
Le règlement (UE) 2024/1689 pose un cadre juridique structurant pour la garantie humaine, notamment via son article 14. Il impose des exigences précises aux systèmes d’IA à haut risque, dont les dispositifs médicaux, et prévoit que la supervision soit exercée par des personnes compétentes, capables d’intervenir si nécessaire. Il précise que cette supervision doit permettre de prévenir ou de réduire significativement les risques pour la santé, la sécurité ou les droits fondamentaux des personnes concernées.
Ce texte marque un progrès indéniable, car il reconnaît l’importance d’un contrôle humain éclairé dans les systèmes à fort impact. Toutefois, la logique de proportionnalité qu’il adopte laisse une marge aux opérateurs dans la mise en œuvre des mesures. Il n’impose ni dispositif unique de contrôle, ni autorité indépendante chargée d’en vérifier l’effectivité, ce qui conduit à des pratiques hétérogènes.
La norme AFNOR SPEC 2213, bien qu’utile, ne suffit pas à combler ces lacunes. Son caractère volontaire, couplé à une dépendance au bon vouloir des concepteurs, empêche d’assurer une supervision homogène sur le territoire. Cette situation est d’autant plus problématique que les autorités sanitaires soulignent elles-mêmes, dans la Stratégie nationale de santé 2023-2033, la nécessité d’un pilotage public renforcé pour encadrer l’usage des outils numériques et de l’intelligence artificielle en santé.
Le CESE plaide donc pour la création de référentiels publics opposables et de mécanismes d’évaluation externes. À défaut, l’application du principe restera inégalitaire, et son efficacité variable selon les moyens des établissements. Ainsi, si l’IA Act pose des bases solides, il doit être prolongé par une déclinaison concrète à l’échelle nationale, intégrant des garanties procédurales et un pilotage public des obligations de contrôle.
2. La nécessaire redéfinition des responsabilités pour garantir une supervision humaine effective.
L’un des enjeux juridiques majeurs réside dans la clarification des responsabilités face à l’utilisation croissante de l’intelligence artificielle en santé. Ni le RGPD, ni le Code de la santé publique, ni l’IA Act ne désignent clairement qui est responsable en cas d’erreur imputable à un système algorithmique. Cette incertitude fragilise l’ensemble des acteurs : le professionnel peut-il être tenu responsable d’une décision qu’il ne comprend pas ? Le concepteur doit-il répondre d’un système insuffisamment explicable ? L’établissement, en cas de défaut de formation ou d’encadrement, peut-il s’exonérer de ses obligations ?
Une évolution du droit de la responsabilité s’impose. Les concepteurs devraient être soumis à des obligations renforcées de transparence, tandis que les professionnels de santé devraient bénéficier d’un cadre clair reconnaissant leur rôle actif dans la supervision. Le label Ethik-IA, élaboré avec l’AP-HP, et les recommandations du CESE en faveur d’un contrôle indépendant, ouvrent des pistes concrètes pour une meilleure répartition des devoirs. Mais au-delà des normes, l’effectivité de la garantie humaine repose sur des leviers pratiques : formation ciblée, lisibilité des outils, traçabilité des décisions et implication des patients. Une logique de coresponsabilité, adaptée aux réalités du terrain, doit désormais guider l’encadrement juridique. Parmi les dispositifs envisagés pour la rendre opérationnelle, la mise en place de « collèges de garantie humaine » pourrait jouer un rôle structurant. Proposés par David Gruson dans une approche de régulation éthique positive, ces collèges associeraient professionnels, concepteurs et représentants des usagers dans un dispositif de supervision collégiale et documentée. Ce mécanisme vise à encadrer les responsabilités, anticiper les biais et formaliser la traçabilité des décisions dans un esprit de gouvernance partagée.
Ainsi, la garantie humaine cristallise les tensions entre innovation algorithmique, responsabilité professionnelle et éthique du soin. Sa reconnaissance juridique marque une avancée décisive, mais sa mise en œuvre reste inaboutie. Pour qu’elle devienne une norme réellement opérationnelle, plusieurs leviers doivent être activés : obligations précises pour les concepteurs, encadrement adapté pour les professionnels, référentiels publics opposables et gouvernance partagée. En définitive, l’avenir du numérique en santé repose sur la capacité collective à conjuguer performance technologique et vigilance humaine. C’est à cette condition que les droits fondamentaux des patients pourront être durablement garantis dans un écosystème médical en constante évolution.
