IA compagnon, une amie qui nous veut du bien ?

La conférence a été organisée le 19 janvier 2026 par l’Observatoire de l’Intelligence artificielle de Paris 1 Panthéon-Sorbonne en collaboration avec le Département de recherche en droit de l'immatériel (DReDIS) de l’Institut de recherche juridique de la Sorbonne (IRJS) et la Commission nationale consultative des droits de l’homme (CNCDH). Elle s’inscrit également dans le cadre du consortium OpenLLM France (lauréat de l'appel à projets France 2030) dont Paris 1 Panthéon-Sorbonne est membre.

Célia Zolynski, professeur de droit privé et co-directrice de l’Observatoire de l’IA, et Magali Lafourcade, magistrate et secrétaire générale de la CNCDH, ont souhaité consacrer une journée de conférences aux IA compagnons. Une réflexion qui s’inscrit dans une recherche prospective, collective et interdisciplinaire afin de mieux comprendre les enjeux actuels et futurs liés à la conception, aux usages et aux impacts de ces agents conversationnels nouvelle génération que sont les IA compagnons.

Magali Lafourcade a souligné l'importance de la déclaration universelle des droits de l'homme et le rôle de la CNCDH dans la protection des droits humains face aux innovations technologiques : « nous constatons aujourd'hui que les enjeux derrière les IA compagnons sont vertigineux. Nous les envisageons souvent sous l’angle de la fascination devant l’innovation, mais il faut aussi se poser des questions éthiques, juridiques et politiques » a-t-elle précisé en introduction de la journée. 

Les IA compagnons sont définis comme des systèmes d’IA dotés d’interfaces en langage naturel, produisant des réponses personnalisées et anthropomorphiques. Ils sont conçus pour simuler des interactions interpersonnelles ou émotionnelles durables. Les usages de ces IA dépassent les seuls services « d’amis virtuels », ils se retrouvent aussi dans des agents conversationnels généralistes (comme ChatGPT), les réseaux sociaux, les jeux vidéo, ou encore les jouets connectés, touchant particulièrement les jeunes publics.

Serena Villata (CNRS, 3IA), a présenté un historique de l'évolution des chatbots vers les IA compagnons. Des balbutiements d’ELIZA (un modèle de psychothérapeute virtuel) en 1966, en passant par les agents conversationnels des années 90, des systèmes sans modèles d’apprentissage et sans prise en compte du contexte. Cette notion de contexte est essentielle pour les IA compagnons car elle représente la mémoire d’une discussion avec un utilisateur. Ce dernier peut faire référence à ce qui a été dit avant dans sa discussion avec un chatbot qui, par conséquent, doit éviter de générer des incohérences. Pour les premiers agents conversationnels créés dans les années 90, le contexte était très court et donc cela freinait la possibilité d’une conservation réaliste.

La période entre 2014 et 2017 a vu l’arrivée du Deep Learning et l’architecture en réseaux de neurones jusqu’au développement des modèles Transformers, qui ont bouleversé les performances des systèmes en termes de capacité de mémoire et d’analyse et de rapidité de réponse. Il est désormais possible d’avoir un entrainement des LLM sur un très grand corpus de données, en s’appuyant sur l'apprentissage automatique (Machine Learning). L’arrivée de GPT 3 en 2020 est une énorme révolution. Avec ces IA génératives, on passe alors des chatbots aux IA compagnons. La mémoire conversationnelle devient très étendue avec un degré de personnalisation du chatbot très élevé. Le but désormais n’est pas uniquement de fournir des réponses objectives, mais de cibler l'utilisateur. Pour arriver à cela, le système doit passer par une gestion des émotions perçues de l’utilisateur, il doit détecter son état émotionnel à travers l'échange et savoir écrire des textes utilisant l'empathie. On parle là de modélisation de l'empathie pour détecter et répondre aux émotions des utilisateurs.  

Serena Villata a également détaillé les modules techniques des IA compagnons basés sur la modélisation de l’empathie : un encodeur de contexte, un modèle de langage génératif, un module de mémoire qui permet de garder des informations sur l’utilisateur et une couche de sécurité.

Certaines IA compagnons sont utilisées dans le domaine éducatif pour l’aide à l'apprentissage par exemple. Ils assistent l’enseignant dans l’objectif de stimuler les élèves. Le système d’IA peut ainsi prendre en compte les erreurs de l'utilisateur et lui en expliquer les raisons. On trouve également l’application de ces systèmes dans le contexte thérapeutique et notamment à la disposition d’enfants atteints de troubles autistiques. Pour Alexandra Prégent (CEA, Paris-Saclay), certains robots ont un aspect bénéfique lorsqu’ils sont utilisés en tant que support et non en tant que remplacement du thérapeute. Plus généralement, on peut avoir des situations dans lesquelles un robot IA compagnon peut accomplir des tâches difficiles, voire dangereuses pour l'humain, comme le transport d’un objet lourd par exemple.

Comme l'a rappelé David Chavalarias (Institut des systèmes complexes de Paris Île-de-France), les IA compagnons s’appuient sur des modèles de langage qui sont basés sur des statistiques. Ce sont des dispositifs qui ont appris des régularités et qui vont être capables ensuite de les reproduire dans des interactions avec les humains : « Les domaines où cela va être intéressant sont ceux où les bases d’apprentissage sont larges et contrôlées (dans le domaine des mathématiques par exemple) et qui n’évoluent pas trop rapidement. Mais il ne faut pas se dire que cela s’appliquera dans n’importe quel domaine, de façon généraliste ».

Selon Stefana Broadbent (Politecnico di Milano), les utilisateurs d’IA compagnons sont majoritairement des 15-25 ans, avec une répartition équilibrée entre les genres. Une large part d’entre eux sont aussi des joueurs de jeux vidéo. Les personnages d’IA compagnons proviennent souvent d’univers du jeu vidéo. Les jeux multi-joueurs ont historiquement favorisé des relations sociales fortes entre joueurs via des avatars. L’intégration d’IA compagnons prolonge cette sociabilité. Le secteur du jeu vidéo apparaît ainsi comme le principal terrain d’expansion de ces technologies. 

Pour quelles raisons peut-on être attachés, ou encore manipulés par ces IA compagnons ? Pour Alexandra Prégent, c’est du fait de la reconnaissance émotionnelle que ces systèmes peuvent simuler l’empathie. Chez les utilisateurs, on retrouve souvent l’idée que ces IA compagnons ne les jugent pas et ne les rejettent jamais, ce qui peut être la crainte de certains dans le cadre de relations humaines. On retrouve également l’idée que les IA peuvent s’ajuster à nos humeurs et à notre personnalité. Certains le font automatiquement, d'autres vont nécessiter des réglages par l’utilisateur sur son IA compagnon qui peut avoir diverses fonctionnalités, allant d’un collègue à un(e) amoureu(x)(se), un thérapeute ou encore un ami.  

Pour Mehdi Khamassi (Institut des Systèmes Intelligents et de Robotique, CNRS), l’isolement social et cognitif est un risque majeur. Le caractère systématiquement complaisant et engageant des IA compagnons peut renforcer la solitude, se substituer aux interactions humaines et favoriser des comportements automatiques. Cette dépendance est déjà observable chez les jeunes générations, qui tendent à déléguer leurs recherches et leur réflexion aux agents conversationnels, entraînant un appauvrissement de la réflexivité, de l’esprit critique et de l’autonomie intellectuelle.

Un des effets délétères de ces applications est l’addiction que cela peut créer chez l’utilisateur. Chez les jeunes ou les personnes en situation de fragilité émotionnelle, la relation avec un IA compagnon peut poser question, notamment en termes de dépendance affective, de confidentialité des confidences et de substitution aux relations humaines. Mais aussi, il faut éviter l'écueil du jugement moralisateur disant que seules les personnes fragiles ou en situation de faiblesse peuvent ressentir des émotions pour une IA.

Pour Alexandra Prégent, les fonctionnalités de reconnaissance des émotions constituent également un point de vigilance. Contrairement aux discours marketing portés par les concepteurs d’applications, ces systèmes ne détectent pas les états émotionnels internes mais seulement des expressions superficielles, à partir de modèles simplifiés. Leur capacité à reconnaître des émotions complexes est très limitée. Cela expose les utilisateurs vulnérables à des risques accrus, notamment en matière de relations affectives, de décisions de consommation ou de santé mentale, y compris le risque suicidaire.

Un autre risque central concerne la collecte et l’exploitation incontrôlées des données. Les IA compagnons reposent sur une acquisition massive de données personnelles, sans réelle maîtrise par les utilisateurs. Cette collecte soulève à la fois des questions de souveraineté numérique, de transparence et de coût environnemental. Un autre enjeu clé réside dans le modèle économique de ces outils. Conçus à des fins commerciales, ils visent à maximiser le temps d’engagement, comme les réseaux sociaux. Pour extraire de la valeur, les systèmes tendent à rendre les utilisateurs plus prévisibles, en simplifiant et en appauvrissant leurs comportements, ce qui réduit leur liberté et la richesse de leur espace décisionnel.

Christine Dugoin-Clément (IAE Business School Paris 1- La Sorbonne) alerte quant à elle sur la manipulation informationnelle. Elle met en lumière l’usage stratégique des IA génératives dans des contextes d’ingérence informationnelle, notamment en Russie. La création massive de contenus automatisés (sites, jeux vidéo, chats) permet d’empoisonner les bases de données des modèles d’IA et d’influencer indirectement les utilisateurs. Les IA compagnons peuvent alors devenir des vecteurs puissants de propagande, plus efficaces que des intermédiaires humains.

Présentant les travaux d’AI Forensics notamment leur étude "From “Googling” to “Asking ChatGPT” : Governing AI Search”, Raziye Buse Çetin a souligné certaines lacunes concernant la modération des contenus générés par les IA conversationnelles via des mécanismes intégrés et le retour humain, ainsi que diverses insuffisances quant au respect de la réglementation de l’UE. 

Thomas Souverain (CEA) a relevé que ces outils pouvaient être de plus en plus utilisés en contexte éducatif, notamment pour aider les élèves en difficulté. Il a toutefois souligné que certains jeunes en viennent à se confier à des IA qui n'ont pas été prévues pour cela, ce qui peut susciter des risques qu'il convient de prendre en compte en particulier dans une approche éthique by design.

Alexei Grinbaum (CEA) a présenté le projet européen AIOLIA au sein duquel est conduite une analyse de la mise en œuvre pratique et opérationnelle des principes éthiques comme la transparence et la supervision humaine ainsi que leur application au cas d’usage compagnons virtuels. Il a en particulier relevé les tensions entre vie privée, sécurité, autonomie et consentement, et a pu souligner à cette occasion l'inadéquation des instruments juridiques à notre disposition.

Catherine Régis est professeure de droit de l’Université de Montréal, codirectrice du programme de recherche de l’Institut canadien de la sécurité de l’IA. Ses travaux visent à réfléchir à la meilleure façon d’encadrer l’IA aux échelons national et international et à concevoir des approches de gouvernance responsable de l’IA. Pour elle, le développement des IA compagnons à visée thérapeutique s’inscrit dans un contexte de crise mondiale de la santé mentale et de systèmes de soins sous pression, notamment au Canada et en France. Face à la hausse de l’anxiété et à l’accès limité aux professionnels, une part croissante de la population se tourne vers l’IA pour obtenir soutien et conseils en santé mentale. Aujourd’hui, environ 10 % des Canadiens utilisent déjà ces outils, principalement pour des usages de thérapie ou de compagnonnage.  

Ces IA offrent des avantages majeurs : accessibilité continue (24h/24), faible coût, potentiel de personnalisation et intégration possible dans les parcours de soins, en complément d’un suivi humain. Cependant, ces outils soulèvent des risques importants encore mal encadrés : biais et discriminations, atteintes à la vie privée, dépendance des usagers et absence d’alignement avec les recommandations cliniques. Leur statut juridique est flou, en particulier à la frontière entre bien-être et dispositif médical, posant la question de l’exercice illégal de la médecine.

Pour Catherine Régis, l’enjeu central est donc de favoriser une adoption responsable, via des cadres combinant transparence, sécurité, participation des acteurs et une approche de santé publique adaptée, sans freiner l’innovation. 

L’IA conversationnelle ne constitue qu’une partie d’un large écosystème de services numériques fondés sur la collecte massive de données à des fins commerciales. Aux États-Unis, selon Olivier Sylvain (Fordham Law School, Knight First Amendment Institute de l'Université Columbia), les appels à limiter certains usages de l’IA sont jugés raisonnables au regard des risques, mais ils se heurtent à la liberté d’expression protégée par le Premier amendement. Les IA compagnons, conçus pour créer un attachement émotionnel, posent des risques spécifiques. Des études évoquent des impacts sur la santé mentale, comme le phénomène d’AI psychosis.  

L’affaire Megan Garcia illustre ces dangers : son fils Sewell, adolescent vulnérable psychologiquement, a développé une relation intense avec un IA compagnon de l’application Character.AI. Après avoir exprimé des intentions suicidaires, l’IA aurait validé son geste, et l’adolescent s’est suicidé. La plainte soutient que les entreprises connaissaient les défauts du modèle. Character.AI invoque le Premier amendement, mais le tribunal a estimé que Google pouvait être tenu responsable pour complicité, ouvrant la voie à une responsabilité du fait des produits. Character.AI et Google cherchent depuis un règlement à l’amiable.

Face aux critiques, certaines mesures ont été annoncées : Character.AI a interdit l’accès à ses services aux moins de 18 ans. OpenAI finance des recherches en sécurité de l’IA. En Californie et à New York, des lois imposent davantage de transparence et de protections pour les mineurs, mais la Maison Blanche cherche à limiter les initiatives des États et s’oppose toujours à la régulation de l’IA.

Lors du panel consacré à la régularisation des IA compagnons, Célia Zolynski a souligné l’urgence de réfléchir à la régulation des IA compagnons, en raison de leur diffusion rapide et de leurs effets ambivalents. Si ces systèmes peuvent apporter des bénéfices sociaux, notamment pour les personnes isolées, ils présentent aussi des risques sérieux, mis en lumière par des cas récents, dont des suicides d’adolescents largement médiatisés aux États-Unis et en Europe.

De nombreux travaux et textes récents, notamment les lignes directrices de l’article 5 du règlement européen sur l’IA (AI Act) alertent sur les risques pour les personnes vulnérables (enfants, personnes âgées, personnes en situation de handicap ou de précarité). Chez les enfants, ces interactions peuvent nuire au développement socio-émotionnel, accroître l’anxiété et la dépendance, et favoriser des formes de manipulation ou d’exploitation. Au-delà de ces publics, des effets plus systémiques sont identifiés, comme l’optimisation de l’engagement qui peut favoriser des mécaniques addictives, la collecte massive de données sensibles liée à des interactions intimes, les risques de manipulation ciblée et d’atteintes à la santé mentale, et des possibles phénomènes de dépendance, régression, narcissisme et d’isolement social.

Sur le plan juridique, bien que le législateur et les régulateurs aient commencé à se saisir du sujet (AI Act, DSA, RGPD), les réponses actuelles sont jugées insuffisantes. Les agents conversationnels sont en principe classés comme à « risque acceptable », soumis surtout à une obligation minimale de transparence, jugée inadaptée face aux risques de manipulation anthropomorphique. 

Compte tenu de ces limites, Célia Zolynski et Karine Favro (Université de Haute-Alsace) appellent à repenser les modalités de régulation, en ciblant prioritairement la conception des services et leurs modèles économiques, afin d’empêcher l’émergence d’une « économie de l’intention » potentiellement toxique, notamment fondée sur la publicité ciblée et la maximisation de l’engagement. L’objectif est d’agir en amont, là où les réseaux sociaux n’ont pas été suffisamment encadrés, pour éviter d’en reproduire les effets délétères.  

Elles plaident pour une régulation des IA compagnons centrée sur la protection de l’autonomie des personnes, via une approche préventive (ex ante) visant à éviter les risques plutôt qu’à les corriger a posteriori. Elles insistent sur la nécessité de donner à l’utilisateur un pouvoir de paramétrage pour limiter les interactions toxiques, l’anthropomorphisation et les mécanismes d’engagement excessifs.

Pour les chercheuses, la régulation doit reposer sur un dialogue permanent entre régulateur, concepteurs et parties prenantes, afin de dépasser la simple modélisation des risques et mieux saisir les usages réels. Les concepteurs d’applications IA compagnons restent responsables de l’analyse de risques, mais selon des méthodes définies et contrôlées par le régulateur, réévaluées en continu, qui associent également les représentants de la société civile et les experts académiques.

Elles appellent à qualifier certains risques comme intrinsèquement inacceptables, en tenant compte des logiques de domination économique et des mécanismes de manipulation pouvant aller jusqu’à des formes d’emprise. 

La dernière table ronde de la journée, modérée par la professeure Judith Rochfeld (Paris 1 Panthéon-Sorbonne), a mis en évidence les enjeux juridiques, sociaux et environnementaux soulevés par le développement des IA compagnons, en soulignant l’ampleur des risques et le cadre actuel de la régulation.

Benoît Loutrel (Arcom) a présenté l’évolution de la régulation, en soulignant la nécessité d'organiser un processus collectif entre régulateurs et représentants de la société civile afin de partager les différents questionnements. Si le cœur du sujet porte sur la mise en œuvre du règlement sur l’IA et l'application du RGPD, il est revenu sur l'application possible et utile du Règlement sur les services numériques, dès lors que le texte repose sur une logique de responsabilisation des opérateurs fondée sur l’analyse des risques systémiques.

Xavier Delporte (CNIL) a quant à lui rappelé que les IA compagnons traitent massivement des données à caractère personnel sensibles au titre du RGPD, en particulier lorsque l’IA est utilisée comme « confident, médecin ou partenaire romantique ». Il a noté certaines difficultés soulevées au regard du respect du RGPD, notamment en matière de licéité du traitement, de minimisation des données et d’effectivité des droits des personnes (rectification, effacement), difficiles à garantir dans ce cadre. Le risque de profilage à des fins de manipulation est central, tout comme les enjeux spécifiques liés aux enfants, notamment via des jouets connectés collectant des données sensibles.  

Véronique Béchu (e-Enfance) a pour sa part souligné la vulnérabilité particulière des mineurs face aux IA conversationnelles, désormais intégrées dans les pratiques quotidiennes dès le primaire. Elle a mentionné qu'il résulte des premières études de terrain une confusion entre IA et personne, notamment chez les collégiens dès lors que 30 % d’entre eux perçoivent ces outils d’IA comme une personne. Mentionnant des usages détournés de l’IA à des fins de sextorsion, de manipulation ou de production de contenus illicites, elle a en outre évoqué le possible recours à ces outils à des fins de prévention et d'accompagnement des victimes, notamment dans le cadre de modules de sensibilisation ainsi que pour favoriser une orientation vers le numéro national 3018 en cas de violence numérique.

Sandrine Elmi Hersi (Arcep) a ensuite présenté le rapport de l'Arcep publié en janvier 2026 "IA Générative : des défis pour l'avenir de l'internet ouvert". Ce rapport relève que l’intégration croissante des IA génératives dans les navigateurs, moteurs de recherche et réseaux sociaux transforme l’accès à l’information en favorisant des interfaces uniques et non neutres, réduisant la liberté de choix des utilisateurs, accentuant les bulles informationnelles et fragilisant la « découvrabilité » des contenus. Ces évolutions comportent des enjeux concurrentiels majeurs et interrogent la répartition de la valeur. Dans la mesure où l’axe de priorité de l’Arcep vise à renforcer l’Internet ouvert en matière d’IA générative et éviter que cet accès soit réservé à certains grands acteurs du numérique, elle a expliqué comment appliquer le Règlement sur les marchés numériques (DMA) afin de soumettre les opérateurs aux obligations imposées par ce texte. Parmi les recommandations du rapport, elle a souligné l'importance de garantir en ce domaine une transparence efficiente, notamment en permettant le développement de comparateurs d’IA générative - à l'image du projet Compar:IA porté par le Ministère de la Culture -, ainsi que de consacrer au bénéfice de l'utilisateur final un véritable droit au paramétrage, incluant la possibilité de désactiver l’IA ou de la personnaliser.

Enfin, Yann Bonnet (Paris Peace Forum) est revenu sur les risques cognitifs et psychologiques que peuvent présenter l'utilisation d'IA Compagnons, en particulier pour les enfants, ainsi que sur les risques en matière de cybersécurité et pour l’environnement. Il a présenté l'initiative I-Raise du Paris Peace Forum qui promeut une approche « by design », intégrant l’intérêt supérieur de l’enfant, fondée sur le dialogue entre développeurs, neuroscientifiques et concepteurs de services. En attendant la mise en œuvre du Règlement sur l’IA, cette initiative permettrait d’éclairer les régulateurs et, plus généralement, les pouvoirs publics et de responsabiliser en particulier les développeurs. 

> En savoir plus sur l’Observatoire de l’Intelligence artificielle de l'université Paris 1 Panthéon-Sorbonne