Biais culturels et IA

Cardston et ses environs pittoresques : une histoire de la colonisation et du progrès dans le sud de l’Alberta, 1900

Comme nous l’avons mentionné dans l’article Une boîte noire, les intelligences artificielles statistiques étant entraînées avec des données sélectionnées et classées, leurs résultats sont nécessairement le fruit de choix subjectifs et arbitraires, que ces choix soient déjà présents dans les données d’apprentissage ou bien qu’ils soient introduits lors de leur classement. Les I.A. statistiques, et en particulier les I.A. génératives, sont donc particulièrement sujettes à toutes sortes de biais, y compris un des plus sournois de tous, le biais culturel, et font donc preuve d’ethnocentrisme¹.

Les biais culturels sont inévitables

Les humains, en tant qu’êtres sociaux, sont fortement influencés par leur environnement culturel dans leur compréhension du monde. Chaque culture développe son propre ensemble de normes, de valeurs ou de croyances, qui façonnent la vision du monde de ses membres. Comme de nombreux autres biais cognitifs², le biais culturel est un mécanisme de défense naturel qui aide les individus à appréhender le monde complexe en simplifiant et en catégorisant les informations, permettant une décision plus rapide. Mais il peut aussi limiter la compréhension et en particulier l’appréciation de la diversité, et peut conduire à des jugements erronés et des préjugés ; il est un obstacle à l’entente interculturelle.

Si l’on ne peut pas directement appliquer la définition des biais cognitifs, par définition humains, aux intelligences artificielles, qui sont de plus dépourvues de toute cognition, ou dans le meilleur des cas dotées d’une cognition extrêmement limitée, il est tout à fait légitime de parler de biais, en particulier culturel, dans le cas des I.A. génératives. N’étant capables que de reproduire ce que contiennent leurs données d’apprentissage auxquelles elles attribuent un poids statistique, elles génèreront naturellement des données en phase avec les équilibres statistiques de ces données d’apprentissage. Par l’alignement opéré sur ces I.A., que ce soit via des corrections apportées au classement des données d’apprentissage ou via des ajustements de leurs réponses lors de la phase d’inférence, s’il est possible de réajuster ces probabilités, toute modification apportée ne fait que modifier les biais de manière arbitraire, selon des choix subjectifs (et eux aussi soumis à divers biais cognitifs).

L’analyse et la maitrise de ces biais des intelligences artificielles génératives est primordiale, en ce qu’elle participe elle-même aux biais cognitifs et culturels de leurs utilisateurs ; en tant que source de connaissances et de données pour les utilisateurs, elles font partie de leur propre culture qu’elles influencent naturellement. L’individu n’étant pas isolé dans ses décisions, ses biais cognitifs sont en partie liés à la pression sociale et culturelle sur cet individu ; ce travers peut d’ailleurs donner lieu à des techniques de persuasion ou de propagande très efficaces.

Tous les aspects culturels sont impactés, allant par exemple des notions de politesses à des idées politiques et économiques sur- ou sous-représentées, ou encore la reproduction de stéréotypes de genre, d’ethnie ou d’origine géographique. Ces biais ne sont pas le fait des I.A. elles-mêmes, mais elles en sont la caisse de résonance.

Prenons l’exemple des plus grandes des intelligences artificielles génératives, qui génèrent du texte ou des images et vidéos. Elles sont généralement entraînées avec des données issues d’internet, qui sont notoirement biaisées : l’immense majorité d’internet présente des contenus de culture anglo-saxonne ou proche, et on retrouve ce déséquilibre dans ce que ces I.A. génèrent. Mais même au-delà des données d’apprentissage, un retour sur l’histoire de l’intelligence artificielle et de l’informatique nous montre bien que dès la conception, la plupart des systèmes informatiques sont développés dans un cadre culturel anglo-saxon et en particulier étasunien. Tous les langages de programmation sont dérivés de l’anglais, et la logique utilisée est elle-même le fruit de la philosophie quasi exclusivement européenne puis étasunienne.

Dans une étude de mars 2024³, des chercheurs montrent la présence de racisme larvé⁴ dans les grands modèles de langage utilisés par les robots conversationnels.
À partir de recherches montrant que les Étasuniens entretiennent des stéréotypes raciaux basés sur l’usage d’une variante afro-américaine de l’anglais, ils constatent que les modèles de langage reproduisent les mêmes préjugés, et affichent même des stéréotypes larvés plus négatifs les stéréotypes des humains sur les Afro-Américains ; et ce alors que les stéréotypes ouverts des modèles de langage sur les Afro-Américains sont beaucoup plus positifs.
Les chercheurs montrent alors que ces préjugés peuvent avoir des conséquences néfastes ; en demandant à ces I.A. de prendre des décisions hypothétiques sur les personnes, se basant uniquement sur la façon dont elles parlent, elles sont plus susceptibles de proposer aux locuteurs de l’anglais afro-américain des emplois moins prestigieux, ou de les reconnaître coupables de crimes et de les condamner à mort. L’étude montre aussi que les méthodes d’alignement existantes pour atténuer les préjugés raciaux n’atténuent pas ces préjugés, ce racisme larvé, mais au contraire peuvent exacerber l’écart entre les stéréotypes larvés et ouverts, en poussant les modèles de langage à dissimuler superficiellement le racisme qu’ils entretiennent à un niveau plus profond.

Plus généralement, il semble même que les modèles de langage puissent avoir leur propre « vision du monde » qui ne peut être reliée à aucun groupe social spécifique⁵ mais qui n’en est pas moins un important biais spécifique.

Le biais linguistique

L’effet de ce biais culturel est particulièrement visible dans le domaine du langage, où l’on peut facilement révéler les biais linguistiques robots conversationnels.

Romain Filstroff⁶ en fait une démonstration percutante sur sa chaîne YouTube Linguisticae en essayant de créer une langue en utilisant des I.A. génératives. Celles-ci se montrent incapables de l’aider à créer la langue. Au-delà des problèmes liés à l’absence de créativité de l’intelligence artificielle, incapable de se détacher de la statistique et donc incapable de la moindre innovation, et de son incapacité à appliquer les règles⁷ qu’on lui donne, primordiales pour établir le fonctionnement d’une langue, ses biais culturels et linguistiques limitent fortement ses capacités.

Elle est par exemple quasiment incapable de créer une langue utilisant des diacritiques⁸ ou des caractères hors de l’alphabet latin. Le poids statistique des caractères latins sans accents est bien trop élevé relativement à la fréquence des caractères accentués ou d’alphabets autres que l’alphabet latin dans les données d’apprentissage de l’I.A. C’est une caractéristique de l’anglais, largement prédominant dans ces données.

Romain Filstroff note aussi que l’I.A. est très dépendante de la langue dans laquelle on s’exprime à elle, se centrant sur la langue de l’utilisateur, tout en conservant toujours un certain anglo-centrisme.

On note aussi que les tentatives d’alignement de l’I.A., c’est-à-dire le fait pour les développeurs de l’I.A. d’en contrôler les futures réponses, introduisent elles-mêmes d’autres biais, par exemple un biais de positivité où l’I.A. génère plus facilement des mots liés à des notions associées à des émotions positives, comme la paix ou la tranquillité, au détriment des émotions négatives. Ce biais est d’ailleurs un autre frein à la créativité de l’I.A. générative, et rend impossible la génération d’un lexique complet incluant des notions « négatives » lors de la création d’une langue.

Ces biais culturels peuvent bien sûr être étendus à tous types d’I.A. géneratives, au-delà des modèles de langages, étant toutes conçues sur les mêmes principes, et il faut s’attendre à retrouver toutes sortes de stéréotypes dans toutes leurs générations, qu’il y ait une tentative d’alignement ou non de la part des concepteurs.

Ci-dessous, la passionnante vidéo de Romain Filstroff sur sa chaîne Linguisticae.

1. L’ethnocentrisme est un concept ethnologique ou anthropologique introduit au début du 20ᵉ siècle. Il renvoie au fait de vivre sa propre culture comme si elle était la norme universelle, et de la prendre comme un cadre de référence permettant de juger d’autres cultures, pratiques, comportements, croyances, sans considération pour les normes qui ont cours dans ces cultures étrangères. ↩︎
2. Un biais cognitif est une déviation dans le traitement cognitif d’une information. Le terme biais fait référence à une déviation de la pensée logique et rationnelle par rapport à la réalité. Les biais cognitifs conduisent le sujet à accorder des importances différentes à des faits de même nature. Certains de ces biais peuvent en fait être efficaces dans un milieu naturel tel que ceux qui ont hébergé l’évolution humaine, permettant une évaluation ou une action plus performante, tandis qu’ils se révèlent inadaptés à un milieu artificiel moderne. ↩︎
3. Dialect prejudice predicts AI decisions about people’s character, employability, and criminality, arXiv:2403.00742 ↩︎
4. En complément du racisme ouvert, les propos explicite à base d’insultes ou de violence verbal par exemple, on peut ajouter le racisme larvé, moins direct, fait de préjugés et discriminations quasi inconscientes elles ont été culturellement intégrées dans les actes et les discours. ↩︎
5. Machine Bias. Generative Large Language Models Have a Worldview of Their Own, Boelaert et al., avril 2024 ↩︎
6. Romain Filstroff est un vidéaste français. Il est principalement connu pour ses travaux de vulgarisation en linguistique, d’abord sur son blog puis sur YouTube. En 2023, il cofonde le collectif des Linguistes atterrées. ↩︎
7. En l’absence de métacognition, de possibilité de contrôler leurs propres résultats, les intelligences artificielles statistiques sont dans l’impossibilité de comprendre et d’appliquer des règles qu’on leur donnerait lors de la phase d’inférence. ↩︎
8. Un diacritique (ou « signe diacritique ») est un signe accompagnant une lettre ou un graphème pour en modifier le sens ou la prononciation. ↩︎

biais culturels