L'affaire débute quand David Heinemeier Hansson écrit un tweet, "Ma femme et moi-même déclarons nos impôts conjointement et nous sommes mariés depuis très longtemps. Et pourtant, l'algorithme 'boîte noire' d'Apple pense que j'ai le droit à une limite de crédit 20 fois plus élevée qu'elle."
Les autorités de New York ont ouvert une enquête. Ce n'est pas le premier exemple du genre. Les logiciels de traduction sont pointés du doigt. Si vous écrivez "a nurse" - mot anglais non genré - ces logiciels le traduisent par "une infirmière". Dans le secteur de l'emploi, Amazon a abandonné un de ses algorithmes de recrutement, parce qu'il rejetait les CV de femme. La raison, c'est que ces postes étaient, dans le passé, occupés par des hommes à plus de 80%.
Des bases de données biaisées
Selon Aude Bernheim, auteure de "L’Intelligence artificielle, pas sans elles !", les bases de données sont biaisées. Logique que les algorithmes le soient aussi.
"Si vous tapez PDG dans Google images, vous trouverez très souvent des photos d'hommes blancs. Beaucoup d'études ont prouvé que les bases de données étaient très peu représentatives. Quand on va estimer l'erreur d'un algorithme pour l'optimiser, là aussi, on peut introduire des biais. A tous les niveaux de la création d'un algorithme, il y a des biais qui sont introduits. Car nous vivons dans une société qui est biaisée et genrée."
Les algorithmes sont aussi subjectifs que les êtres humains. Ils sont un miroir grossissant de la réalité.
"Avant qu'il y ait cet algorithme d'Apple, est-ce que la façon dont étaient accordés les crédits aux hommes et aux femmes n'était pas déjà sexiste? C'est souvent des biais qui sont amplifiés. Je pense qu'on accorde beaucoup plus facilement des crédits aux hommes. On voit dans tous les secteurs que pour financer une start-up, il est plus facile d'être un jeune homme blanc qu'une jeune femme noire."
Que faire?
Aude Bernheim a des solutions pour rendre les algorithmes plus égalitaires. Sensibiliser les développeurs et les utilisateurs. Utiliser aussi l'intelligence artificielle pour favoriser l'égalité. En France, un algorithme a passé au crible 700'000 heures de programmes radio et télé. Et a montré qu'on accorde aux femmes moins d'un tiers du temps de parole.
Pauline Rappaz
Que se cache-t-il dans la boîte noire de l'algorithme?
Dans l'exemple de l'algorithme utilisé par Apple Pay, l'utilisateur ne connaît pas le mécanisme utilisé par l'ordinateur. Il sait qu'il entre une donnée dans la machine et qu'à l'autre bout, il obtient un résultat. Ce manque de transparence inquiète les éthiciens du numérique.
La Conférence internationale des commissaires à la protection des données et de la vie privée est à la pointe sur cette question. Fin 2018, elle a présenté un texte fondateur pour définir notre rapport à l'algorithme. Celui-ci prévoit notamment la transparence et l'intelligibilité des systèmes d'intelligence artificielle.
Le travail que fait la machine doit être explicable. Le texte propose également de garantir "la liberté des individus de maîtriser les informations les concernant, en particulier en s'assurant qu'ils sont toujours informés de façon appropriée lorsqu'ils interagissent directement avec un système d'intelligence artificielle ou qu'ils fournissent des données à caractère personnel qui seront traitées par de tels systèmes".
Des initiatives comme Adel luttent également contre ces biais. Cette société française propose des évaluations éthiques des algorithmes et des bases de données. L'objectif est de trouver les biais en amont, avant que les utilisateurs soient impactés.
PW