Comment Google est "devenu raciste" (danah boyd / Rue89)

Comprendre les technologies que nous avons créées, pour les défaire de nos préjugés. Dans une conférence traduite et mise en ligne par Rue89, l'anthropologue américaine danah boyd, spécialiste des médias sociaux, s'inquiète des usages possibles des masses de données - les "Big Data".

, s'inquiète des usages possibles des masses de données - les "Big Data".

"Les données, c’est le pouvoir. Or, nous voyons de plus en plus les données être utilisées pour dominer les gens." Le diagnostic n'émane pas de n'importe qui : danah boyd (elle explique ici pourquoi elle ne veut pas de majuscules à son nom), anthropologue employée au département de recherche de Microsoft, est une fine connaisseuse du Net en général, et des médias sociaux en particulier. Dans une conférence donnée le 20 octobre, traduite et mise en ligne par Rue89, elle raconte comment elle a pris progressivement conscience que la technologie reproduisait préjugés et inégalités.

Elle a notamment observé le fossé social et racial qui s'est creusé au milieu des années 2000 entre utilisateurs de MySpace (majoritairement des Noirs issus de classes populaires) et de Facebook (majoritairement des Blancs aisés) : "C’est ainsi qu’en 2006-2007, je vis se reproduire en ligne un phénomène que l’histoire connaissait bien: un «White Flight» numérique. MySpace était décrit comme les centre-villes américains des années 70: un endroit dangereux où traînaient des personnages malfamées, alors que Facebook était respectable et sans danger."

Le texte de danah boyd sur Rue89

La chercheuse prend également en exemple le cas de Latanya Sweeney. Cette informaticienne noire a cherché à comprendre pourquoi, lorsqu'on entre le nom d'une personne noire dans Google, le moteur de recherche suggère parmi les résultats "des publicités pour des services et des produits relatifs à la justice pénale". Non pas car l'algorithme du moteur de recherche a été programmé pour être raciste, mais parce qu'en cliquant souvent sur ce type de résultats, "ses utilisateurs racistes l'entraînent à l'être", explique-t-elle.

Justice sociale et technologie

danah boyd en conclut que "les préjugés de notre culture sont profondément inscrits dans d’innombrables bases de données, que nos systèmes utilisent pour apprendre et évoluer." Or, l'exploitation de ces données par des institutions ou entreprises à but lucratif accentue encore cette reproduction des inégalités et des préjugés. À travers "des algorithmes évolutifs personnalisés", des "outils judiciaires d’évaluation des risques", ou encore des "scores de crédit et d’assurance", "le système «prédit» que les gens qui sont déjà marginaux sont les personnes les plus à risques – et en conséquent, restreignent encore plus leurs options et s’assurent ainsi qu’ils deviennent ainsi, effectivement, des personnes plus à risques."

Contre cette tendance, la chercheuse appelle à se ré-emparer de ces outils : "Ceux qui se préoccupent de justice sociale doivent comprendre la technologie, et ceux qui comprennent la technologie doivent s’engager pour la justice sociale."

Comprendre les effets politiques des algorithmes et de l'exploitation de masses de données, pour mieux les corriger : c'est également la démarche, en France, du sociologue Dominique Cardon. Retrouver l'intégralité de son entretien avec @si ici : "Google a de bonnes raisons de ne pas rendre son algorithme transparent".