Les confinements depuis le début de la pandémie ont décuplé l’utilisation des smartphones et des applications mobiles. La plateforme de streaming et de jeux vidéos interactifs d’Amazon, Twitch, a été plébiscitée par les jeunes. Confrontée depuis des mois au problème du cyberharcèlement et critiquée pour son manque de modération, la plateforme a annoncé, il y a quelques jours la création d’un système d’intelligence artificielle baptisé “Suspicious User Detection”. Ce dernier devrait permettre d’identifier les utilisateurs malveillants qui se créent de nouveaux comptes après avoir été exclus.
Les dénonciations de harcèlement sexiste, raciste ou homophobe sur Twitch sont nombreuses. Des témoignages de cyberharcèlement ont été amplement partagés, notamment avec le hashtag #TwitchDoBetter (#FaisMieuxTwitch) lancé par RekItRaven qui a indiqué :
“J’ai lancé #TwitchDoBetter parce que j’en ai assez de devoir me battre pour exister sur une plateforme qui se dit diverse et inclusive mais qui est restée silencieuse face aux supplications des créateurs et créatrices marginalisées demandant plus de protections contre les raids haineux”.
L’équipe de Twitch a réagi et annoncé le 11 août dernier, de nouvelles mesures de sécurité pour mieux détecter le contournement des bannissements de comptes et améliorer la vérification des comptes, considérées comme insuffisantes par les streameurs. Elle a affirmé :
“Nous avons vu beaucoup de conversations sur l’utilisation de bots, les raids de haine et d’autres formes de harcèlement visant des créateurs marginalisés. Vous nous demandez de faire mieux, et nous savons que nous devons faire plus pour résoudre ces problèmes”
Le système Suspicious User Detection est donc la dernière réponse de Twitch au cyberharcèlement. L’outil a été partagé par l’équipe qui indique :
“Afin de continuer à faire de Twitch un endroit sûr pour tout le monde, nous vous présentons un nouvel outil qui permettra aux modérateurs de prendre des actions contre les comptes qui essaient d’éviter des bans”
Sur Twitch, on peut en effet créer plusieurs comptes avec une seule adresse mail, ce qui laisse aux personnes bannies la possibilité de retourner sur les chats très facilement et de reprendre leur harcèlement. C’est pour essayer de répondre à ce problème que Twitch vient de déployer ce nouvel outil basé sur l’IA.
Fonctionnement de “Suspicious User Detection”
Dans son communiqué de presse du 30 novembre, Twitch explique que l’outil permettra :
“d’identifier les comptes suspicieux grâce à du machine learning en analysant un certain nombre de signaux ; grâce à eux, cet outil signalera les utilisateurs suspicieux aux modérateurs, qui pourront prendre les actions nécessaires”.
Twitch ne précise pas la nature des signaux analysés mais spécifie que deux scénarios seront possibles : le signalement d’un cas “probable” et celui d’un cas “possible”.
- Si un utilisateur est signalé comme cherchant “probablement” à contourner un ban, il sera automatiquement masqué dans le chat, mais ses messages seront affichés pour les créateurs et les modérateurs “afin qu’ils puissent décider de conserver la restriction, de surveiller l’utilisateur ou de le bannir de la chaîne”.
- Dans le cas ou ce cas de figure n’est jugé que “possible” et non “probable”, la personne pourra écrire dans le chat normalement, mais ses messages seront signalés aux modérateurs, “afin qu’ils puissent surveiller l’utilisateur et l’empêcher d’envoyer des messages sur le chat si nécessaire”.
La fonction sera activée automatiquement sur toutes les chaînes et pourra être désactivée par les streameurs. Elle offrira également la possibilité de restreindre les messages des utilisateurs suspects pour qu’ils n’apparaissent pas sur le chat. Il sera également possible de désactiver l’outil depuis la page de paramètre de modération de la chaîne ou encore d’ajouter manuellement des utilisateurs que les modérateurs estiment douteux.
Un outil qui peine à convaincre
Le manque de précisions quant aux signaux utilisés pour définir un utilisateur banni ou non, ainsi que l’avertissement de Twitch qui prévient du risque d’erreurs de son outil, laissent le doute s’installer. Son efficacité en cas de raid est également à démontrer. Twitch prévient :
“le machine learning ne sera jamais à 100 % efficace, ce qui signifie qu’il y a des risques de faux positifs, ou de faux négatifs”
De nombreuses streameuses, cibles quotidiennes de harcèlement sexistes, ont déclaré n’être absolument pas convaincues par le fait de faire appel à de l’intelligence artificielle plutôt que d’interdire simplement la création de plusieurs comptes à partir d’une adresse mail.
