Modération décentralisée

Un petit nombre d'irréductibles libristes l'ont compris dès le début : les réseaux sociaux propriétaires et centralisés sont une menace pour la liberté d'expression et la démocratie. En 2012 notre argumentaire était essentiellement théorique et peu entendu, mais les affaires successives largement médiatisées comme les révélations Snowden (2013), Cambridge Analytica (2018), le rachat de Twitter (2022) et de nombreuses autres, ont permis de matérialiser ces menaces pour le grand public. Celui-ci a ainsi pu constater la véritable nature de ces plateformes, qui relève moins du réseau social que d'une terrible machine publicitaire au service de l'idéologie d'individus dangereux. Ces personnes utilisent le pouvoir démesuré du capital et des plateformes pour imposer leurs idées et faire taire l'opposition. Ces réseaux nous privant de liberté, je les appellerai par la suite "réseaux privateurs".

Pour préserver notre liberté et la démocratie, il fallait donc les quitter. C'était clair, et l'est toujours. Mais pour aller où ? Une multitude d'alternatives libres n'ont cessé d'apparaître et de réunir des petites communautés, mais constituent-elles vraiment une solution ? À mon sens, elles n'apportent qu'une réponse partielle. À quelles problématiques ces alternatives répondent-elles, et que leur manque-t-il pour grandir et exister en dehors du cercle restreint des convaincus ?

Messagerie, forum, réseau social ?

Le sujet des réseaux sociaux englobe à mon avis ceux des messageries instantanées et des forums qui en sont des cas particuliers. On voit que certains logiciels initialement conçus comme une messagerie (Telegram, Discord) ou forum (Reddit) évoluent vers des réseaux sociaux à part entière, c'est-à-dire des espaces numériques où non seulement des communautés interconnectées échangent sur des sujets divers, mais qui constituent également un espace de présence sociale.

En termes de fonctionnalités techniques, la différence réside dans la découvrabilité de groupes et d'individus, l'indexation de leurs contenus, et la mise en relation. Même le mail qui reste principalement une simple messagerie peut avoir des aspects de forum via les listes de diffusion. Je ne parlerai donc pas ici de Matrix mais l'ai bien en tête en écrivant ce qui suit.

Libre et décentralisé

Sans s'étendre sur les licences logicielles comme l'AGPL, il est indispensable de les mentionner car elles offrent une garantie légale que le code du logiciel reste un commun numérique, condition nécessaire pour faire fonctionner un espace commun en ligne. Cela est vrai à la fois pour la partie "client" (les applis), mais également et surtout pour la partie "serveur" qui garantit le stockage et traitement des données, ainsi que d'autres fonctionnalités clés que je détaillerai par la suite.

Ces serveurs peuvent même faire tourner des logiciels différents, mais par la nature fortement connectée des réseaux sociaux (à peine abordée dans mon article sur les graphes), ils doivent être interopérables. Comme le mail, qui permet à deux boîtes gérées par des hébergeurs différents de communiquer entre elles (via le protocole SMTP), cette interopérabilité logicielle doit être garantie par un protocole commun.

À titre personnel, j'ai d'abord essayé les réseaux Diaspora* et Movim lancés en 2010, l'un sur un protocole propre, l'autre sur le protocole XMPP, avant de basculer sur Mastodon, lancé en 2016 sur le protocole ActivityPub. Malgré une utilisation peu intense liée à ma démarche de dénumérisation (j'en parlerai un jour), je continue à l'utiliser régulièrement depuis 2017, ainsi que d'autres logiciels fonctionnant sur ce même protocole ActivityPub comme Peertube, Pixelfed, et qui forment ensemble ce qu'on appelle le Fediverse que je prendrai par la suite comme exemple.

Identité numérique

La notion d'identité numérique est au coeur des réseaux sociaux. Elle est l'élément de base de la présence sociale et de constitution des groupes. En tant que transposition numérique de notre identité réelle, c'est une notion complexe et multiple. En effet un même individu peut avoir plusieurs identités plus ou moins ségréguées en fonction du contexte (vie pro / vie perso par exemple). Elle est également plus difficile à saisir car elle repose parfois sur une simple image (avatar / photo de profil) et quelques lettres (pseudo, "handle"), ce qui la rend particulièrement sensible à l'usurpation d'identité. Pour autant, elle m'est apparue indispensable à plein d'égards et notamment dans les questions de modération, d'autant plus en contexte décentralisé. C'est pourquoi je commence par examiner les approches existantes de cette notion.

En quittant les réseaux privateurs, on échappe certes à leur censure arbitraire et sans recours comme la récente campagne de suppression de comptes LGBT, mais on perd également leur définition d'identité. Qu'il s'agisse d'une personne physique ou personne morale, il est (relativement) facile d'identifier le compte "officiel" d'une personne sur un réseau centralisé, car il est (relativement) facile de faire supprimer un compte qui usurpe une identité. De plus, les réseaux privateurs disposent de moyens poussés pour limiter la prolifération de comptes destinés à un usage abusif.

Le monde décentralisé use (et abuse) de trois outils principaux pour traiter ce problème de définition de l'identité :

1. le nom de domaine
2. le carnet d'adresse
3. les filtres de réputation

Une société qui possède un nom de domaine société.fr peut ainsi définir une forme d'identité en ligne en attribuant des adresses mails. Par exemple contact@société.fr pour elle-même en tant que personne morale et prénom.nom@société.fr pour ses employés en tant que personnes physiques. On sait ainsi avec quelle personne on échange par mail, et dans quel contexte.

Le carnet de contact permet à un utilisateur de collecter au fur et à mesure des adresses auprès de sources de confiance, par exemple une rencontre en personne avec carte de visite ou un échange de contact avec une connaissance. Cela lui permet d'établir le lien entre l'identifiant numérique (@handle de réseau social, numéro de téléphone) et l'identité réelle.

Enfin, les filtres de réputation gérés par les serveurs permettent essentiellement de trier les entités légitimes et frauduleuses. Ils visent à "dépolluer" l'espace des identités en ligne en leur attribuant une note de réputation liée à leur ancienneté et la proportion de contenus problématiques recensés sur des listes de signalement. Ils portent à la fois à l'échelle du domaine entier et de l'adresse individuelle.

Ces solutions sont incomplètes, complexes, fragiles, et à mon avis non satisfaisantes dans le cadre d'un réseau social. En effet le nom de domaine repose sur une longue chaîne technique (registrar, DNS, TLS...) dont chaque maillon peut être piraté, et les personnes sans nom de domaine doivent reposer sur celui d'un tiers pour la définition de leur identité numérique. Le carnet d'adresse est fastidieux à constituer, soumis à l'obsolescence, et ne permet par la découvrabilité. Les filtres de réputation sont coûteux et complexes à mettre en oeuvre, et leur efficacité est assez limitée (pensez aux spam non détectés ou aux mails légitimes classés spam).

Le Fediverse n'apporte pas de nouvelle solution à cette question d'identité numérique et je le trouve également moins mature que le mail de ce point de vue. Tout comme les réseaux privateurs on y obtient son identité via le nom de domaine de son instance, et on la perd si l'instance tombe ou supprime notre compte. Le carnet d'adresse est stocké par l'instance, mais pas localement. Le réseau est assez sensible au spam et repose sur un travail de modération essentiellement manuel et placé sous la responsabilité des administrateurs d'instance. En effet, les conditions d'obtention d'une identité auprès d'une instance sont opaques. On ne sait pas si une identité est le fruit d'une vérification poussée ou d'une simple confirmation par mail.

Cette définition d'identité fragile est à mon avis une grande faiblesse du Fediverse qui limite son potentiel. Mais je vais mettre de côté la question de comment construire une identité numérique solide (ce sera l'objet d'un autre article) pour m'intéresser à ce que cela permettrait en termes de construction d'un espace démocratique en ligne. Ces applications permettront au passage de définir ce qu'on attend d'une identité numérique. Par la suite j'utilise le terme de "personne" au sens large, c'est-à-dire personne physique ou morale, la personne morale pouvant réunir un groupe.

Spam

Le premier objet de modération est le spam. Sa présence est catastrophique pour un espace en ligne et le processus pour l'éliminer pose les bases, dans un cadre sans controverse, de ce qu'on attend d'une modération. Le spam est le résultat de l'affrontement de deux volontés : celle du spammeur qui cherche à diffuser une escroquerie (comme un message publicitaire) et celle des victimes dont la liberté de réception est enfreinte.

La définition de ce qui constitue un spam peut paraître évidente au premier abord, mais l'examen de cas limites permet de poser les questions fondamentales de la modération.

Voici certaines caractéristiques qui peuvent caractériser un spam :

• l'utilisation de moyens automatiques pour publier du contenu en quantité non humaine
• le détournement à l'extrême de fonctionnalités de visibilité comme les @mentions et les #hashtags
• l'obfuscation de l'identité de l'émetteur par la création de comptes multiples
• le caractère manipulateur, non sollicité, ou frauduleux du contenu

En cas de spam évident, l'action de modération consiste en général à bloquer ou supprimer le compte, ce qui a peu d'effet en l'absence de système d'identité, car le spammeur peut créer d'autres comptes en masse. Il s'ensuit une course du chat et de la souris en essayant de bloquer tout ce qui permet d'identifier le spammer : des adresses IP, des adresses mails, des motifs récurrents...

En cas de soupçons de spam ou de comportement à tendance excessive, d'autres outils peuvent être utilisés comme l'application d'un quota comme des délais entre les messages, la mise sous silence, ou le rappel à l'ordre.

Toutes ces actions ont pour objectif de limiter le pouvoir de nuisance des individus sur les espaces en ligne et sont généralement appliquées à l'échelle de l'instance par les administrateurs / modérateurs de celle-ci. Les instances qui échouent à éradiquer le spam ou au moins à le limiter à un niveau négligeable peuvent être bloquées toute entières par les autres instances.

Si l'on considère sa boîte mail ou son fil de réseau social comme un répertoire accessible en écriture par tout le monde et en lecture (et suppression) par vous, la responsabilité confiée aux administrateurs d'instances est de déterminer qui a le droit d'écriture dessus.

Modération

Je ne parle pas ici de modération du fediverse, pour cela, vous pouvez lire cette introduction de piaille.fr et cette série de cinq articles par Maiwann (également disponibles sur le framablog 1,2,3,4,5). Je m'intéresse plutôt au concept de manière générale pour identifier le rôle de la modération dans l'espace en ligne.

Modération comme extension de l'antispam

La question de la modération des contenus peut paraître de prime abord similaire à celle du spam : une personne souhaite publier et diffuser un contenu alors que d'autres ne souhaitent pas. Il peut par exemple s'agir de contenu nsfw (nudité, violence, porno...), discrimination, harcèlement... L'utilisation des outils antispam existants peut alors être étendue à l'évacuation de ces contenus problématiques.

Dans un contexte centralisé, cela revient au même. Le propriétaire de la plateforme écrit une charte et supprime le contenu qui sort de son cadre ainsi que les comptes qui enfreignent les limites. En général cela ne concerne que les comportements indésirables adoptés sur la plateforme, mais cela peut également s'appliquer à un comportement hors plateforme comme le bannissement de Donald Trump par Twitter suite à l'assaut du Capitole en 2021.

Dans le cas des plateformes privatrices, nous n'avons pas notre mot à dire. Non seulement l'application de la modération peut poser problème mais les chartes elles-mêmes peuvent être carrément problématiques (exemple).

Le Fediverse a repris un fonctionnement similaire : un compte qui ne respecte pas la charte de l'instance en sera exclu (via des outils de signalement et modération). Mais les conséquences sont moindres car la personne pourra créer un compte sur une autre instance qui tolère ce comportement et continuer à interagir avec les mêmes individus via la fédération. Ce sera à la charge des individus de bloquer ce nouveau compte. Comme le spam, le blocage peut avoir lieu à l'échelle de l'instance, dans le cas où celle-ci génèrerait trop de problèmes relativement à la charte.

Ce fonctionnement peut être vu comme un mécanisme d'auto-défense : les personnes et contenus problématiques sont évacuées du réseau, et cloisonnées dans des parties non connexes du réseau comme Threads (aussi compatible ActivityPub mais bloqué par de nombreuses instances du Fediverse qui ont rejoint le "FediPact") et Truth Social, le réseau de Trump basé sur Mastodon.

Jusque-là, pas de problème, les exemples que je donne sont tellement extrêmes qu'il n'est pas gênant de les traiter comme du spam pour rendre vivable l'espace commun en ligne que nous construisons. Mais les limites de cette approche se révèlent quand on pousse un peu plus loin la volonté politique. En appliquant le principe d'exclusion, on parvient certes à construire un safe space, mais au prix de l'aspect "commun" de cet espace. Plus on est exigeant, plus on se confine dans un microcosme autocomplaisant incapable de porter ses idées politiques au-delà de son public.

Modération comme outil politique

La vision de la modération en ligne que je souhaite défendre ici ne peut pas se limiter à des outils d'exclusion. Elle doit être au service d'un espace démocratique en ligne à visée universelle. Elle ne peut pas être concentrée dans les mains de modérateurs trop peu nombreux pour la tâche et dont on attend trop, sous peine d'atteindre leurs limites. L'association Zaclys, par exemple, a fermé au public son instance Mastodon (mon ancienne instance) pour cette raison (cf leur pouet et les explications).

Nous devons explorer ce que permet la décentralisation d'un réseau social : écrire et faire vivre une diversité de chartes et règles politiques dont les différences nous unissent plutôt que de nous isoler. À titre personnel, voici certains contenus que je souhaite évacuer de mon espace en ligne sans pour autant en condamner les auteurs à une exclusion systématique et irrémédiable :

• désinformation, complotisme, théories new age
• malhonnêteté, mauvaise foi, attitudes non constructives
• troll (même si celui-ci mériterait une punition)

Ce sont des exemples, et chacun aura les siens, par exemple une personne en situation de fragilité mentale pourra souhaiter être préservée des nouvelles traumatisantes sur l'état du monde, du moins temporairement. Des outils rudimentaires existent déjà dans le Fediverse comme l'avertissement de contenu (content warning ou trigger warning), mais ce qui doit être inclus dedans n'est pas toujours évident, car ce qui peut paraître inoffensif pour certains peut être perçu comme problématique pour d'autres. Par exemple des personnes souffrant de troubles alimentaires peuvent souhaiter ne pas être exposées à des images de nourriture. L'important pour construire un espace commun universel et inclusif est de permettre à plusieurs cadres de coexister sans aboutir à un cloisonnement extrême de la société et un repli de l'individu sur lui-même.

Une responsabilité commune

Un espace commun en ligne ne saurait se construire sans une responsabilité commune. La responsabilité technique de l'hébergement peut dans une certaine mesure être déléguée à des personnes compétentes, sous réserve qu'iels ne puissent pas se servir de cette délégation pour prendre le pouvoir. Mais pour ce qui est de la modération, ayant vu sa place en tant qu'outil politique, il est inenvisageable de la laisser dans des mains d'un petit groupe, car même avec les meilleures intentions, le groupe finira fatalement par souffrir de leur biais politique.

Je ne dis pas que la démocratie directe est atteignable, mais c'est un idéal vers lequel on doit tendre. Ainsi, je souhaite penser la modération en ligne comme une responsabilité fondamentalement partagée et sans privilège. Il ne s'agit pas ici d'un "wiki", un espace centralisé autour d'un consensus, mais bien d'un espace pluriel dans lequel plusieurs opinions différentes peuvent coexister, et dans lequel chacun est libre de modérer, sa participation étant reconnue à valeur différente par des groupes différents.

Cela peut sembler paradoxal, et aller à l'encontre du commun en fragmentant cet espace en communautés distinctes, mais je pense au contraire que la responsabilité partagée de l'espace commun est un fondement de sa légitimité perçue. De plus les groupes sociaux sont incroyablement connexes, et même si de fortes oppositions peuvent apparaître sur une pression médiatique constante, la rencontre de l'altérité est l'élément fondamental qui unit le groupe.

Recommandation de contenu

La modération stricto sensu du contenu et de leurs auteurs n'est pas le seul vecteur d'expression politique. Au vu de la quantité données présentes en ligne, la faculté de les sélectionner et les présenter à l'utilisateur représente un pouvoir qui peut radicalement orienter le point de vue de l'utilisateur. Les algorithmes de recommandation ont été médiatisés pour leurs implications politiques, mais sans remettre en cause leur place dans nos habitudes numériques. Je pense que les systèmes de modération pourraient trouver un prolongement intéressant dans les systèmes de recommandation de contenu.

Algorithmes de recommandation

Un algorithme de recommandation est un programme qui prend en entrée des données utilisateur pour proposer en sortie des contenus susceptibles de l'intéresser parmi un index pré-établi. On a pu constater dans les réseaux privateurs le rôle joué par les algorithmes de recommandation. Ils créent une asymétrie entre l'utilisateur et le propriétaire de la plateforme en donnant à ce dernier le pouvoir de filtrer la masse de contenu disponible pour la faire rentrer dans le temps limité que passe l'utilisateur sur la plateforme.

Les trois cas d'usages principaux de ce pouvoir sont :

• renforcer la plateforme en faisant passer plus de temps à l'utilisateur dessus
• monétiser le temps d'attention en permettant à des annonceurs de faire passer un message publicitaire
• faire taire des oppositions (shadow ban) et visibiliser un discours politique (techno-fascisme sur X)

Ces usages sont éminemment politiques et ont profondément marqué la société. Entre numérisation des interactions sociales, enfermement dans une "filter bubble", propagande du consumérisme, et outil d'oppression, nous ne sommes pas du tout outillés pour encadrer ces algorithmes, et sommes de toute façon perdants dans le rapport de force. La prolifération des fake news, le Brexit et l'élection de Trump sont des exemples largement médiatisés d'effets produits par ces algorithmes.

Des initiatives légales comme l'article 27 du DSA ou citoyennes comme AlgoTransparency visent à rendre plus transparents ces algorithmes, d'autre visent à responsabilité les plateformes sur leurs conséquences, mais dans tous les cas le contrôle reste dans les mains de la plateforme.

Recommandation dans le fediverse

Dans le cadre d'un système décentralisé et démocratique, on peut se demander ce qui remplit le rôle des systèmes de recommandation. Le fediverse repose sur une diversité d'approches simples où chaque plateforme dispose de ses propres systèmes de sélection de contenu. Il y a d'un côté les fils d'instance, qui sont uniques à chaque instance et affichent au choix le contenu publié sur l'instance ou le contenu suivi par les membres de l'instance, et de l'autre le fil individuel d'abonnement avec tous les posts des comptes ou mots dièse (hashtags) suivis, et les posts partagés par les comptes suivis. Le filtre est alors temporel : on lit de manière chronologique les posts minute par minute, et le biais est lié au partage : plus un post est partagé fréquemment, plus il aura de chance d'apparaître dans les minutes que l'on consulte. Certains espaces du fediverse comme Lemmy ajoutent également un système de upvote/downvote permettant de faire ressortir du contenu différemment.

Pour résumer, ces systèmes offrent des briques de base pour filtrer le contenu, mais pas de mode de recommandation à proprement parler. Filtrer le contenu est une action volontaire de l'utilisateur (se rendre dans un onglet, régler des paramètres...) et demande un certain effort en plus d'apporter une certaine complexité.

Enjeux humains pour une recommandation algorithmique

Comme toujours quand on cherche à faire les choses de manière démocratique, on est forcé de se poser des questions qu'on mettait de côté, et en plus il faut avancer alors qu'on n'est pas tous d'accord. Un petit mot à ceux que ça découragerait d'essayer : 1. le désaccord était déjà là mais on n'avait pas le choix, là il devient utile, et 2. il y a quand même des choses sur lesquelles on est d'accord et sur lesquelles on va pouvoir avancer plus rapidement que quand on laissait la main à des plateformes autoritaires.

Si l'on prend le contrôle démocratique sur les algorithmes de recommandations, on peut obtenir des avantages significatifs comme :

• ne pas recommander du contenu d'incitation au suicide à des personnes dépressives
• ne pas recommander des groupes sectaires auprès de personnes vulnérables
• recommander davantage de contenu éducatif de qualité et moins de contenu addictif bas de gamme, potentiellement généré par IA, particulièrement auprès des enfants

et cela sans attendre la bonne volonté d'un GAFAM ou d'un Tik Tok !

Même si l'enjeu en vaut la peine, il y a des obstacles conséquents à la mise au point d'algorithmes de recommandation démocratiques. D'une part parce que ces systèmes sont très techniques et complexes à appréhender, d'autre part parce qu'il est difficile d'estimer comment l'algorithme va se comporter en fonction des données réelles futures, et pour chaque "personne numérique". Même une décision commune qui paraît claire peut donner lieu à des effets de bords imprévisibles. Il faut donc déployer un effort humain conséquent pour travailler en continu sur le système de recommandation.

De plus, la fiabilité des données utilisées pour alimenter l'algorithme doit être auditée régulièrement, pour garantir que le niveau d'étiquetage des contenus est adéquat avec les règles de recommandations qui doivent être mises en place. Par exemple, si on s'aperçoit que l'algorithme recommande du contenu de propagande nazie incorrectement étiqueté comme du contenu historique, il faut corriger l'étiquetage, pas forcément l'algorithme, et donc recourir à un système de modération décentralisé.

Enjeux techniques de la recommandation

Au-delà des enjeux humains complexes, il y a des difficultés techniques non négligeables. L'exécution d'un algorithme de recommandation nécessite des ressources importantes, ce qui tend à le centraliser. Il y a alors un enjeu de transparence de l'exécution, pour que les responsables de l'infrastructure ne puissent pas biaiser de manière intraçable les résultats de l'algorithme. De plus, le système opère au niveau individuel, potentiellement avec de la donnée privée (historique de lecture, favoris privés...). Il y a donc des enjeux de protection des données personnelles difficile à concilier avec une relative centralisation.

Enfin, s'il est relativement facile d'optimiser un réseau de neurone pour maximiser une donnée comme le temps passé dans l'application, il est bien plus complexe de concevoir un algorithme permettant d'actionner des décisions de manière transparente et auditable. On pourrait se contenter d'auditer des méthodes d'entrainement, mais le résultat serait probablement moins digne de confiance.

La curation comme alternative à la recommandation

Et si l'on faisait un peu plus de place aux systèmes de recommandation humains pour contrer l'hégémonie des systèmes de recommandation algorithmiques ? Il ne s'agit pas tant de le faire à titre individuel en créant des listes de liens sur des réseaux sociaux, mais plutôt d'y trouver une dimension collective. Il existe déjà de nombreuses plateformes spécialisées de référencement et curation de contenu comme senscritique.com, openagenda.com, reseaumutu.info, lobste.rs, babelio.com... Mais ces plateformes sont relativement cloisonnées, au sens où les primitives des espaces en ligne ne passent pas facilement d'un outil à l'autre :

• les identités numériques
• les groupes réunis autour d'une charte
• le contenu structuré
• les flux éditoriaux

Il est possible de se constituer un fil unique en agrégeant les flux rss de ces sources (quand elles en ont), mais cela rejoint l'aspect "carnet d'adresse" dont je décrivais les limites plus haut. De plus cette approche est purement individuelle là où j'estime que ce travail de sélection devrait profiter à l'espace commun.

Il me semble que les logiques d'éditorialisation et de curation de contenu mériteraient d'être poussées plus loin, ce qui diminuerait notre dépendance aux algorithmes de recommandation.

Conclusion

Bien que les défauts en matière de modération et de biais algorithmiques des plateformes privatrices soient évidents, les alternatives libres et décentralisées peinent à apporter des réponses systémiques. Le spam reste un problème, l'identité reste fortement dépendante du DNS et de l'hébergeur et ne résiste pas à un changement d'instance. Alimenter son fil représente un travail individuel fastidieux et non valorisé, là où une mise en commun serait pertinente. Le fediverse dispose d'outils très partiels pour soigner ses espaces communs en ligne qui souffre de plein d'angles morts. Il n'existe ni algorithme de recommandation, ni système collectif de curation de contenu dans les plateformes décentralisées, l'existence de ces outils à fort impact politique est pour l'instant essentiellement cantonnée à un modèle centralisé.

Je pense que ces aspects devraient être développés davantage pour que les plateformes décentralisées constituent une alternative crédible et massivement adoptable. Je décrirai dans un autre article la forme que cela pourrait prendre.