La démarche Open Data, qui consiste à mettre à disposition de la donnée publique sans restriction d’accès ou d’usage, crée une rupture intentionnelle dans la boucle relationnelle qui existe entre un fournisseur de service et l’utilisateur de ce service. L’absence de barrières à l’entrée permettant habituellement le suivi (authentification) crée une asymétrie structurelle : le producteur de données alimente un écosystème sans connaître l’usage qui peut en être fait et sans pouvoir en percevoir les dynamiques réelles.

Evidemment, les plateformes se dotent d’une métrologie : logs d’appels API, nombre de ressources, nombre de téléchargements, nombre d’utilisateurs uniques, et vont chiffrer l’output sous forme de volume, définir des taux de disponibilité, quantifier l’activité machine, mais l’identité réelle de l’utilisateur, son besoin, resteront opaques. Ces chiffres sont également pollués par le bruit des traitements automatisés, moissonneurs, bots et autres crawlers qui ne rendent pas forcément compte d’une intention.

Autrement dit, cette métrologie nous permet de dire que la donnée circule, mais pas de dire où elle va et pourquoi. Comment valider alors l’efficience d’une politique de la donnée alors que l’anonymat par design en occulte l’usage ?

Vanitas vanitatum

Un nombre global de jeux de données ouvert, le nombre d’appels API sur un jeu de données ou d’utilisateurs uniques sur une plateforme peuvent sembler attrayants et constituent des vecteurs satisfaisants de communication institutionnelle, mais ne sont pas forcément exploitables pour du pilotage stratégique : ils confondent l’activité et l’utilité. Dans le jargon, on les appelle des vanity metrics, des indicateurs de vanité.

La volumétrie des appels API fournit un chiffre global qui mesure l’activité d’une infrastructure, mais ne distingue pas les requêtes qui aboutissent des requêtes qui renvoient une erreur (404, 401) et renseigne encore moins sur l’usage. Un code 200 est un succès sur le plan de l’activité mais peut aussi être vain s’il ne correspond pas à une intention. Quid d’un utilisateur qui rafraîchit frénétiquement une page relançant 30 appels API à chaque fois ? Qu’est-ce qui se cache derrière un Ctrl+R ?

Le producteur de données reste donc incapable de faire la différence entre un utilisateur avec un besoin précis et un crawler qui passe en voisin, entre des jeux de données dormants et d’autres, plus actifs, mais qui génèreront moins de volume. Ce cône de silence en fait un sous-marin sans oreilles, nageant dans le bruit de fond statistique, incapable de distinguer le signal de sa propre activité. Il lui manque un sonar passif.

Les communautés

Il faut donc recréer autour de soi ce qu’on a perdu par la technique. Cela passe par la constitution de communautés de pratiques - le réseau des correspondants open data en est un exemple - définies par Wenger et Lave (1998) comme « un groupe de personnes ou d’institutions qui partagent un intérêt commun envers la même pratique, ainsi qu’une volonté partagée d’améliorer leur expertise et leur expérience de celle-ci ». Renforcer le volet humain et organisationnel en recréant le feedback (rétroaction) perdu, en somme.

Une communauté de pratique n’est pas un club, mais un engagement dans un domaine de savoir particulier, qui crée à la fois la frontière, le champ d’exploration et la légitimité de la commaunauté. Sociale, elle s’appuie sur la discussion libre, l’entraide, le partage et la confidentialité des échanges, ingrédients nécessaires à la création d’une confiance partagée. Pratique, elle développe des ressources partagées : outils, documents, routines, un glossaire partagé.

La démarche Open Data lancée depuis les années 2010 a créé et draine une multitude de communautés de pratiques qui produisent des ressources qu’elles partagent, sont en accès libre mais ne sont pas mutualisées pour autant et demeurent souvent invisibles au milieu de la multiplicité des propositions. Au delà des plateformes, il faut tirer parti des approches en réseau pour concevoir de nouvelles interactions et de nouveaux flux de valeur entre les acteurs. Designer un écosystème ou tirer parti de l’existant.

Les indicateurs d’impact

Mesurer l’impact, c’est mesurer la rupture entre un état initial et un état postérieur à une intervention donnée. Si l’output donne un résultat, l’impact mesure une transformation — structurelle, systémique, rarement immédiate. Le délai de latence entre l’ouverture d’un jeu de données et la récolte de ses effets peut être très long, l’attribution des causes se dissout d’autant plus dans le temps et dans la diversité des effets perçus à différents niveaux que le périmètre est large et l’intensité faible.

Les cadres de référence — l’Open Data Maturity report de la Commission Européenne ou l’Open Data Barometer — rencontrent une même limite structurelle : établir une chaîne de causes du jeu de données à l’application, de l’application à l’usager puis à l’impact final est impossible à tracer de bout en bout. Mesurer la transformation n’est pas plus simple : impossible de savoir ce qui se serait passé sans l’ouverture de tel jeu de données (maintien vs réalité observée)

Nos vanity metrics ne le sont plus à partir du moment où elles sont mises en perspective par des signaux plus précis qui, sans mesurer l’impact directement, tracent la diffusion de la donnée dans l’écosystème : collecte automatisée des outils tiers utilisant l’API, backlinks SEO, recensions presse, référencement dans des documents PDF publics ou mentions sur les réseaux sociaux qui, sans être des preuves, n’en sont pas moins des empreintes acoustiques.

Datum Captum

La captation automatisée des traces publiques d’un jeu de données joue le rôle d’un sonar passif : elle ne remplace pas la mesure directe de l’impact - impossible par construction puisque l’usager n’est pas identifié - mais permet de détecter les répercussions de la donnée dans la société.

Ce que l’outil restitue n’est pas une vérité, mais un faisceau de présomptions. Les backlinks, les rapports ou articles universitaires qui citent un jeu de données, les dépôts GitHub qui en consomment l’API : chacun est un écho partiel. Ensemble, ils permettent de discriminer le bruit de fond du signal utile au pilotage.

C’est l’objectif d’Open Data Monitoring : intégrer et croiser les signaux de plateforme avec ces empreintes externes pour produire une vision plus juste de l’état réel d’un catalogue. Plus qu’un tableau de bord de la conformité, ce doit être un système d’observation dynamique.

“Nisi capto data, nihil credam.” - “À moins que je ne m’empare de ce qui est donné, je ne pourrai croire en rien.”

Pour aller plus loin

• Samuel Goëta (2024), Les données de la démocratie. Ouvrage en accès libre (HAL).
• Datagouv (2024), Quel est l’impact de l’open data et comment le mesurer ? Live YouTube.
• Études d’impact (data.gouv.fr), Études Impact Open Data. data.gouv.fr.
• Indicateurs d’impact (data.gouv.fr), Indicateurs d’impact de la plateforme data.gouv.fr. data.gouv.fr.