Notes |

La clôture, non le bûcher

Sun, 06 Sep 2026 00:00:00 +0000

Dans un entrepôt de North Las Vegas, Amazon fait tourner une machine qui tranche le dos des livres d’occasion. Les feuillets passent au scanner, puis le papier part au pilon. Le y a vu un autodafé des temps modernes, et n’a reculé devant aucun poncif : Savonarole, des photos de banque d’images montrant des livres d’allure rare et, comme il se doit, le bûcher de Berlin. Les grands quotidiens, on s’en doute, ont gardé la tête plus froide, mais ont laissé flotter la même comparaison. Pour indignés qu’ils soient, ces articles ménagent singulièrement l’industrie de l’IA. À qui reviendra le savoir ainsi numérisé ? Cette question attendra que nous en ayons fini avec les fariboles de l’autodafé.

Un scanner n’est pas un bûcher

Détruire un exemplaire ne fait pas, à soi seul, de la numérisation destructive l’héritière des bûchers de Savonarole ou des autodafés nazis. Ces gestes tiraient leur sens de ce qu’ils condamnaient, et des raisons de la condamnation. Ce pauvre moine de Savonarole, qu’on traîne dans toutes les querelles d’autodafé, appelait les fidèles à brûler une partie de leurs biens en signe public de pénitence ; les bûchers nazis mettaient en scène une répudiation d’un autre ordre, en proclamant que les auteurs des livres brûlés n’avaient plus leur place dans la vie culturelle allemande. Dans les deux cas, la destruction était un spectacle. La numérisation destructive, procédé courant dans les campagnes de numérisation, vise tout autre chose : on sacrifie l’exemplaire pour en garder le contenu. Le livre est détruit, le texte dématérialisé. Ceux qui brandissent Fahrenheit 451 se souviendront peut-être que les pompiers de Bradbury ne mettaient pas le texte de côté pour plus tard.

a ajouté à l’émoi en titrant sur des « livres rares », formule que les autres médias ont reprise en chœur. Or un libraire cité par l’enquête elle-même précisait que ces commandes en gros , ce qui désigne pour l’essentiel des éditions parues depuis l’apparition de ce numéro, vers 1970. C’est le fonds des vide-greniers et des boutiques d’Emmaüs, ces livres qu’un prochain rangement de cave enverra à la déchetterie. Avant de proclamer la catastrophe culturelle, on pourrait consulter le catalogue de la bibliothèque : ce sont précisément les publications que les bibliothèques de dépôt légal ont pour mission de conserver. Un ISBN ne garantit pas, il est vrai, qu’un exemplaire de dépôt ait survécu ; mais la rareté sur le marché de l’occasion ne prouve pas davantage la disparition d’un texte.

Le pilon détruit l’exemplaire, et avec lui les envois et les notes marginales qu’il pouvait porter. Les exemplaires dont les annotations ou la provenance ont une valeur historique méritent d’être repérés et conservés, avant, si possible, qu’ils n’atteignent le marché de l’occasion. On peut aussi s’inquiéter de voir fondre le nombre d’exemplaires des titres épuisés ; mais il faut alors se demander pourquoi leurs ayants droit ne les réimpriment pas et n’ouvrent pas l’accès aux fac-similés numériques qui existent déjà. Les chercheurs connaissent la scène : Google Books trouve le passage qu’il vous faut, puis vous en tend un extrait de trois lignes, tiré d’un livre qu’on ne peut ni acheter neuf ni lire en ligne. Il y a là des pertes dont on peut débattre. Elles ne changent pas un scanner en bûcher nazi.

Le commerce du livre, du reste, pilonne ses invendus depuis toujours, et par routine. Rien qu’en France, on estime que , soit environ 60 % du tonnage retourné aux distributeurs. Cela s’appelle gérer un stock. Exemplaires en surnombre et titres d’occasion devenus rares posent des questions d’accès différentes ; mais détruire du papier n’est pas en soi de la censure, ni de la tyrannie.

Plus de livres, meilleure IA ?

Que des entreprises d’IA achètent et numérisent des livres est, à vrai dire, une bonne nouvelle. Une technologie à qui l’on reproche sans cesse sa compréhension superficielle de la culture humaine s’en imprègne davantage ; on aurait pu attendre des universitaires qu’ils s’en félicitent.

Le web est un pauvre succédané de la mémoire écrite d’une langue. Une bonne part de ce qui s’est écrit dans une langue, des romans et des mémoires aux chansons populaires et aux conversations transcrites, n’est jamais passée de l’imprimé au web ; bien des livres ont survécu à leur éditeur. Les verser dans les données d’entraînement compte surtout là où il n’y a guère autre chose : quelques livres de plus en anglais n’apportent qu’un gain marginal, mais dans une langue mal représentée, ces mêmes livres peuvent faire la différence entre un système utilisable et un système inutile. Que ces outils aient leur place dans nos services publics ou dans notre vie de tous les jours, c’est affaire de débat public ; mais partout où nous décidons de nous en servir, nous devrions pouvoir le faire dans notre langue.

Les commandes signalées en Espagne et aux Pays-Bas donnent à l’enjeu linguistique un tour concret. En mai, décrivait un libraire de Badalona qui recevait commande sur commande, surtout d’ouvrages documentaires en catalan : livres d’histoire, manuels techniques, vieux actes de colloques. En août, la presse néerlandaise rapportait une demande adressée à De Slegte pour . La langue de ces livres mérite au moins autant d’attention que le sort de leurs reliures. C’est peut-être trop demander au Daily Mail ; mais les journaux plus sobres eux-mêmes n’ont presque rien dit des langues en cause.

Les accords de licence avec les grands éditeurs peuvent aussi fournir une matière précieuse, mais leurs catalogues numériques ne couvrent qu’une fraction de ce qui a paru sous forme imprimée : les livres jamais numérisés, ou dont l’éditeur n’a plus les droits, restent hors de l’offre. Même généreux, un accord de licence ne saurait tenir lieu d’histoire de l’édition, et encore moins d’histoire d’une culture. Acheter des exemplaires d’occasion, c’est aller chercher ce qui se trouve au-delà de ces frontières commerciales.

Crier au vol n’est pas un argument

Parler de « vol » n’avance pas davantage. En juin 2025, deux tribunaux fédéraux américains ont jugé que, dans les affaires dont ils étaient saisis, l’entraînement de modèles de langue sur des livres relevait du fair use. Dans , le tribunal a insisté sur le caractère transformatif de l’entraînement : les livres servaient à bâtir un système capable de produire une expression nouvelle. Un modèle peut retenir des passages par cœur, mais entraîner un modèle sur un livre ne rend pas le texte entier disponible sur commande. L’absence de reproduction littérale ne lève pas non plus toutes les objections : dans , le juge a averti que les œuvres produites par l’IA pourraient inonder le marché, et que la preuve d’un tel préjudice pourrait faire échec au fair use ; mais ces plaignants-là n’avaient rien produit de sérieux quant au préjudice subi par leurs propres œuvres. Aucune des deux décisions ne donne carte blanche aux entreprises d’IA ni ne tranche le débat moral. Elles nous obligent à distinguer trois choses : comment les livres sont acquis, comment les copies sont conservées, et ce que l’entraînement en fait. Qualifier le tout de « vol », c’est laisser ces questions sans réponse.

Soit dit en passant, la décision Anthropic fournit au massicot sa raison d’être. Le tribunal a validé la numérisation d’exemplaires achetés, et condamné l’accumulation de livres piratés dans une bibliothèque permanente, pour laquelle l’entreprise a ensuite . Si la numérisation a passé, c’est en partie parce que chaque exemplaire imprimé était détruit dans l’opération : la copie numérique le remplaçait, et ne sortait pas de l’entreprise. La destruction qui bouleverse tant de monde a donc aidé Anthropic à faire reconnaître son programme de numérisation comme un usage loyal. Acheter, numériser, jeter : voilà, dans ce cas, la voie licite. Le massicot est ici un instrument de mise en conformité. Acheter des exemplaires règle la question de l’acquisition ; cela ne donne à personne, par soi-même, le droit de partager le corpus qui en sort.

On a de bonnes raisons de vouloir que l’IA puise dans plus de langues, plus de travaux savants, plus de ce monde qui existait avant internet. Ces raisons ne s’évanouissent pas parce qu’une entreprise qui nous déplaît y a trouvé un filon.

Une indignation d’emprunt

Revenons donc au Daily Mail. Son article s’inscrit dans , campagne menée par des patrons de presse et des éditeurs pour obtenir pour l’IA. Deux substitutions commodes font tout le travail : les géants du numérique tiennent lieu d’IA, et les ayants droit tiennent lieu de créativité britannique. On invite le lecteur à défendre la culture pendant que les éditeurs en négocient le prix de vente. Les universitaires qui font circuler l’article pourraient se demander quelle cause sert leur indignation.

Les géants du numérique et les se disputent sur le montant du loyer, mais ni les uns ni les autres ne s’en prennent à la clôture. La fable de l’auteur solitaire dépouillé par un géant de la tech cache ce que de coûteux accords de licence offrent aux deux camps : les éditeurs sont payés, et les géants obtiennent un marché où leurs rivaux plus modestes n’ont pas les moyens d’entrer. Peter Thiel a dit sans détour la préférence de la Silicon Valley : .

Les licences ne mènent pas fatalement là. Un accès abordable et non exclusif pourrait servir les petits développeurs. Mais un système qui oblige chaque nouvel entrant à négocier des accords coûteux avec les grands ayants droit fait de la surface financière une condition d’entrée ; et un paiement présenté comme une concession aux industries culturelles finit par acheter une protection contre les rivaux de demain.

L’IA n’appartient pas aux géants du numérique

Il y a plus grave. Trop de critiques de l’IA prennent ses plus gros fournisseurs pour le domaine tout entier. Les produits occupent les gros titres ; la recherche et le développement qui se font hors de ces entreprises disparaissent du champ. Les géants ne sauraient rêver malentendu plus commode : leur ambition de posséder le domaine devient le postulat même de la critique qu’on leur adresse. Le monopole n’est pas encore acquis ; le tenir pour tel, c’est leur rendre un immense service.

L’IA libre permet de bâtir et d’adapter des systèmes qui reflètent une plus grande diversité de langues, de cultures et de formes d’expression. Pour les pays d’Europe, d’Afrique et d’Amérique latine, comme pour la Corée du Sud, le Japon et l’Inde, c’est une assise concrète de souveraineté technologique et culturelle : le pouvoir de décider comment les systèmes fonctionnent, quelles langues ils servent et où on les emploie. Recourir ou non à l’IA, et à quelles fins, doit rester un choix public, et non une décision dictée par la dépendance envers un fournisseur étranger.

Mais la liberté de modifier un système ne vaut pas grand-chose sans les moyens de le faire. Le travail indépendant exige des compétences, une infrastructure de calcul et l’accès à une matière d’entraînement. Ce qui nous ramène aux livres. Si chaque équipe de recherche ou chaque institution publique doit négocier ses propres accords avec les éditeurs, ou se constituer sa propre bibliothèque privée, l’indépendance restera le privilège de ceux qui ont de quoi se la payer.

Les livres sont déjà là

Bibliothèques et archives ont passé des générations à rassembler la matière dont ces systèmes ont besoin. Leurs collections existent parce que l’accès au savoir doit survivre à l’intérêt commercial qu’il y a à le vendre. Beaucoup est déjà numérisé : conserve quelque dix-neuf millions de volumes numérisés issus de bibliothèques de recherche, dont un grand nombre encore sous droits. Une bibliothèque numérise un livre et le garde ; personne n’y a besoin de massicot. HathiTrust , mais a aussi annoncé , un projet d’accès aux corpus pour la recherche et le développement non commerciaux en IA. À ces conditions, certains développeurs indépendants resteraient encore à la porte.

Posséder les livres, toutefois, ne donne pas à une bibliothèque le droit d’en distribuer le contenu protégé sous forme de corpus d’entraînement. Le autorise les organismes de recherche et les bibliothèques à fouiller les œuvres licitement accessibles à des fins de recherche scientifique, et permet une fouille plus large là où les ayants droit n’ont pas réservé leurs droits. : son exception de fouille couvre la recherche non commerciale et limite le transfert des copies. Ni l’un ni l’autre de ces cadres ne donne aux bibliothèques un droit général de partager leurs fonds sous droits pour que d’autres bâtissent dessus.

On pourrait aussi revoir la durée pendant laquelle les ayants droit contrôlent les usages computationnels des livres. Les brevets pharmaceutiques offrent un point de comparaison : leur durée ordinaire, vingt ans, est bien plus courte que celle du droit d’auteur, qui court toute la vie de l’auteur et soixante-dix ans au-delà. Les livres ne pourraient-ils s’ouvrir à la fouille de textes et de données, sans redevance, au bout de vingt ans, disons, à compter de la première publication, tandis que les droits de réédition et de vente resteraient protégés ? Protéger le droit d’un auteur à vendre son livre n’oblige pas à contrôler pendant des générations tous les usages qu’on peut faire de son contenu.

Je soutenais il y a deux ans dans que les données patrimoniales devraient être traitées comme un bien public. Les États devraient financer les bibliothèques et les archives pour qu’elles numérisent, transcrivent et documentent leurs collections, et leur donner l’autorité légale de mettre les corpus ainsi constitués à la disposition de tous ceux qui voudront bâtir dessus. Les géants du numérique pourraient être mis à contribution par une taxe dédiée.

L’argent public devrait s’accompagner de politiques de collection et de règles d’accès rendues publiques, valant pour la recherche comme pour le commerce, sans accord exclusif ni accès privilégié pour les donateurs. Ouvrir l’accès à l’entraînement n’oblige pas à laisser redistribuer sans restriction les livres sous droits. Les auteurs devraient prendre part à la conception du dispositif public, y compris sur le consentement, la rémunération et la concurrence faite à leurs œuvres ; et la gratuité pour les utilisateurs n’exclut pas une rémunération des auteurs sur fonds publics : le , qui les rémunère à chaque emprunt de leurs livres, en donne le précédent. Le bûcher n’a jamais été le sujet. La clôture, si.

Chers éditeurs : si vous voulez ma voix, rendez-moi ma langue

Thu, 27 Aug 2026 00:00:00 +0000

Pas un jour sans qu’une revue ne claironne sa charte IA. C’est au tour de Progress in Human Geography, dont les éditeurs viennent de publier : se servir de l’IA pour se dispenser de lire, de penser et d’écrire soi-même constitue « un manquement à l’éthique scientifique comparable au plagiat ». Les articles pris en faute « pourront être retirés » ; au mieux, ils seront corrigés, et la revue en publiera l’avis. Les auteurs, ajoute-t-on, feraient bien de « peser soigneusement s’ils souhaitent voir leur nom associé à des retraits et à des avis de correction ».

Arrêtons-nous sur cette phrase. La rétractation est la sanction suprême de l’édition scientifique, celle qu’on réserve d’ordinaire à la fabrication de données et à la fraude. La voici brandie contre une faute que le même éditorial s’avoue incapable de définir. Il y a, concèdent les éditeurs, « de véritables zones grises », et « aucune ligne nette ne délimite la zone d’“irresponsabilité” ». Tout reposera sur « des appréciations qui pourront contrarier certains auteurs, lesquels soutiendront n’avoir fait aucun usage indu de l’IA » : votre déclaration, autrement dit, pourra être tenue pour nulle. Suit le conseil de demeurer « bien à l’abri dans la zone de “responsabilité” » ; or on ne prêche la prudence que là où il y a péril. Punir des gens pour avoir franchi une ligne qu’on avoue ne savoir tracer n’a de sens que si l’on veut régner par la peur. Retenez bien cela.

L’alibi de la voix

À quoi reconnaît-on un usage responsable ? On enjoint aux auteurs de « veiller avec le plus grand soin… à conserver leur propre voix ». L’abus, c’est de recourir à l’IA « pour écrire dans une langue que les auteurs n’emploieraient jamais d’ordinaire par eux-mêmes ». Pour un anglophone de naissance, la consigne se tient : ne feignez pas d’être ce que vous n’êtes pas. Mais pour l’étranger contraint d’écrire dans une langue qui n’est pas la sienne, l’injonction se mord la queue : la voix que la charte prétend protéger est précisément ce que le règlement de la revue nous interdit.

Prenez mon cas. L’anglais est ma quatrième langue, très exactement le genre de langue que je n’emploierais jamais « d’ordinaire ». Les universités anglophones m’ont dressé à l’écrire court, balisé, presque mécanique : l’idée-clé en tête de paragraphe, les précautions oratoires aux endroits prescrits, les transitions puisées dans la liste homologuée. Le dressage a réussi : il n’y a jamais eu dans mon anglais de voix à protéger, c’est la première chose qu’il a fallu sacrifier. À s’en tenir à la définition des éditeurs, tout ce que j’ai jamais écrit en anglais relèverait de l’usage illicite, machine ou pas.

Pris en tenaille

Les éditeurs assurent avoir pensé à nous : la charte reconnaît que les non-anglophones gagnent à faire vérifier leur anglais par l’IA, voire à recourir à ses « services de traduction, de rédaction et de révision ». Mais la part de l’IA dans l’écriture « ne saurait excéder une aide à la révision et à la relecture », et doit s’arrêter avant « de gros blocs de texte écrits par l’IA ». Or un article traduit par la machine est écrit par la machine du premier mot au dernier : il n’est fait que de ces blocs-là. La concession ne tient donc que si traduire n’est pas écrire. Et où passe cette ligne ? On nous l’a déjà dit : « aucune ligne nette ».

Il y a pire : le soupçon n’est pas seulement invérifiable, il est pipé. En 2023, une équipe de Stanford a soumis à sept détecteurs d’IA parmi les plus répandus des copies écrites par des humains. Les détecteurs ont dénoncé comme produites par une machine, en moyenne, 61 % des copies du TOEFL rédigées par des non-anglophones, tout en classant presque sans faute celles des anglophones ; l’un d’eux a condamné 97,8 % du lot TOEFL ( ). L’explication instruit. Ces détecteurs mesurent la prévisibilité ; et l’anglais de seconde langue, dressé vers la moyenne, est prévisible par construction : le mot le plus probable, dans l’ordre le plus probable. La même étude retrouve le signal dans la production savante, où les communications de colloque dont le premier auteur n’est pas anglophone présentent une moindre variété linguistique. Les indices de style qu’on lit comme « de l’IA » sont ceux d’un bon anglais de seconde langue, et le juge humain lit les mêmes indices que la machine. La tenaille est refermée : mon anglais à moi, et je passe pour une machine ; la machine, et j’enfreins leur règle.

L’impôt sur la langue

Le paradoxe serait bénin s’il ne s’accompagnait de menaces. Or ces menaces trahissent un mal plus profond et plus ancien, que la charte ne nomme jamais : le monolinguisme. Les réclament « la couverture internationale la plus large possible », et, sur la même page, rappellent que « la langue de la revue est l’anglais ».

Ce que coûte cet arrangement n’a rien d’hypothétique. Ayant interrogé 908 chercheurs en sciences de l’environnement, Amano et ses collègues ont établi que les non-anglophones mettent jusqu’à 51 % de temps en plus à rédiger un article, se le voient refuser 2,5 fois plus souvent et renvoyer pour révision 12,5 fois plus souvent, pour des motifs de langue uniquement ( ). Cet impôt est perçu bien avant qu’aucune charte IA n’entre en scène ; le formulaire de déclaration et ses menaces ne font qu’y ajouter un contrôle fiscal.

Fin d’empire

Le monolinguisme est l’axiome dont on ne discute pas. Héritage d’empire, il s’est trouvé avec le temps une justification pratique : la traduction était lente et chère, et nul comité ne pouvait juger ce qu’il ne pouvait lire. Mais rien de cela ne survit aux progrès de la traduction automatique, qui, à l’état de l’art, peut servir d’intermédiaire fiable entre les auteurs et les éditeurs.

L’issue idéale est humaine : les chercheurs devraient lire plus d’une langue. Au lieu de quoi les universités anglophones préfèrent fermer leurs départements de langues vivantes. Notons que ces fermetures sont un phénomène anglo-américain : ailleurs, les chercheurs n’ont jamais eu le luxe du monolinguisme. Et notons le moment. Fermer un département de langues, c’est parier que l’anglais l’a emporté pour de bon et que plus rien qui vaille d’être lu ne s’écrira jamais dans une autre langue. Or ce pari se fait à contretemps, et doublement. D’abord parce que la traduction automatique permet, pour la première fois, de se passer tout à fait de lingua franca ; ensuite parce que l’ordre qui avait fait de l’anglais la langue par défaut se défait : le monde anglophone se replie sur lui-même, la mondialisation reflue, le libre-échange est contesté jusque dans ses berceaux, et il se dessine un monde multipolaire où les langues qui méritent d’être lues iront se multipliant. Les universités forment des chercheurs qui ne lisent que l’anglais pour un monde où l’anglais ne suffira plus. Les comités éditoriaux seront les premiers à en payer le prix.

Une épreuve pour les éditeurs

Quand un comité se plaint de ne pouvoir entendre la voix propre de ses auteurs, peut-être qu’une part du problème est du côté du comité.

L’accusation est grave, et elle appelle une épreuve sérieuse. Progress in Human Geography accepterait-elle de soumettre à ses lecteurs un article écrit en français, en italien ou en japonais, accompagné d’une version anglaise produite par la machine ? Ses propres consignes reconnaissent les services « de traduction » qui le permettent. Un oui clôt le débat ; un non nous dirait ce que la charte protège en réalité.

Dans les deux cas, c’est aux éditeurs de choisir. Si la voix compte, comme ils l’affirment, la revue doit prendre les articles dans la langue où leurs auteurs pensent. Sinon, que le formulaire de déclaration disparaisse, et les menaces avec lui.

Le Levante, géographie d’une perception

Sat, 29 Oct 2022 10:02:52 -0500

Introduction

Le Levante est un lieu qui se dérobe. On ne le définit jamais que par rapport à un autre territoire, ou contre lui ; aussi son sens n’a-t-il guère été stable, et le mot a désigné des géographies fort différentes selon le lieu et l’époque où on l’employait. Mais si une définition objective et précise reste hors de portée, on peut du moins tenter d’en dresser une carte subjective, en s’appuyant sur les corrélations qu’un corpus donné laisse apparaître. Autrement dit : quel espace le Levante évoquait-il pour tel groupe de lecteurs ?
Je montre dans ce billet comment exploiter les données de la du Medici Archive Project pour visualiser les lieux auxquels ce toponyme se trouvait associé.

La base MIA

MIA est une plateforme collaborative où les chercheurs déposent et partagent leurs propres photographies de documents conservés aux . Depuis un an, avec le soutien du , notre équipe a photographié, transcrit, résumé et classé des milliers de documents de la section des avvisi du fonds Mediceo del Principato. La base n’a pas été conçue d’abord pour l’analyse statistique ; il n’en reste pas moins que les métadonnées que nous avons mises en ligne se laissent télécharger et traiter comme des jeux de données.

Le jeu de données

Le jeu que j’ai constitué ici couvre toutes les nouvelles du Levante de 1543 à 1566, c’est-à-dire du premier avviso conservé dans le fonds jusqu’à l’année de la mort du sultan . En voici un échantillon, tel que je l’ai extrait du serveur : trois colonnes, avec le numéro unique du document, un nom de lieu et une date.

57386 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3
57386 Modon / Messinias, Nomos / Peloponnisos / Ellas 1565-1-3
57386 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3
57386 Evvoia / Evvoias, Nomos / Sterea Ellas-Evvoia / Ellas 1565-1-3
57386 Venetian Republic / Italia / Europe / World 1565-1-3
57386 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3
57386 Black Sea / Asia / World / Top of the TGN hierarchy 1565-1-3
57389 Otranto / Lecce / Puglia / Italia 1565-1-3
57389 Nisoi Aiyaiou / Ellas / Europe / World 1565-1-3
57389 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3
57389 Buda / Budapest / Budapest / Magyarorszag 1565-1-3
57389 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3
57389 Kipros / Asia / World / Top of the TGN hierarchy 1565-1-3
57389 Rodhos / Rodos, Nisos / Sporadhes / Nisoi Aiyaiou 1565-1-3
57389 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3
57389 Çorlu / Thraki / Ellas / Europe 1565-1-3

Toilette des données

Avant toute visualisation, il faut mettre ces données au format csv (valeurs séparées par des virgules), et traduire l’information géographique qu’elles contiennent dans une langue que la machine entende mieux : celle des coordonnées GPS. Comme le jeu compte des centaines d’entrées, on préférera automatiser l’opération. Des modèles de langue pré-entraînés comme , ou , pour ne citer qu’eux, s’en acquittent vite et plutôt bien ; mais il faut les surveiller de près, car ces modèles ont une légère propension à l’hallucination.

documentId,latitude,longitude,documentDate
57386,35.899167,14.514167,1565-1-3
57386,37.05,22.116667,1565-1-3
57386,31.200028,29.918719,1565-1-3
57386,38.366667,23.666667,1565-1-3
57386,45.438333,12.331333,1565-1-3
57386,41.018611,28.984444,1565-1-3
57386,42.7,18.8,1565-1-3
57389,40.216667,18.166667,1565-1-3
57389,37.966667,23.716667,1565-1-3
57389,35.899167,14.514167,1565-1-3
57389,47.4925,19.051389,1565-1-3
57389,31.200028,29.918719,1565-1-3
57389,34.916667,33.616667,1565-1-3
57389,36.405419,28.227778,1565-1-3
57389,41.018611,28.984444,1565-1-3
57389,41.133333,27.416667,1565-1-3

La carte de densité

Une carte de densité fait ressortir la fréquence avec laquelle chaque lieu est cité dans un jeu de données. On y lit non seulement l’étendue géographique du corpus, mais aussi ses foyers : quels lieux reviennent sans cesse, lesquels ne font que passer ? Où sont les centres, et jusqu’où s’étend la périphérie ? Vers quel point de la carte, en somme, l’attention d’un lecteur avait-elle le plus de chances de se porter ?

Pour cette expérience – et parce que le temps pressait – j’ai eu recours à l’une des API de  ; mais bien des bibliothèques de visualisation et des systèmes d’information géographique produisent le même genre de carte.

Quelques observations

Le résultat tient plus du tableau impressionniste que de la représentation exacte d’un concept bien délimité, et c’est justement ce qui me plaît dans l’exercice : la science des données peut être une alliée précieuse des humanités, sans que nous soyons tenus pour autant de nous plier à ses règles.

Autre enseignement : la carte fait voir un Levante pleinement intégré au reste de l’Europe et de la Méditerranée. Elle met en lumière la place centrale d’Edirne dans la géographie politique de l’Empire ottoman. La ville d’Espagne qui y pèse le plus n’est ni Madrid ni l’Escurial, mais Naples. Enfin, et ce n’est pas le moindre, les îles et les petites cités-États comme Raguse semblent avoir joué un rôle d’intermédiaire de premier plan entre les puissances de la région.

Comment obtenir les données de MIA

MIA est un remarquable outil de travail collectif, mais les données de ses serveurs ne se laissent pas prendre facilement ; la salle des machines, par exemple, n’est publiée dans aucun dépôt public. On peut cependant les obtenir en s’inscrivant sur MIA, puis en interrogeant le serveur depuis Python.

Requête

url = "https://mia.medici.org/Mia/json/de/advancedsearch/advancedSearchResults/0/90/docYear/asc/?isNewsFeedSearch=False"
payload = [{"searchSection":"archivalLocationSearch","type":"archivalLocationAdvancedSearch","isActiveFilter":True,"repository":None,"collection":"Mediceo del Principato","series":None,"volume":"2863","insert":None},{"searchSection":"categoryAndTypologySearch","type":"categoryAndTypologyAdvancedSearch","isActiveFilter":True,"category":"News","typology":None},{"searchSection":"transcriptionSearch","type":"transcriptionAdvancedSearch","isActiveFilter":False,"transcription":""},{"isActiveFilter":False,"searchSection":"synopsisSearch","type":"synopsisAdvancedSearch","synopsis":""},{"searchSection":"placesSearch","type":"placesAdvancedSearch","isActiveFilter":False,"places":[]},{"searchSection":"peopleSearch","type":"peopleAdvancedSearch","isActiveFilter":False,"people":[]},{"searchSection":"topicsSearch","type":"topicsAdvancedSearch","isActiveFilter":True,"topics":[{"topicTitle":"Place Index","topicId":"51","placeAllId":""}]},{"searchSection":"dateSearch","type":"dateAdvancedSearch","isActiveFilter":False,"dateFilterType":"","dateYear":"","dateMonth":"","dateDay":"","dateBYear":"","dateBMonth":"","dateBDay":""},{"searchSection":"documentOwnerSearch","type":"documentOwnerAdvancedSearch","isActiveFilter":False,"editType":"owner","account":""},{"searchSection":"languagesSearch","type":"languagesAdvancedSearch","isActiveFilter":False,"languages":[]}]
headers = {'Content-type': 'application/json', 'Accept': '*/*'}
r = requests.post(url, data=json.dumps(payload), headers=headers, auth=('LOGIN','PASSWORD'))

Remplacez LOGIN et PASSWORD par vos propres identifiants.

Écrire la réponse dans un fichier

with open('response.json', 'wb') as fd:
 for chunk in r.iter_content(chunk_size=128):
 fd.write(chunk)

Ouvrir le JSON

f = open('response.json', encoding="utf8")

Charger l’objet JSON dans un dictionnaire

json_complete = json.load(f)

Extraire les données du JSON et les écrire au format CSV

with open('results.csv', 'w', newline='') as csvfile:
 fieldnames = ['documentId', 'placeCited', 'documentDate']
 writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
 writer.writeheader()
 for i in json_complete['data']:
 if i['topics'] != None:
 for x in i['topics']:
 documentId=x['documentId']
 placeCited=x['topicPlaceName']
 year=i['date']['docYear']
 month=i['date']['docMonth']
 day=i['date']['docDay']
 documentDate=str(year)+ "-" + str(month)+"-" + str(day)
 writer.writerow({'documentId': documentId, 'placeCited': placeCited, 'documentDate': documentDate})

Une fois le fichier results.csv en main, il ne reste qu’à procéder à la toilette des données décrite plus haut.

Visualiser les manuscrits 2 (mise à jour)

Sat, 20 Nov 2021 16:00:00 +0000

Chose promise, chose due : voici une nouvelle version du treemap interactif présenté dans un , qui offre cette fois deux modes d’affichage.

Note

Pour un meilleur confort de lecture, vérifiez que la page est en mode clair (cliquez sur l’icône de lune en haut à droite).

Regrouper les folios par catégorie

Un navigateur visuel pour l’archive

Sun, 20 Jun 2021 16:00:00 +0000

Le problème

Les éditions numériques vivent sur un paradoxe : elles mettent des documents difficiles d’accès à la portée d’un large public, mais la dématérialisation prive le lecteur de ses repères sensoriels, le désoriente, et finit par le détourner du contenu. Se déplacer dans de vastes dépôts de documents devient laborieux, voire intimidant, non seulement pour qui n’a pas l’habitude des archives, mais aussi pour les lecteurs atteints de troubles cognitifs.

La solution

C’est ici que les métadonnées archivistiques nous rendent service. Elles permettent en effet de construire des abstractions visuelles interactives qui offrent au lecteur une autre prise sensorielle, et gagnent ainsi sur les deux tableaux de l’ergonomie et de l’accessibilité. Pour qu’on puisse parcourir l’archive à l’œil, un treemap, ou tout diagramme qui décompose bien des données hiérarchiques, fait l’affaire.

L’expérience

Ma première tentative adapte le pour D3.js, en y ajoutant des hyperliens. Elle représente le manuscrit BnF Ms. Fr. 640, ses folios et les entrées de chaque folio ; les couleurs marquent la catégorie dominante, et l’on obtient davantage d’informations, dont le lien vers le manuscrit, en survolant chaque entrée.
Le treemap devient ainsi un index visuel interactif, qui donne au lecteur, en un instant, une vue d’ensemble du contenu du manuscrit, mais aussi de l’étendue de chaque folio et de chaque entrée.
~~Dans les mois qui viennent, je poursuivrai l’expérience avec d’autres diagrammes et d’autres hiérarchies… À suivre !~~ Pour une nouvelle version du treemap, cliquez .

Note

Pour un meilleur confort de lecture, vérifiez que la page est en mode clair (cliquez sur l’icône de lune en haut à droite).

Cliquez sur une cellule pour zoomer, ou sur la barre du haut pour dézoomer.

L’archive d’un seul coup d’œil

Mon, 24 May 2021 16:00:00 +0000

Le problème

Le désordre des archives historiques a de quoi décourager. Le Mediceo del Principato, aux , en est l’exemple même : une petite partie seulement du fonds est inventoriée, et nombre de ses pièces sont éparpillées, sans raison apparente, dans plus de 6 500 volumes. Pour ne rien arranger, on ne peut consulter qu’un nombre limité de ces volumes, ou filze, comme on dit là-bas : quatre liasses par jour en temps ordinaire, et, en temps de pandémie, quatre par quinzaine. Faute d’inventaires détaillés, l’ampleur du fonds oblige le chercheur à ruser pour mettre la main rapidement sur ce qu’il cherche.

La solution

Les uns s’en remettent au hasard ; les autres tentent des conjectures raisonnées à partir de la chronologie, des destinataires, des auteurs, de la provenance du fonds, de la langue, etc. Or il suffit de regarder toutes ces variables ensemble pour que se dessinent, dans la structure de l’archive, des régularités insoupçonnées qui affinent nos conjectures. L’expérience me l’a appris : mises en graphique, les métadonnées que le chercheur consigne d’ordinaire dans un tableur lui donnent une bien meilleure vue de l’endroit où il se trouve dans l’archive.

L’expérience

Je travaille en ce moment sur la correspondance d’un espion du XVI^e siècle. Ses lettres sont dispersées dans des centaines de liasses ; elles sont écrites sous diverses identités, adressées à des correspondants divers et parfois inattendus, envoyées de lieux divers, et ainsi de suite. Pour repérer les filze qui ont le plus de chances de contenir les lettres attendues, j’ai monté un tableau de bord, c’est-à-dire une application web de visualisation interactive ( ) qui relie toutes sortes de données, géographiques et chronologiques notamment, à un diagramme hiérarchique ( ) du fonds. D’un coup d’œil, j’y lis ce qui a déjà été trouvé, ce que cela représente, et où il pourrait valoir la peine de chercher encore ; et il suffit de cliquer sur telle ou telle variable pour que tous les diagrammes se recomposent et fassent apparaître les corrélations correspondantes.

La suite

Ce tableau de bord peut surtout, et c’est peut-être l’essentiel, se convertir en index visuel. Quand l’édition critique de ces lettres paraîtra en ligne, il en sera une seconde porte d’entrée, par laquelle les lecteurs pourront parcourir les données. Pour l’heure, la confidentialité m’oblige à n’en montrer qu’une capture d’écran caviardée, mais je publierai le tableau de bord complet l’an prochain ; en attendant, un prototype sera bientôt disponible. À suivre !

Visualiser le balisage sémantique du BnF Ms. Fr. 640

Sun, 20 Dec 2020 18:15:00 +0000

Vue d’ensemble

Les éditions savantes riches en données regorgent d’annotations éditoriales qu’on peut extraire, analyser et visualiser à toutes sortes de fins scientifiques. C’est le cas de , parue en 2020, dont le fichier de métadonnées se télécharge depuis le dépôt GitHub du projet. Je montre dans ce billet comment réunir toutes ces variables dans une matrice de corrélation, puis la visualiser de plusieurs manières.

Les données

Le Making and Knowing Project tient à jour une feuille de calcul qui décrit le contenu du manuscrit : entry_metadata.csv. On la trouvera sur le du Making & Knowing. On peut aussi se fabriquer des fichiers .csv sur mesure, avec davantage de balisage, grâce à l’excellent de Matthew Kumar, qui est une version Python du BnF Ms. Fr. 640.

Préparer Python

Pandas servira à mettre les données en forme, Matplotlib et seaborn aux cartes de chaleur, et NetworkX, pour finir, aux réseaux fondés sur les corrélations.
Pour des variables de ce type, on évitera la méthode de Pearson au profit de la méthode 𝜙𝐾 ; prenez le temps de sur cette mesure de corrélation et sur PhiK, la bibliothèque qui l’implémente.

#install packages
pip install phik

# import modules
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import networkx as nx

Préparer les données

Téléchargeons d’abord, dans le dossier metadata du , la dernière version du fichier de métadonnées de l’édition. Nous n’en garderons que les colonnes utiles. Pour cette démonstration, je retiens toutes les balises sémantiques de la traduction anglaise tl ; on peut tout aussi bien prendre celles de la transcription française tc, ou de la version normalisée tcn. Les valeurs sont séparées par des points-virgules, et c’est à Python de les compter : d’où la méthode stack-unstack, avec l’expression régulière [^;\s][^\;]*[^;\s]*. Pour rendre la matrice plus lisible, nous renommons chaque colonne. Les pressés peuvent sauter cette étape ; qu’ils retiennent seulement qu’à ce stade notre dataframe s’appelle tagsrn.

# load the edition's metadata
df = pd.read_csv('entry_metadata.csv')

# select the tags you want to correlate
dftags = df[['al_tl', 'bp_tl', 'cn_tl', 'df_tl', 'env_tl', 'm_tl', 'md_tl', 'ms_tl', 'mu_tl', 'pa_tl', 'pl_tl', 'pn_tl', 'pro_tl', 'sn_tl', 'tl_tl', 'tmp_tl', 'wp_tl', 'de_tl', 'el_tl', 'it_tl', 'la_tl', 'oc_tl', 'po_tl']]

# count comma separated values
tagcount = dftags.stack(dropna=False).str.count(r'[^;\s][^\;]*[^;\s]*').unstack()

# rename columns
tagsrn = tagcount.rename(columns={'al_tl': 'animals', 'bp_tl': 'body parts', 'cn_tl': 'currency', 'df_tl': 'definitions', 'env_tl': 'environment', 'm_tl': 'material', 'md_tl': 'medical', 'ms_tl': 'measurement', 'mu_tl': 'music', 'pa_tl': 'plant', 'pl_tl': 'toponym', 'pn_tl': 'person', 'pro_tl': 'profession', 'sn_tl': 'sensory', 'tl_tl': 'tool', 'tmp_tl': 'temporal', 'wp_tl': 'weapons', 'de_tl': 'German', 'el_tl': 'Greek', 'it_tl': 'Italian', 'la_tl': 'Italian', 'oc_tl': 'Occitan', 'po_tl': 'Poitevin'})

Corréler

Le dataframe une fois nettoyé, on peut calculer les coefficients de corrélation entre les variables. C’est le moment de bien comprendre ses données et de s’assurer qu’on emploie la mesure de corrélation qui leur convient ; le paquet pandas-profiling rend ici de grands services.

# calculate correlation coefficient with the phi k method
cortag = tagsrn.phik_matrix()

cortag est notre matrice de corrélation. Reste à l’explorer sous plusieurs formes.

Visualiser

Le plus simple est d’abord de la représenter comme une matrice colorée, à l’aide du de seaborn.

Carte de chaleur des corrélations

f, ax = plt.subplots(figsize=(16, 14))
ax = sns.heatmap(cortag, linewidths=.03, vmin=0, cmap="Oranges", square=True)

Qui connaît bien le texte voit aussitôt que la carte tient debout. Les noms de personnes, par exemple, sont fortement corrélés au latin : rien d’étonnant, quand on sait combien les humanistes du XVI^e siècle aimaient latiniser les noms.

On m’objectera que cette carte enfonce des portes ouvertes. Ce n’est pas tout à fait faux, et les balises médicales semblent au premier abord donner raison à l’objection, elles qui sont corrélées, comme on s’y attendait, aux parties du corps, aux mesures et aux plantes.

Mais qu’on lise la carte avec plus d’attention, ligne à ligne, et des corrélations plus curieuses apparaissent. Que les balises médicales aillent de pair avec les mots italiens et latins, voilà qui renseigne sur l’origine des recettes médicales du Ms. Fr. 640 ; et la corrélation entre professions, définitions et mesures montre à quel point l’identité professionnelle structure les discours techniques du XVI^e siècle.

Clustermap des corrélations

Les cartes de chaleur sont précieuses en phase « exploratoire », mais elles peuvent sembler brouillonnes à votre auditoire, surtout si vous discutez de groupes sémantiques précis du manuscrit – ou si vous les cherchez encore. Le module clustermap de seaborn donne alors des résultats intéressants.

clustermap = sns.clustermap(cortag, figsize=(12, 13), dendrogram_ratio=(.1, .2), vmin=0, cmap="Oranges", cbar_pos=(-.06, .12, .03, .68))

Outre qu’elle ressemble à un insecte pixélisé (oui, le mot est dans le Robert), la clustermap sépare nettement les balises isolées (en haut et à gauche) de celles qui sont mieux reliées aux autres. On y distingue aussi des groupes à l’écart, comme la musique et le poitevin (qui l’eût cru !), et des groupes plus centraux, comme les mesures, les matériaux, les définitions et les armes. Les professions sont bien reliées, mais ne se rattachent à aucun groupe particulier, du moins dans cette matrice-ci.

Réseau de corrélations

Pour condenser encore les corrélations de notre matrice, les graphes de réseau offrent une solution élégante, surtout lorsqu’il s’agit de présenter le contenu du manuscrit à un public.
Il faut pour cela convertir la matrice en une liste d’arêtes et de nœuds, et fixer un seuil au-dessous duquel les corrélations les plus faibles disparaissent du graphe.

# transform the data
links = cortag.stack().reset_index()
links.columns = ['var1', 'var2','value']

# threshold 
links_filtered = links.loc[(links['value'] > .6) & (links['var1'] != links['var2'])]
links_filtered

# create edges
G = nx.from_pandas_edgelist(links_filtered, 'var1', 'var2')

# draw network using Kamada & Kawai's algorithm 
plt.figure(3,figsize = (12,12))
nx.draw_kamada_kawai(G, with_labels = True, node_color = 'red', node_size = 400, edge_color = 'black', linewidths = 1, font_size = 14)

S’il reste trop d’arêtes et de nœuds, on peut toujours relever le seuil pour obtenir un résultat plus net ; ou bien exporter le graphe, avec la fonction .write_gexf(), pour le retravailler dans Gephi.

nx.write_gexf(G, 'graph.gexf')

Le résultat se voit en tête de ce billet.

Mise à jour : réseau circulaire pondéré

Je cherchais un moyen de représenter les matrices de corrélation sous forme de réseaux pondérés, et j’ai trouvé chez une approche intéressante, que j’adapte ici à notre jeu de données.

# create graph weighted by correlation coefficients (unfiltered)
Gx = nx.from_pandas_edgelist(links, 'var1', 'var2', edge_attr=['value'])

# determine a threshold to remove some edges
threshold = 0.4

# list to store edges to remove
remove = []

# loop through edges in Gx and find correlations which are below the threshold
for var1, var2 in Gx.edges():
 corr = Gx[var1][var2]['value']
 #add to remove node list if abs(corr) < threshold
 if abs(corr) < threshold:
 remove.append((var1, var2))

# remove edges contained in the remove list
Gx.remove_edges_from(remove)

print(str(len(remove)) + ' edges removed')

Quelques arêtes supprimées, on peut fixer la couleur et l’épaisseur des autres.

# determine the colors of edges
def assign_colour(correlation):
 if correlation <= 0.8:
 return '#ff872c' # orange
 else:
 return '#f11d28' # red


def assign_thickness(correlation, benchmark_thickness=3, scaling_factor=3):
 return benchmark_thickness * abs(correlation)**scaling_factor


def assign_node_size(degree, scaling_factor=50):
 return degree * scaling_factor

On donne aussi aux nœuds une taille proportionnelle à leur nombre de connexions.

# assign node size depending on number of connections (degree)
node_size = []
for key, value in dict(Gx.degree).items():
 node_size.append(assign_node_size(value))

On obtient un graphe pondéré qui accueille davantage de nœuds et bien plus d’arêtes, sans rien perdre de sa lisibilité ni de son pouvoir d’information.

Notes |

La clôture, non le bûcher

Un scanner n’est pas un bûcher

Plus de livres, meilleure IA ?

Crier au vol n’est pas un argument

Une indignation d’emprunt

L’IA n’appartient pas aux géants du numérique

Les livres sont déjà là

Chers éditeurs : si vous voulez ma voix, rendez-moi ma langue

L’alibi de la voix

Pris en tenaille

L’impôt sur la langue

Fin d’empire

Une épreuve pour les éditeurs

Le Levante, géographie d’une perception

Introduction

La base MIA

Le jeu de données

Toilette des données

La carte de densité

Quelques observations

Comment obtenir les données de MIA

Requête

Écrire la réponse dans un fichier

Ouvrir le JSON

Charger l’objet JSON dans un dictionnaire

Extraire les données du JSON et les écrire au format CSV

Visualiser les manuscrits 2 (mise à jour)

Un navigateur visuel pour l’archive

Le problème

La solution

L’expérience

L’archive d’un seul coup d’œil

Le problème

La solution

L’expérience

La suite

Visualiser le balisage sémantique du BnF Ms. Fr. 640

Vue d’ensemble

Les données

Préparer Python

Préparer les données

Corréler

Visualiser

Carte de chaleur des corrélations

Clustermap des corrélations

Réseau de corrélations

Mise à jour : réseau circulaire pondéré

Plus de livres, meilleure IA ?