https://clementgodbarge.com/ca/HugoBlox Kit (https://hugoblox.com)caMon, 24 Oct 2022 00:00:00 +0000https://clementgodbarge.com/media/icon_hu_64a6c3bec25b3d7b.png<link>https://clementgodbarge.com/ca/</link></image><item><title>La tanca, no la foguera</h1> <article> <h1>La tanca, no la foguera</h1> Sun, 06 Sep 2026 00:00:00 +0000 En un magatzem de North Las Vegas, Amazon fa anar una màquina que talla el llom dels llibres de segona mà. Les pàgines soltes passen per un escàner i després el paper se’n va a la pastera. Destruir llibres per alimentar la IA: la història tenia tots els ingredients per convertir-se en un escàndol cultural. El va comparar aquesta activitat amb una crema de llibres moderna, sense estalviar-se cap tòpic: al·lusions a Savonarola, fotos d’arxiu de llibres aparentment rars i, com no podia ser altrament, la foguera de Berlín. Com era d’esperar, la premsa seriosa va ser més freda, però va deixar la mateixa comparació surant en l’aire. Ara bé, per molta indignació que hi posin, aquests articles tenen la màniga ben ampla amb la indústria de la IA. El destí del paper ocupa el centre de l’escena; la propietat de les biblioteques digitals resultants gairebé no hi apareix. Qui controlarà el coneixement que s’està escanejant? Aquesta pregunta haurà d’esperar mentre ens desfem de la bajanada de la crema de llibres. <h2 id="un-escàner-no-és-una-foguera">Un escàner no és una foguera</h2> L’analogia amb les fogueres de Savonarola o amb la crema de llibres nazi és absurda: destruir un exemplar no és suprimir un text. Les fogueres eren actes públics de repudi. Aquell pobre frare, Savonarola, invocat en cada polèmica sobre crema de llibres, demanava a la gent que sacrifiqués algunes de les seves possessions com a acte públic de penitència. Les fogueres nazis escenificaven un repudi d’una altra mena: cremar els llibres en públic proclamava que els seus autors no tenien lloc en la vida cultural alemanya. En tots dos casos, per desagradable que fos, la destrucció era performativa. L’escaneig destructiu, un mètode molt estès en digitalització, té un altre propòsit: es guillotina l’exemplar per conservar-ne el contingut. El llibre es destrueix; el text es desmaterialitza. Els qui invoquen Fahrenheit 451 farien bé de recordar-ne la lliçó central: un text no és el paper on està imprès. Més atrevit que el Daily Mail però no menys maldestre, va afegir llenya a l’alarma posant «llibres rars» al titular. Tanmateix, un llibreter citat en la seva pròpia investigació va dir que aquestes comandes a l’engròs , cosa que apunta sobretot a edicions publicades d’ençà de la introducció de l’ISBN, cap al 1970. Això és material de mercat de vell i de botiga de segona mà, que sovint a la primera neteja de casa acaba a la deixalleria. Abans d’anunciar una catàstrofe cultural, convindria consultar el catàleg de la biblioteca. Són precisament les publicacions que les biblioteques de dipòsit legal existeixen per preservar. Cert que un ISBN no garanteix que hagi sobreviscut un exemplar de dipòsit, però l’escassetat al mercat de segona mà tampoc no demostra la desaparició d’un text. Els llibres tenen, és clar, una història material. Els exemplars a què les anotacions, les dedicatòries o la procedència donen una significació històrica mereixen ser identificats i preservats. Els llibreters de vell hi tenen un paper: reconèixer un exemplar així hauria de ser motiu per no incloure’l en una remesa destinada a la pastera. També ens pot preocupar, encara, la minva d’exemplars físics dels títols descatalogats. Però en aquest cas també hauríem de preguntar-nos per què els titulars dels drets ni els reediten ni n’autoritzen l’accés als facsímils digitals existents. Els estudiosos coneixen bé la frustració: Google Books troba el passatge que necessites i després t’ofereix un fragment d’un llibre que no pots ni comprar nou ni llegir en línia. Hi ha pèrdues, doncs, que val la pena discutir, però no converteixen un escàner en una foguera nazi. Mentrestant, el sector del llibre fa temps que envia a la pastera els llibres no venuts com a pràctica rutinària. Només a França, s’estima que , aproximadament el 60 % del tonatge retornat sense vendre als distribuïdors. D’això se’n diu gestionar l’estoc. Els exemplars sobrants i els títols de segona mà escassos plantegen qüestions d’accés diferents, però destruir paper no equival per si mateix a censura ni a tirania. <h2 id="més-llibres-millor-ia">Més llibres, millor IA?</h2> Que les empreses d’IA comprin i escanegin llibres és, de fet, una bona notícia. Una tecnologia criticada habitualment per la seva comprensió superficial de la cultura humana n’està adquirint més, i hom hauria esperat que els estudiosos celebressin l’esforç. La web és un mal substitut del registre acumulat d’una llengua. Bona part de la vida documentada d’una llengua, de les novel·les i les memòries a les cançons populars i les converses transcrites, no ha passat mai de la impremta a la web. Molts d’aquests llibres han sobreviscut als seus editors. Incorporar-los a les dades d’entrenament importa sobretot allà on hi ha poca cosa més. Uns quants llibres més en anglès potser aporten millores marginals. En una llengua poc representada, en canvi, aquests llibres poden marcar la diferència entre un sistema útil i un d’inservible. Si aquestes eines tenen lloc en els nostres serveis públics o en la nostra vida quotidiana és una qüestió de debat públic. Però allà on decidim fer-les servir, hauríem de poder fer-ho en la nostra pròpia llengua. Les comandes de què s’ha informat a Espanya i als Països Baixos fan concretes les implicacions lingüístiques. Al maig, descrivia un llibreter de Badalona que rebia comandes repetides, sobretot de no-ficció en català: llibres d’història, manuals tècnics i velles actes de congressos. A l’agost, la premsa neerlandesa descrivia una petició a De Slegte de . La llengua dels llibres mereix si més no tanta atenció com el destí de les seves enquadernacions. Potser és demanar massa al Daily Mail. Fins i tot els diaris més assenyats han dit ben poca cosa de les llengües implicades. Els acords de llicència amb les grans editorials també poden aportar material valuós, però els seus catàlegs digitals només cobreixen una fracció del que s’ha publicat en paper. Els llibres mai digitalitzats, o aquells de què l’editorial ja no té els drets, queden fora de l’oferta. Ni tan sols un acord de llicència generós pot substituir la història de l’edició, i encara menys la història d’una cultura. Comprar exemplars de segona mà és una manera d’arribar més enllà d’aquestes fronteres comercials. <h2 id="robatori-no-és-un-argument">«Robatori» no és un argument</h2> Dir-ne «robatori» tampoc no ajuda. Al juny de 2025, dos tribunals de districte dels Estats Units van dictaminar que fer servir llibres per entrenar models de llengua era un ús legítim (fair use) en els casos que tenien davant. A , el tribunal va subratllar el caràcter transformador de l’entrenament: els llibres s’havien fet servir per construir un sistema capaç de produir expressió nova. Els models poden memoritzar passatges, però fer servir un llibre per entrenar no fa que el text sencer sigui recuperable a demanda. L’absència de reproducció literal tampoc no elimina totes les objeccions. A , el jutge va advertir que les obres generades per IA podien inundar el mercat i que les proves d’un perjudici així podrien invalidar una defensa d’ús legítim. Aquells demandants, però, no havien aportat proves significatives d’aquest perjudici per a les seves pròpies obres. Cap de les dues sentències no dona a les empreses d’IA un permís il·limitat ni resol la disputa ètica. Ens obliguen a distingir com s’adquireixen els llibres, com es conserven les còpies i què en fa l’entrenament. Dir-ne «robatori» de tot plegat deixa aquestes preguntes sense resposta. Per cert, la sentència del cas Anthropic dona una raó de ser a la guillotina. El tribunal va avalar la digitalització dels exemplars comprats i va rebutjar l’acumulació de llibres pirates en una biblioteca permanent, per la qual l’empresa va . La digitalització va passar el filtre en part perquè cada exemplar imprès es destruïa en la conversió: la còpia digital el substituïa i no es compartia fora de l’empresa. La destrucció que tant molesta alguns va ajudar Anthropic a establir que el seu programa de digitalització era un ús legítim. Comprar, escanejar i llençar va oferir en aquell cas una via legal. La guillotina, aquí, és un instrument de compliment normatiu. Hi ha bones raons per voler que la IA begui de més llengües, de més recerca acadèmica i de més d’aquell món que existia abans d’internet. Aquestes raons no desapareixen perquè una empresa que no ens agrada hi hagi trobat una oportunitat comercial. <h2 id="indignació-manllevada">Indignació manllevada</h2> Tornem, doncs, al Daily Mail. El seu article forma part de , una campanya de propietaris de diaris i editorials que reclama per a la IA. Dues substitucions convenients fan la feina: les grans tecnològiques passen per la IA, i els titulars de drets passen per la «creativitat britànica». Es convida els lectors a defensar la cultura mentre les editorials negocien els termes de la seva venda. Els estudiosos que comparteixen la notícia farien bé de preguntar-se a quina causa serveix la seva indignació. Les grans tecnològiques i les editorials es barallen pel lloguer, però cap de les dues parts no posa objeccions a la tanca. La història de l’autor solitari robat per un gegant tecnològic amaga el que els cars acords de llicència ofereixen a tots dos bàndols corporatius: les editorials cobren, i les grans tecnològiques obtenen un mercat en què els seus rivals més petits no es poden permetre competir. Peter Thiel va expressar la preferència de Silicon Valley sense embuts: . Les llicències no han de produir necessàriament aquest resultat. Un accés assequible i no exclusiu podria ajudar els desenvolupadors petits. Però un sistema que obliga cada nouvingut a negociar acords costosos amb els grans titulars de drets converteix el poder adquisitiu en condició d’entrada. Un pagament presentat com una concessió a les indústries culturals acaba comprant protecció contra futurs rivals. <h2 id="la-ia-no-és-propietat-de-les-grans-tecnològiques">La IA no és propietat de les grans tecnològiques</h2> Hi ha un problema més de fons. Massa crítiques a la IA prenen els seus principals proveïdors comercials pel conjunt del camp. Els productes dominen els titulars; la recerca i el desenvolupament que hi ha més enllà d’aquestes empreses desapareixen de la vista. Les grans tecnològiques no podrien demanar un malentès més útil. La seva ambició de posseir el camp esdevé la premissa de la crítica que se’ls adreça. El monopoli encara no està assegurat. Donar-lo per fet és fer-los un favor enorme. I també desvia l’atenció del codi obert: de les seves necessitats, de les seves possibilitats d’existir, dels seus interessos, de la seva legitimitat com a alternativa. La IA de codi obert permet construir i adaptar sistemes que reflecteixen una diversitat més gran de llengües, cultures i formes d’expressió. Per als països d’Europa, Àfrica, Amèrica Llatina i Àsia, això és una base pràctica per a la sobirania tecnològica i cultural: la capacitat de decidir com funcionen els sistemes, quines llengües serveixen i on es fan servir. Si s’ha de fer servir la IA, i amb quines finalitats, hauria de continuar sent una decisió pública, no una decisió dictada per la dependència d’un oligopoli estranger. Però la llibertat de modificar un sistema significa ben poc sense els mitjans per fer-ho. La feina independent necessita expertesa, infraestructura de càlcul i accés a material d’entrenament. I això ens torna als llibres. Si cada equip de recerca o cada institució pública ha de negociar els seus propis acords editorials o muntar la seva pròpia biblioteca privada, la independència esdevindrà inassequible fins i tot per a alguns països rics. <h2 id="els-llibres-ja-són-aquí">Els llibres ja són aquí</h2> Les biblioteques i els arxius han dedicat generacions a reunir el material que aquests sistemes necessiten. Les seves col·leccions existeixen perquè l’accés al coneixement ha de sobreviure a l’interès comercial de vendre’l. Molt ja s’ha escanejat: conserva uns dinou milions de volums digitalitzats procedents de biblioteques de recerca, molts encara sota drets d’autor. Una biblioteca escaneja un llibre i el conserva. Allà ningú no necessita cap guillotina. HathiTrust , però també ha anunciat , un projecte per donar accés al corpus a la recerca i el desenvolupament d’IA no comercials. Un accés en aquests termes encara deixaria fora alguns desenvolupadors independents. Posseir els llibres, però, no dona a una biblioteca el dret de distribuir-ne el contingut protegit per drets d’autor com a corpus d’entrenament. La permet a les institucions de recerca i a les biblioteques fer mineria d’obres legalment accessibles amb finalitats de recerca científica, i permet una mineria més àmplia quan els titulars no s’han reservat els drets. : la seva excepció de mineria cobreix la recerca no comercial i restringeix la transferència de còpies. Cap dels dos marcs no dona a les biblioteques un dret general a compartir els seus fons protegits perquè altres hi construeixin al damunt. També podríem reconsiderar durant quant de temps els titulars de drets haurien de controlar els usos computacionals dels llibres. Les patents farmacèutiques encarnen un pacte: l’exclusivitat temporal recompensa la innovació, i després la invenció queda a disposició dels altres. El seu termini habitual de vint anys és molt més curt que la protecció dels drets d’autor, que dura tota la vida de l’autor i setanta anys més. Per què no aplicar un principi semblant als usos computacionals dels llibres? Passats, posem, vint anys de la primera publicació, un llibre podria quedar disponible per a la mineria de textos i de dades sense taxes de llicència, mentre els drets de reedició i de venda continuessin protegits. Els autors podrien continuar guanyant diners amb els seus llibres sense que generacions d’investigadors haguessin de negociar permisos per analitzar-los. Fa dos anys vaig sostenir a que les dades del patrimoni s’haurien de tractar com un bé públic. Els governs haurien de finançar les biblioteques i els arxius perquè digitalitzin, transcriguin i documentin les seves col·leccions, i donar-los l’autoritat legal per posar els corpus resultants a disposició dels altres. Les grans tecnològiques podrien ajudar a pagar la factura mitjançant una taxa específica. El finançament públic hauria d’anar acompanyat de polítiques de col·lecció i regles d’accés publicades, que cobrissin el treball acadèmic i el comercial sense acords exclusius ni accés privilegiat per als donants. L’accés per a l’entrenament no ha de significar la redistribució il·limitada dels llibres protegits. Els autors haurien de participar en el disseny del sistema públic, incloent-hi com tracta el consentiment, la remuneració i la competència amb la seva obra. L’accés gratuït per als usuaris no ha d’excloure necessàriament una remuneració dels autors amb fons públics. El , que paga els autors amb fons públics quan es presten els seus llibres, n’ofereix un precedent. La foguera no ha estat mai la història. La tanca, sí. </article> <article> <h1>Benvolguts editors: si voleu la meva veu, torneu-me la meva llengua</h1> Thu, 27 Aug 2026 00:00:00 +0000 Un dia més, una altra revista que proclama a so de trompeta la seva política d’IA. Aquesta vegada és Progress in Human Geography, els editors de la qual han publicat on adverteixen que fer servir la IA com a substitut de la lectura, el pensament i l’escriptura pròpies és «una infracció de l’ètica acadèmica equiparable al plagi». Els articles en què es detecti la infracció «podran ser retirats»; en el millor dels casos, es corregiran, amb un avís publicat a la revista. Els autors, afegeixen els editors, haurien de «sospesar amb cura si volen que el seu nom s’associï a retirades i avisos de correcció». Aquesta frase mereix que ens hi aturem. La retractació és la sanció màxima de l’edició acadèmica, la que normalment es reserva a la fabricació de dades i al frau. Aquí s’aplica a una falta que el mateix editorial no sap definir. Hi ha, reconeixen els editors, «autèntiques zones grises» i «cap línia clara que delimiti la zona d’“irresponsabilitat”». L’aplicació dependrà de «judicis que potser molestaran alguns autors, que al·legaran no haver fet cap ús indegut de la IA»: la declaració de cadascú, dit d’una altra manera, pot ser desautoritzada. El consell que segueix és mantenir-se «ben a resguard dins la zona de “responsabilitat”», i només s’aconsella resguard on hi ha perill. Sancionar la gent per haver creuat una línia que s’admet no saber traçar només té sentit si el que es vol és fer regnar la por. No ho perdem de vista. <h2 id="el-pretext-de-la-veu">El pretext de la veu</h2> Com és l’ús responsable? Als autors se’ls diu: «cal posar molta cura… a conservar la pròpia veu». L’ús indegut és recórrer a la IA «per escriure en una llengua que els autors mateixos no farien servir mai normalment». Per a un parlant nadiu, això té sentit: no fingeixis ser el que no ets. Però per als estrangers que han d’escriure en una llengua que no és la seva, la consigna es contradiu a si mateixa. La veu que la política protegeix és justament l’única cosa que les normes de la revista ens neguen. Prenem el meu cas com a prova. L’anglès és la meva quarta llengua, exactament la mena de llengua que jo no faria servir mai «normalment». Les universitats anglòfones em van ensenyar a escriure’l curt, senyalitzat, gairebé mecànic: la frase temàtica al davant, els matisos als llocs aprovats, les transicions tretes de la llista aprovada. L’entrenament va funcionar: en el meu anglès no hi ha hagut mai cap veu a protegir; va ser la primera cosa que va haver de desaparèixer. Segons la definició mateixa dels editors, tot el que he escrit en anglès seria un ús inadequat, amb màquina o sense. <h2 id="entre-lespasa-i-la-paret">Entre l’espasa i la paret</h2> Els editors diuen que han pensat en nosaltres: la política reconeix que els no nadius es beneficien que la IA els revisi l’anglès, i fins i tot dels seus «serveis de traducció, redacció i edició». Però la intervenció de la IA en l’escriptura «hauria de limitar-se, com a màxim, a l’assistència en l’edició i la correcció», i no pot arribar a «grans fragments de text escrits per IA». Un article traduït automàticament és text escrit per IA de la primera paraula a l’última; no és res més que aquests fragments. La concessió, doncs, només s’aguanta si traduir no és escriure. Per on passa aquesta línia? Ja ens ho han dit: «cap línia clara». Hi ha una cosa pitjor, perquè la sospita no només és infalsable: juga amb els daus carregats. El 2023, un equip de Stanford va posar a prova set detectors d’IA molt utilitzats amb assaigs escrits per humans: els detectors van marcar, de mitjana, el 61 % dels assaigs del TOEFL escrits per no nadius com a generats per màquina, mentre que classificaven gairebé a la perfecció els assaigs dels nadius; un detector va marcar el 97,8 % del conjunt del TOEFL ( ). La raó és instructiva. Els detectors mesuren la previsibilitat, i l’anglès com a segona llengua, entrenat cap a la mitjana, és previsible per disseny: la paraula més probable en l’ordre més probable. El mateix estudi va trobar el senyal en la recerca real, amb una variabilitat lingüística més baixa en les comunicacions de congrés amb un primer autor no nadiu. Els indicis estilístics que es llegeixen com a «IA» són els indicis d’un anglès competent com a segona llengua, i un judici humà llegeix els mateixos indicis que la màquina. L’espasa i la paret, doncs: si escric el meu propi anglès, semblo una màquina; si faig servir la màquina, infringeixo la seva norma. <h2 id="limpost-lingüístic">L’impost lingüístic</h2> La paradoxa seria benigna si no anés acompanyada d’amenaces. Però les amenaces revelen un problema més profund i més antic que la política no anomena mai: el monolingüisme. Les demanen «la cobertura internacional més àmplia possible» mentre que, a la mateixa pàgina, «la llengua de la revista és l’anglès». El cost d’aquest arranjament no és hipotètic. En una enquesta a 908 científics ambientals, Amano i els seus col·legues van trobar que els parlants no nadius d’anglès dediquen fins a un 51 % més de temps a escriure un article, veuen com els el rebutgen 2,5 vegades més sovint i els demanen revisar-lo 12,5 vegades més sovint, només per motius de llengua ( ). Aquest impost es cobra abans que arribi cap política d’IA; el formulari de declaració i les seves amenaces són una auditoria que s’hi afegeix al damunt. <h2 id="fin-dempire">Fin d’empire</h2> El monolingüisme és l’axioma que ningú no discuteix. És una herència imperial que amb el temps va adquirir una justificació pràctica: la traducció era lenta i cara, i cap consell editorial no podia avaluar el que no sabia llegir. Res d’això, però, no sobreviu als avenços de la traducció automàtica. La traducció automàtica d’última generació es pot fer servir com una capa fiable entre autors i editors. La sortida ideal és humana: els estudiosos haurien de llegir més d’una llengua. En comptes d’això, les universitats anglòfones prefereixen tancar les facultats de llengües modernes. Cal notar que els tancaments són un fenomen angloamericà: els estudiosos d’altres llocs no s’han pogut permetre mai el luxe del monolingüisme. I cal notar el moment. Tancar una facultat de llengües és fer una aposta: que l’anglès ha guanyat per sempre i que mai més no s’escriurà res que valgui la pena llegir en cap altra llengua. Aquesta aposta es fa precisament en el pitjor moment, i per partida doble. Primer, perquè la traducció automàtica està fent possible, per primera vegada, prescindir del tot d’una llengua franca; segon, perquè l’ordre que va fer de l’anglès la llengua per defecte està reculant: l’anglosfera es tanca en si mateixa, la globalització reflueix, el lliure comerç és qüestionat a les seves pròpies terres d’origen, i pren forma un món multipolar en què les llengües que val la pena llegir es multiplicaran. Les universitats produeixen estudiosos que només llegeixen anglès per a un món en què l’anglès no serà suficient. Els consells editorials seran els primers a heretar aquesta pèrdua. <h2 id="una-prova-per-als-editors">Una prova per als editors</h2> Quan un consell editorial es lamenta que no pot llegir la veu pròpia dels seus autors, potser una part del problema és al consell mateix. És una acusació seriosa, i va acompanyada d’una prova seriosa. Progress in Human Geography avaluaria un article escrit en francès, italià o japonès, acompanyat d’una versió anglesa traduïda automàticament? Les mateixes normes de la revista reconeixen els serveis «de traducció» que ho fan possible. Un sí acaba amb el problema. Un no ens diria què protegeix realment la política. Sigui com sigui, la decisió és dels editors. Si la veu importa, com afirmen, la revista hauria d’acceptar articles en les llengües en què pensen els autors. Si no importa, el formulari de declaració hauria de desaparèixer, i les amenaces amb ell. </article> <article> <h1>tei-mcp v0.3: codificar en TEI sense reescriure la font</h1> Tue, 05 May 2026 00:00:00 +0000 Quan , l’objectiu era evitar que els assistents d’IA al·lucinessin marcatge TEI. L’ancoratge a l’esquema en va resoldre una part: amb accés directe, mitjançant eines, a l’especificació P5, el model ja no ha d’endevinar què significa un element ni quins atributs accepta. El resultat valida. Però en la codificació TEI l’al·lucinació té dues cares, i l’esquema només n’atrapa una. Validar contra l’especificació et diu que el marcatge està ben format. No diu res del text que aquest marcatge embolcalla. I és allà – en el text mateix – on viuen les al·lucinacions més perjudicials. La composició per intervals blocats (span-locked composition), la novetat estrella de la v0.3, està dissenyada precisament per evitar-les. <details class="print:hidden xl:hidden" > <summary>Index</summary> <div class="text-sm"> <nav id="TableOfContents"> <ul> <li><a href="#lallucinació-que-lesquema-no-pot-atrapar">L’al·lucinació que l’esquema no pot atrapar</a></li> <li><a href="#la-composició-per-intervals-blocats">La composició per intervals blocats</a></li> <li><a href="#què-és-i-què-no-és">Què és, i què no és</a></li> <li><a href="#per-què-importa-més-enllà-de-la-tei">Per què importa més enllà de la TEI</a></li> <li><a href="#obtenir-lactualització">Obtenir l’actualització</a></li> </ul> </nav> </div> </details> <h2 id="lallucinació-que-lesquema-no-pot-atrapar">L’al·lucinació que l’esquema no pot atrapar</h2> Demana a un model que codifiqui una carta francesa del segle XVI i sovint et tornarà un document TEI d’aspecte impecable. La capçalera és plena, les etiquetes <code><persName></code> són al lloc correcte, el <code><dateline></code> està ben format. Passa’l per <code>validate_document</code> i el supera. Després compara el cos amb la font. <code>mesme</code> s’ha convertit en <code>même</code>. Una coma ha emigrat. <code>luy</code> s’ha modernitzat silenciosament en <code>lui</code>. Una frase difícil de llegir al manuscrit ha estat «corregida» cap a alguna cosa més neta. Cap d’aquests canvis no s’havia demanat. Cap no està assenyalat. El document és vàlid segons l’esquema i discretament erroni. En un flux de treball arxivístic – on el text codificat esdevé el registre permanent de què depenen els lectors, els índexs de cerca i les citacions – aquest és el mode de fallada que més importa. Una etiqueta mal formada és una molèstia. Una grafia modernitzada que ningú no detecta durant cinc anys és una corrupció. <h2 id="la-composició-per-intervals-blocats">La composició per intervals blocats</h2> La nova versió (v0.3) incorpora un mecanisme de prevenció d’al·lucinacions que apunta directament a aquest mode de fallada. L’objectiu de disseny és fer que les al·lucinacions en el cos del text siguin impossibles per construcció, no merament improbables. La idea és senzilla: el model no escriu mai el cos del text. En lloc d’això, el flux de treball és el següent: <ol> <li>El model crida <code>get_source("letter_001")</code> i rep el text pla de la font com una cadena immutable.</li> <li>Per a cada etiqueta que vol aplicar, crida <code>tag_span("letter_001", start, end, element_path, attrs)</code>, i registra així un element TEI sobre un interval de caràcters de la font.</li> <li>Quan ha acabat, crida <code>compose("letter_001")</code>. El servidor intercala les etiquetes registrades amb el text pla original, genera la TEI final i, tot seguit, verifica byte a byte que el contingut textual pla del document generat és igual a la font.</li> </ol> Si els bytes coincideixen, el document es retorna. Si no – si les etiquetes del model impliquen d’alguna manera un cos que difereix de la font encara que sigui en un sol caràcter –, <code>compose()</code> llança un error en lloc de retornar un document corromput. No hi ha cap camí en aquest flux de treball pel qual el model produeixi un document TEI amb un cos de text diferent de la font. L’invariant és mecànic, no conductual. No cal confiar que el model no al·lucini; cal confiar en una comprovació <code>==</code> entre dues cadenes de bytes. <h2 id="què-és-i-què-no-és">Què és, i què no és</h2> La composició per intervals blocats és complementària de l’ancoratge a l’esquema, no el substitueix. Les eines d’ancoratge a l’esquema (<code>validate_document</code>, <code>lookup_element</code>, <code>valid_children</code> i la resta de les setze originals) ajuden el model a produir una TEI vàlida. La composició per intervals blocats garanteix que el cos del text dins d’aquesta TEI és fidel a la font. Un flux de codificació apte per al desplegament ha de satisfer tots dos eixos, i ara un sol servidor els cobreix tots dos. Tampoc no és una vareta màgica que ho arregli tot. <code>compose()</code> encara no comprova que les etiquetes registrades siguin admissibles segons una personalització ODD carregada: això vindrà més endavant. Les etiquetes registrades viuen a la memòria del procés i no sobreviuen a un reinici. I els fitxers font han de ser llegibles des d’allà on s’executa el servidor. Tot això té solució; res d’això no soscava l’invariant central. <h2 id="per-què-importa-més-enllà-de-la-tei">Per què importa més enllà de la TEI</h2> El patró es generalitza. Sempre que es demana a un model que anoti, transformi o embolcalli un fragment de text – i sempre que la integritat del text subjacent importa més que la capacitat del model per «millorar-lo» – s’hi aplica la mateixa forma de solució. No demanis al model que torni a teclejar el text. Demana-li que produeixi instruccions sobre el text, i deixa que un compositor determinista les apliqui sota un invariant d’igualtat. Per a les edicions digitals en concret, això canvia el que es pot demanar responsablement a un model. La codificació esdevé de cop una tasca que es pot delegar sense haver de comparar manualment cada resultat amb la font. La màquina fa el camí avorrit; l’editor revisa el marcatge, no l’ortografia. <h2 id="obtenir-lactualització">Obtenir l’actualització</h2> Si ja tens tei-mcp instal·lat: <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash">uvx tei-mcp@latest </code></pre></div>O bé, des de zero: <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash">pip install tei-mcp </code></pre></div>Per fer servir la composició per intervals blocats, apunta el servidor a un directori de fitxers font en text pla: <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash">export TEI_MCP_SPAN_SOURCE_ROOT=/path/to/sources uvx tei-mcp </code></pre></div>El nom de cada fitxer, sense l’extensió, esdevé l’identificador del document (<code>letter_001.txt</code> → <code>letter_001</code>). Codi font, documentació completa i notes de disseny de l’invariant: </article> <article> <h1>Una edició digital d’una altra mena</h1> Tue, 24 Mar 2026 00:00:00 +0000 La majoria de fonts primàries no es publiquen mai. El model amb què confiem posar-hi remei, l’edició digital finançada amb subvencions, és massa car, massa centralitzat i massa fràgil per funcionar a gran escala. Acabo de publicar on explico per què construeixo l’edició crítica de les cartes de Cavriana d’una altra manera: fonts primàries digitalitzades que creixen orgànicament, amb una infraestructura mínima, un manteniment automatitzat, obertes a la col·laboració i tan barates que ni tan sols calen subvencions. És una defensa d’unes humanitats digitals que funcionen tant si hi ha suport institucional com si no. </article> <article> <h1>tei-mcp</h1> Sun, 15 Mar 2026 00:00:00 +0000 <h2 id="tei-mcp-la-tei-p5-per-als-agents-dia">tei-mcp: la TEI P5 per als agents d’IA</h2> tei-mcp és un servidor de codi obert que dona als assistents de programació amb IA accés directe a l’especificació . En lloc de refiar-se del que recorda de l’entrenament – cosa que sovint produeix un marcatge plausible però incorrecte –, la IA pot consultar l’especificació en temps real. <h2 id="funcions">Funcions</h2> El servidor analitza l’ODD de la TEI P5 i exposa 16 eines: <ul> <li>Consultar qualsevol element, classe, macro o mòdul pel nom, sense distingir majúscules i amb suggeriments en cas d’errata</li> <li>Resoldre atributs al llarg de tota la jerarquia de classes de la TEI (locals i heretats)</li> <li>Expandir models de contingut en arbres estructurats, amb resolució de classes i macros</li> <li>Validar la imbricació – relació directa pare-fill o accessibilitat recursiva, amb seguiment del camí</li> <li>Validar documents segons la TEI P5: models de contingut, atributs, llistes de valors tancades, integritat de les referències i avisos d’obsolescència</li> <li>Validar elements individuals per a fluxos d’edició incremental</li> <li>Carregar personalitzacions ODD per restringir l’esquema al subconjunt propi d’un projecte</li> <li>Cercar en tots els tipus d’entitat amb expressions regulars</li> </ul> <h2 id="installació">Instal·lació</h2> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash">pip install tei-mcp </code></pre></div>O bé executar-lo directament amb: <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash">uvx tei-mcp </code></pre></div><h2 id="ús">Ús</h2> Afegeix-lo a qualsevol client compatible amb MCP (Claude, Cursor, Windsurf, etc.): <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-json" data-lang="json">{ "mcpServers": { "tei": { "command": "uvx", "args": ["tei-mcp"] } } } </code></pre></div>El codi font i la documentació són al . </article> <article> <h1>tei-mcp: la TEI P5 per als agents d’IA</h1> Sun, 15 Mar 2026 00:00:00 +0000 Qui hagi fet servir un assistent de programació amb IA per escriure XML TEI probablement s’haurà adonat que s’equivoca. Apareixen elements on no toca. S’inventen atributs. Les regles d’imbricació s’ignoren. El model té una idea aproximada de quin aspecte té la TEI, però cap coneixement fiable de l’especificació. tei-mcp ho resol donant als agents d’IA un accés directe, mitjançant eines, a les directrius de la TEI P5. <details class="print:hidden xl:hidden" > <summary>Index</summary> <div class="text-sm"> <nav id="TableOfContents"> <ul> <li><a href="#què-és-mcp">Què és MCP?</a></li> <li><a href="#què-fa-tei-mcp">Què fa tei-mcp</a></li> <li><a href="#per-què-importa">Per què importa</a></li> <li><a href="#per-començar">Per començar</a></li> </ul> </nav> </div> </details> <h2 id="què-és-mcp">Què és MCP?</h2> El (MCP) és un estàndard obert que permet a les aplicacions d’IA connectar-se a fonts de dades i eines externes. Pensa-hi com en un port USB per a la IA: un únic protocol amb què qualsevol client compatible – Claude, Cursor, Windsurf i d’altres – pot endollar-se a serveis especialitzats. Un servidor MCP exposa eines que la IA pot invocar durant una conversa. En lloc de refiar-se de les dades d’entrenament memoritzades, el model pot consultar una font viva i autoritzada. <h2 id="què-fa-tei-mcp">Què fa tei-mcp</h2> tei-mcp analitza l’especificació ODD de la TEI P5 i exposa 16 eines que cobreixen les preguntes més habituals que es faria un editor o un codificador: <ul> <li>Què és aquest element? Consulta qualsevol element, classe, macro o mòdul pel nom, sense distingir majúscules i amb suggeriments en cas d’errata.</li> <li>Quins atributs admet? Resol els atributs al llarg de tota la jerarquia de classes: primer els locals, després els heretats, per ordre.</li> <li>Què hi pot anar a dins? Expandeix els models de contingut en arbres estructurats, o obtén una llista plana de fills vàlids.</li> <li>Aquest element pot anar aquí? Comprova la imbricació pare-fill, o traça l’accessibilitat a través de tota la jerarquia d’elements.</li> <li>El meu document és vàlid? Valida un fitxer XML TEI segons l’especificació: models de contingut, valors d’atribut, llistes de valors tancades, integritat de les referències i avisos d’obsolescència.</li> <li>I l’esquema del meu projecte? Carrega un fitxer de personalització ODD per restringir tot l’anterior al subconjunt específic de la TEI que fa servir el teu projecte.</li> </ul> <h2 id="per-què-importa">Per què importa</h2> Codificar en TEI exigeix consultar constantment les directrius. Els codificadors experimentats interioritzen els patrons més comuns, però fins i tot ells han de comprovar l’especificació quan es tracta d’elements menys familiars o de models de contingut complexos. Per als assistents d’IA, que no tenen cap coneixement interioritzat d’aquesta mena, el problema és pitjor: al·lucinen un marcatge d’aparença plausible però incorrecte. Amb tei-mcp, la IA no ha d’endevinar res. Pot buscar la resposta a l’especificació abans d’escriure ni un sol parèntesi angular. El resultat és un marcatge conforme a la TEI P5, o a la personalització ODD del teu projecte. <h2 id="per-començar">Per començar</h2> Instal·la’l des de PyPI: <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash">pip install tei-mcp </code></pre></div>Després, afegeix-lo a la configuració del teu client MCP: <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-json" data-lang="json">{ "mcpServers": { "tei": { "command": "uvx", "args": ["tei-mcp"] } } } </code></pre></div>El servidor descarrega l’especificació de la TEI la primera vegada que s’executa i funciona amb qualsevol client compatible amb MCP. Codi font i documentació completa: </article> <article> <h1>Multi-Saxon</h1> Fri, 28 Mar 2025 00:00:00 +0000 <h2 id="multi-saxon-processament-xslt-en-parallel-per-a-grans-corpus-tei">Multi-Saxon: processament XSLT en paral·lel per a grans corpus TEI</h2> Multi-Saxon cobreix un buit important en les eines de processament XML: permet executar en paral·lel transformacions XSLT 2.0 i 3.0 que LXML (una biblioteca XML molt popular en Python) no pot gestionar. Dissenyat expressament per a grans col·leccions de documents XML TEI, Multi-Saxon accelera notablement el processament gràcies a una execució paral·lela eficient. <h2 id="característiques-principals">Característiques principals</h2> <ul> <li>Suport XSLT avançat: processa transformacions XSLT 2.0 i 3.0 fora de l’abast de LXML</li> <li>Processament en paral·lel: redueix dràsticament el temps de transformació de grans col·leccions de documents gràcies a la paral·lelització</li> <li>Optimitzat per a TEI: dissenyat específicament per a documents XML de la Text Encoding Initiative (TEI)</li> <li>Rendiment escalable: gestiona amb eficiència corpus de centenars a milers de documents</li> <li>Multiplataforma: funciona en sistemes operatius i entorns diversos</li> </ul> <h2 id="el-problema-que-resol-multi-saxon">El problema que resol Multi-Saxon</h2> Els investigadors en humanitats digitals que treballen amb TEI topen sovint amb dos obstacles importants: <ol> <li>LXML (una biblioteca habitual de processament XML en Python) només admet XSLT 1.0, cosa que impedeix fer servir les funcions més avançades d’XSLT 2.0/3.0</li> <li>Processar seqüencialment grans corpus de documents TEI pot ser prohibitivament lent</li> </ol> Multi-Saxon resol tots dos problemes aprofitant les capacitats XSLT avançades de Saxon i repartint el processament entre diversos nuclis, amb guanys de rendiment considerables. <h2 id="implementació">Implementació</h2> Multi-Saxon combina Python amb el processador Saxon de Java per crear un flux de transformació d’alt rendiment: <ul> <li>Fa servir la biblioteca Saxon de Java per a un processament robust d’XSLT 2.0/3.0</li> <li>Implementa el multiprocessament per distribuir les transformacions entre els nuclis de CPU disponibles</li> <li>Gestiona eficientment els grups de processos per maximitzar el rendiment</li> <li>Ofereix una interfície senzilla per processar documents TEI per lots</li> </ul> <h2 id="exemple-dús">Exemple d’ús</h2> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python">from multi_saxon import MultiSaxon # Initialize with your XSLT stylesheet transformer = MultiSaxon("transform.xsl") # Transform a single document transformer.transform("input.xml", "output.xml") # Transform an entire directory in parallel transformer.transform_directory("input_dir", "output_dir") </code></pre></div><h2 id="impacte-per-a-les-humanitats-digitals">Impacte per a les humanitats digitals</h2> Per als projectes d’humanitats digitals que treballen amb grans col·leccions de documents TEI, Multi-Saxon fa possible: <ul> <li>Transformacions complexes a escala de tot el corpus que serien impossibles amb LXML</li> <li>Temps de processament dràsticament reduïts (sovint entre 5 i 10 vegades més ràpid en sistemes multinucli)</li> <li>Anàlisis més sofisticades gràcies a les funcions avançades d’XSLT 2.0/3.0</li> <li>Un flux de treball més senzill per processar col·leccions senceres de documents</li> </ul> El codi font i la documentació són al . </article> <article> <h1>persNamer</h1> Fri, 28 Mar 2025 00:00:00 +0000 <h2 id="persnamer-connectar-la-tei-amb-el-virtual-international-authority-file">persNamer: connectar la TEI amb el Virtual International Authority File</h2> persNamer és una eina especialitzada en Python que facilita la integració en documents TEI XML de dades d’autoritat sobre persones procedents del VIAF (Virtual International Authority File). En convertir els identificadors VIAF en marcatge TEI a punt per fer servir, persNamer redueix notablement la feina manual que comporta crear entrades de persona estructurades per a les edicions acadèmiques digitals. <h2 id="el-repte-del-control-dautoritats-en-tei">El repte del control d’autoritats en TEI</h2> Les edicions acadèmiques digitals sovint exigeixen identificar amb precisió els personatges històrics, incloent-hi els seus noms normalitzats i les dates de naixement i mort. Mantenir un control d’autoritats coherent en tot un projecte requereix: <ol> <li>Identificar les persones en els textos històrics</li> <li>Trobar-ne dades d’autoritat</li> <li>Crear entrades TEI correctament formatades</li> <li>Garantir referències coherents al llarg de tot el projecte</li> </ol> Aquests passos solen ser manuals, lents i propensos a la incoherència. <h2 id="com-funciona-persnamer">Com funciona persNamer</h2> persNamer automatitza aquest flux de treball: <ol> <li>Obté les dades del VIAF: a partir d’un identificador VIAF, l’eina recupera les dades RDF mitjançant negociació de contingut HTTP</li> <li>N’extreu la informació clau: analitza l’RDF per extreure’n el nom preferit, la data de naixement i la data de mort</li> <li>Genera el marcatge TEI: crea dos fragments XML essencials: <ul> <li>Una entrada de fitxer d’autoritats (element <code><person></code> amb un <code>xml:id</code> generat, <code><persName></code>, <code><birth></code>, <code><death></code> i <code><idno type="VIAF"></code>)</li> <li>Una etiqueta d’anotació a part (<code><persName></code> amb un atribut <code>ref</code> que apunta a l’entrada d’autoritat)</li> </ul> </li> </ol> Aquesta doble sortida permet als editors mantenir un fitxer d’autoritats centralitzat i, alhora, inserir fàcilment etiquetes d’anotació en els seus textos TEI. <h2 id="característiques-principals">Característiques principals</h2> <ul> <li>Generació d’identificadors normalitzats: crea identificadors XML coherents amb el format <code>pers-[familyname]-[givenname initial]</code> (p. ex., <code>pers-deteligny-c</code>)</li> <li>Anàlisi d’RDF: fa servir <code>rdflib</code> per extreure informació de diverses propietats RDF (p. ex., <code>rdfs:label</code>, <code>schema:name</code>, <code>viaf:mainHead</code>)</li> <li>Interfície de línia d’ordres: s’executa amb un número VIAF com a únic argument obligatori</li> <li>Sortida detallada: proporciona informació detallada del processament juntament amb l’XML final</li> </ul> <h2 id="exemple-dús">Exemple d’ús</h2> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash">python persNamer.py 314802260 </code></pre></div>Aquesta ordre produeix: <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-xml" data-lang="xml"><person xml:id="pers-deteligny-c"> <persName>Charles deTéligny</persName> <birth>1535</birth> <death>1572-08-24</death> <idno type="VIAF">314802260</idno> </person> <persName ref="#pers-deteligny-c">Charles deTéligny</persName> </code></pre></div><h2 id="aplicacions-en-humanitats-digitals">Aplicacions en humanitats digitals</h2> persNamer és especialment útil per a: <ul> <li>Edicions acadèmiques digitals que requereixen control d’autoritats</li> <li>Projectes de codificació TEI que treballen amb personatges històrics</li> <li>Iniciatives de dades enllaçades que connecten documents amb registres d’autoritat</li> <li>Garantir la coherència en grans corpus TEI</li> <li>Ensenyar els conceptes del control d’autoritats en cursos d’humanitats digitals</li> </ul> <h2 id="implementació">Implementació</h2> persNamer està escrit en Python i depèn de: <ul> <li><code>requests</code> per a les peticions HTTP</li> <li><code>rdflib</code> per a l’anàlisi d’RDF</li> <li><code>lxml</code> per a la gestió de l’XML</li> </ul> El codi font i la documentació són al . </article> <article> <h1>Emulador de telègraf ITA2</h1> Thu, 13 Feb 2025 00:00:00 +0000 Aquest emulador de l’ITA2 és una eina docent pràctica: fa visibles i interactius uns conceptes de codificació que d’entrada són abstractes. Quan els estudiants escriuen un text i el veuen convertir-se a l’instant en patrons de forats, aprenen alhora diversos conceptes clau de la informàtica i de les telecomunicacions. <h2 id="beneficis-pedagògics">Beneficis pedagògics</h2> En primer lloc, mostra la representació binària, és a dir, com un text es converteix en seqüències d’uns i de zeros. Sovint ho ensenyem de manera abstracta; veure aparèixer els forats de debò ajuda els estudiants a entendre com un sistema físic pot representar informació digital. <div class="baudot-emulator"> <h2>ITA2 (Baudot-Murray) Telegraph Type Emulator</h2> Type a word in the input below to see its representation on the ITA2 tape. <div class="baudot-controls"> <label for="baudot-input">Type word:</label> <input id="baudot-input" class="text-input" size="50" maxlength="50" /> <button type="button" id="baudot-ltr-button" class="control-button active">LTR</button> <button type="button" id="baudot-fig-button" class="control-button">FIG</button> </div> <div class="tape-outer-container"> <div class="tape-container"> <table> <tbody id="baudot-tape"></tbody> </table> </div> </div> <style> .baudot-emulator { --light-color: #f3f4f6; --dark-color: #1f2937; --light-alt-color: #e5e7eb; --dark-alt-color: #374151; font-family: -apple-system, BlinkMacSystemFont, 'Segoe UI', Roboto, Oxygen-Sans, Ubuntu, Cantarell, 'Helvetica Neue', sans-serif; max-width: 100%; margin: 2rem 0; padding: 0; box-sizing: border-box; } .baudot-emulator { --tape-bg: var(--light-color); --hole-bg: var(--light-color); --hole-border: #d1d5db; --punched-bg: var(--dark-color); --punched-border: var(--dark-color); --sprocket-bg: var(--light-color); --sprocket-border: #9ca3af; --button-bg: var(--light-color); --button-bg-active: #d1d5db; --button-text: var(--dark-color); --button-border: #d1d5db; --input-bg: white; --input-border: #d1d5db; --input-text: var(--dark-color); --line-number: #6b7280; } html.dark .baudot-emulator, html[data-theme='dark'] .baudot-emulator, body.dark .baudot-emulator { --tape-bg: var(--dark-alt-color); --hole-bg: var(--dark-alt-color); --hole-border: #4b5563; --punched-bg: var(--light-color); --punched-border: var(--light-color); --sprocket-bg: var(--dark-alt-color); --sprocket-border: #9ca3af; --button-bg: var(--dark-alt-color); --button-bg-active: #4b5563; --button-text: var(--light-color); --button-border: #4b5563; --input-bg: var(--dark-alt-color); --input-border: #4b5563; --input-text: var(--light-color); --line-number: #9ca3af; } .baudot-controls { margin-bottom: 1.5rem; display: flex; flex-wrap: wrap; align-items: center; gap: 0.5rem; } .baudot-emulator .text-input { flex: 1; min-width: 200px; padding: 0.5rem; font-size: 1rem; border: 1px solid var(--input-border); border-radius: 4px; background: var(--input-bg); color: var(--input-text); } .baudot-emulator .control-button { padding: 0.5rem 1rem; background: var(--button-bg); color: var(--button-text); border: 1px solid var(--button-border); border-radius: 4px; cursor: pointer; font-size: 0.9rem; } .baudot-emulator .control-button.active { background: var(--button-bg-active); font-weight: bold; } .tape-outer-container { padding: 0; margin-bottom: 1.5rem; border-radius: 4px; overflow: hidden; } .tape-container { width: 100%; overflow-x: auto; background: var(--tape-bg); padding: 1rem 0.5rem; } .baudot-emulator table { border-collapse: collapse; width: 100%; table-layout: fixed; border: none; } .baudot-emulator tr { height: 24px; border: none; } .baudot-emulator td { border: none; padding: 0; } .baudot-emulator .line-number { width: 20px; text-align: center; color: var(--line-number); font-size: 0.8rem; padding: 0 8px 0 0; font-weight: bold; } .baudot-emulator .cell { position: relative; width: 20px; height: 20px; } .baudot-emulator .cell-content { position: absolute; top: 50%; left: 50%; transform: translate(-50%, -50%); width: 12px; height: 12px; border-radius: 50%; background: var(--hole-bg); border: 1px solid var(--hole-border); } .baudot-emulator .punched .cell-content { background: var(--punched-bg); border: 1px solid var(--punched-border); } .baudot-emulator .sprocket-hole { position: absolute; left: 50%; top: 100%; transform: translate(-50%, -50%); width: 4px; height: 4px; border-radius: 50%; background: var(--sprocket-bg); border: 1px solid var(--sprocket-border); z-index: 2; } </style> <script> document.addEventListener('DOMContentLoaded', function() { initBaudotEmulator(); }); function initBaudotEmulator() { if (!document.getElementById('baudot-input')) return; const textInput = document.getElementById('baudot-input'); const tape = document.getElementById('baudot-tape'); const ltrButton = document.getElementById('baudot-ltr-button'); const figButton = document.getElementById('baudot-fig-button'); const ita2Code = { 'A': '00011', 'B': '11001', 'C': '01110', 'D': '01001', 'E': '00001', 'F': '01101', 'G': '11010', 'H': '10100', 'I': '00110', 'J': '01011', 'K': '01111', 'L': '10010', 'M': '11100', 'N': '01100', 'O': '11000', 'P': '10110', 'Q': '10111', 'R': '01010', 'S': '00101', 'T': '10000', 'U': '00111', 'V': '11110', 'W': '10011', 'X': '11101', 'Y': '10101', 'Z': '10001', '1': '00011', '2': '11001', '3': '01110', '4': '01001', '5': '00001', '6': '01101', '7': '11010', '8': '10100', '9': '01011', '0': '11000', '-': '00011', '?': '00100', ':': '01010', '(': '11000', ')': '11101', '.': '01000', ',': '00010', "'": '10001', '=': '01111', '/': '10011', '+': '11011', ' ': '00100', 'FIG': '11011', 'LTR': '11111', }; function generateTape() { let rows = ''; for (let row = 0; row < 5; row++) { rows += '<tr>'; rows += `<td class="line-number">${row + 1}</td>`; for (let col = 0; col < 50; col++) { rows += `<td id="baudot_${row}_${col}" class="cell unpunched"> <div class="cell-content"></div> ${row === 2 ? '<div class="sprocket-hole"></div>' : ''} </td>`; } rows += '</tr>'; } tape.innerHTML = rows; } function updateITA2Code(word) { clearTape(); word = word.toUpperCase(); let tapePosition = 0; let currentCharType = 'LTR'; ltrButton.classList.add('active'); figButton.classList.remove('active'); for (let i = 0; i < word.length; i++) { const char = word[i]; let code = ita2Code[char] || ita2Code[' ']; let requiredCharType = /[A-Z ]/.test(char) ? 'LTR' : 'FIG'; if (requiredCharType !== currentCharType) { const shiftCode = requiredCharType === 'LTR' ? ita2Code['LTR'] : ita2Code['FIG']; punchTape(shiftCode, tapePosition++); currentCharType = requiredCharType; ltrButton.classList.toggle('active', currentCharType === 'LTR'); figButton.classList.toggle('active', currentCharType === 'FIG'); } punchTape(code, tapePosition++); } } function punchTape(code, tapePosition) { if (tapePosition >= 50) return; for (let bit = 0; bit < 5; bit++) { const cell = document.getElementById(`baudot_${bit}_${tapePosition}`); if (cell) { cell.className = code[bit] === '1' ? 'cell punched' : 'cell unpunched'; } } } function clearTape() { for (let i = 0; i < 50; i++) { for (let bit = 0; bit < 5; bit++) { const cell = document.getElementById(`baudot_${bit}_${i}`); if (cell) { cell.className = 'cell unpunched'; } } } } generateTape(); textInput.addEventListener('input', function() { updateITA2Code(this.value); }); ltrButton.addEventListener('click', function() { this.classList.add('active'); figButton.classList.remove('active'); if (textInput.value) { updateITA2Code(textInput.value); } }); figButton.addEventListener('click', function() { this.classList.add('active'); ltrButton.classList.remove('active'); if (textInput.value) { updateITA2Code(textInput.value); } }); if (textInput.value) { updateITA2Code(textInput.value); } } </script> </div> El mecanisme de canvi LLETRES/XIFRES introdueix les màquines d’estats de manera natural. Tot experimentant, els estudiants descobreixen que un mateix patró pot representar caràcters diferents segons el mode actiu. Aquesta experiència directa amb la codificació basada en estats els prepara per a conceptes informàtics més complexos. <h2 id="detalls-dimplementació">Detalls d’implementació</h2> L’emulador està escrit en JavaScript i HTML/CSS, de manera que es pot incrustar fàcilment en qualsevol pàgina web. El codi és modular i es pot adaptar a contextos educatius diversos. Pots consultar el codi font i provar l’emulador tu mateix al . </article> <article> <h1>Ensenyar el sistema binari amb l’emulador de telègraf ITA2</h1> Thu, 13 Feb 2025 00:00:00 +0000 <h2 id="fer-tangibles-els-conceptes-abstractes">Fer tangibles els conceptes abstractes</h2> Aquest emulador de l’ITA2 és una eina docent pràctica. En fer visibles i interactius uns conceptes de codificació que d’entrada són abstractes, introdueix els estudiants a una noció clau de la informàtica i de les telecomunicacions: la representació binària, és a dir, com un text es converteix en seqüències d’uns i de zeros. Sovint ho ensenyem de manera abstracta; veure aparèixer els forats de debò ajuda els estudiants a entendre com un sistema físic pot representar informació digital. <div class="baudot-emulator"> <h2>ITA2 (Baudot-Murray) Telegraph Type Emulator</h2> Type a word in the input below to see its representation on the ITA2 tape. <div class="baudot-controls"> <label for="baudot-input">Type word:</label> <input id="baudot-input" class="text-input" size="50" maxlength="50" /> <button type="button" id="baudot-ltr-button" class="control-button active">LTR</button> <button type="button" id="baudot-fig-button" class="control-button">FIG</button> </div> <div class="tape-outer-container"> <div class="tape-container"> <table> <tbody id="baudot-tape"></tbody> </table> </div> </div> <style> .baudot-emulator { --light-color: #f3f4f6; --dark-color: #1f2937; --light-alt-color: #e5e7eb; --dark-alt-color: #374151; font-family: -apple-system, BlinkMacSystemFont, 'Segoe UI', Roboto, Oxygen-Sans, Ubuntu, Cantarell, 'Helvetica Neue', sans-serif; max-width: 100%; margin: 2rem 0; padding: 0; box-sizing: border-box; } .baudot-emulator { --tape-bg: var(--light-color); --hole-bg: var(--light-color); --hole-border: #d1d5db; --punched-bg: var(--dark-color); --punched-border: var(--dark-color); --sprocket-bg: var(--light-color); --sprocket-border: #9ca3af; --button-bg: var(--light-color); --button-bg-active: #d1d5db; --button-text: var(--dark-color); --button-border: #d1d5db; --input-bg: white; --input-border: #d1d5db; --input-text: var(--dark-color); --line-number: #6b7280; } html.dark .baudot-emulator, html[data-theme='dark'] .baudot-emulator, body.dark .baudot-emulator { --tape-bg: var(--dark-alt-color); --hole-bg: var(--dark-alt-color); --hole-border: #4b5563; --punched-bg: var(--light-color); --punched-border: var(--light-color); --sprocket-bg: var(--dark-alt-color); --sprocket-border: #9ca3af; --button-bg: var(--dark-alt-color); --button-bg-active: #4b5563; --button-text: var(--light-color); --button-border: #4b5563; --input-bg: var(--dark-alt-color); --input-border: #4b5563; --input-text: var(--light-color); --line-number: #9ca3af; } .baudot-controls { margin-bottom: 1.5rem; display: flex; flex-wrap: wrap; align-items: center; gap: 0.5rem; } .baudot-emulator .text-input { flex: 1; min-width: 200px; padding: 0.5rem; font-size: 1rem; border: 1px solid var(--input-border); border-radius: 4px; background: var(--input-bg); color: var(--input-text); } .baudot-emulator .control-button { padding: 0.5rem 1rem; background: var(--button-bg); color: var(--button-text); border: 1px solid var(--button-border); border-radius: 4px; cursor: pointer; font-size: 0.9rem; } .baudot-emulator .control-button.active { background: var(--button-bg-active); font-weight: bold; } .tape-outer-container { padding: 0; margin-bottom: 1.5rem; border-radius: 4px; overflow: hidden; } .tape-container { width: 100%; overflow-x: auto; background: var(--tape-bg); padding: 1rem 0.5rem; } .baudot-emulator table { border-collapse: collapse; width: 100%; table-layout: fixed; border: none; } .baudot-emulator tr { height: 24px; border: none; } .baudot-emulator td { border: none; padding: 0; } .baudot-emulator .line-number { width: 20px; text-align: center; color: var(--line-number); font-size: 0.8rem; padding: 0 8px 0 0; font-weight: bold; } .baudot-emulator .cell { position: relative; width: 20px; height: 20px; } .baudot-emulator .cell-content { position: absolute; top: 50%; left: 50%; transform: translate(-50%, -50%); width: 12px; height: 12px; border-radius: 50%; background: var(--hole-bg); border: 1px solid var(--hole-border); } .baudot-emulator .punched .cell-content { background: var(--punched-bg); border: 1px solid var(--punched-border); } .baudot-emulator .sprocket-hole { position: absolute; left: 50%; top: 100%; transform: translate(-50%, -50%); width: 4px; height: 4px; border-radius: 50%; background: var(--sprocket-bg); border: 1px solid var(--sprocket-border); z-index: 2; } </style> <script> document.addEventListener('DOMContentLoaded', function() { initBaudotEmulator(); }); function initBaudotEmulator() { if (!document.getElementById('baudot-input')) return; const textInput = document.getElementById('baudot-input'); const tape = document.getElementById('baudot-tape'); const ltrButton = document.getElementById('baudot-ltr-button'); const figButton = document.getElementById('baudot-fig-button'); const ita2Code = { 'A': '00011', 'B': '11001', 'C': '01110', 'D': '01001', 'E': '00001', 'F': '01101', 'G': '11010', 'H': '10100', 'I': '00110', 'J': '01011', 'K': '01111', 'L': '10010', 'M': '11100', 'N': '01100', 'O': '11000', 'P': '10110', 'Q': '10111', 'R': '01010', 'S': '00101', 'T': '10000', 'U': '00111', 'V': '11110', 'W': '10011', 'X': '11101', 'Y': '10101', 'Z': '10001', '1': '00011', '2': '11001', '3': '01110', '4': '01001', '5': '00001', '6': '01101', '7': '11010', '8': '10100', '9': '01011', '0': '11000', '-': '00011', '?': '00100', ':': '01010', '(': '11000', ')': '11101', '.': '01000', ',': '00010', "'": '10001', '=': '01111', '/': '10011', '+': '11011', ' ': '00100', 'FIG': '11011', 'LTR': '11111', }; function generateTape() { let rows = ''; for (let row = 0; row < 5; row++) { rows += '<tr>'; rows += `<td class="line-number">${row + 1}</td>`; for (let col = 0; col < 50; col++) { rows += `<td id="baudot_${row}_${col}" class="cell unpunched"> <div class="cell-content"></div> ${row === 2 ? '<div class="sprocket-hole"></div>' : ''} </td>`; } rows += '</tr>'; } tape.innerHTML = rows; } function updateITA2Code(word) { clearTape(); word = word.toUpperCase(); let tapePosition = 0; let currentCharType = 'LTR'; ltrButton.classList.add('active'); figButton.classList.remove('active'); for (let i = 0; i < word.length; i++) { const char = word[i]; let code = ita2Code[char] || ita2Code[' ']; let requiredCharType = /[A-Z ]/.test(char) ? 'LTR' : 'FIG'; if (requiredCharType !== currentCharType) { const shiftCode = requiredCharType === 'LTR' ? ita2Code['LTR'] : ita2Code['FIG']; punchTape(shiftCode, tapePosition++); currentCharType = requiredCharType; ltrButton.classList.toggle('active', currentCharType === 'LTR'); figButton.classList.toggle('active', currentCharType === 'FIG'); } punchTape(code, tapePosition++); } } function punchTape(code, tapePosition) { if (tapePosition >= 50) return; for (let bit = 0; bit < 5; bit++) { const cell = document.getElementById(`baudot_${bit}_${tapePosition}`); if (cell) { cell.className = code[bit] === '1' ? 'cell punched' : 'cell unpunched'; } } } function clearTape() { for (let i = 0; i < 50; i++) { for (let bit = 0; bit < 5; bit++) { const cell = document.getElementById(`baudot_${bit}_${i}`); if (cell) { cell.className = 'cell unpunched'; } } } } generateTape(); textInput.addEventListener('input', function() { updateITA2Code(this.value); }); ltrButton.addEventListener('click', function() { this.classList.add('active'); figButton.classList.remove('active'); if (textInput.value) { updateITA2Code(textInput.value); } }); figButton.addEventListener('click', function() { this.classList.add('active'); ltrButton.classList.remove('active'); if (textInput.value) { updateITA2Code(textInput.value); } }); if (textInput.value) { updateITA2Code(textInput.value); } } </script> </div> <h2 id="context-històric-del-telègraf-a-la-informàtica">Context històric: del telègraf a la informàtica</h2> El codi ITA2 (Alfabet Telegràfic Internacional núm. 2), conegut també com a codi Baudot-Murray, es va desenvolupar als anys vint del segle XX com un refinament del codi telegràfic original que Émile Baudot havia ideat als anys setanta del segle XIX. Aquests primers sistemes de telecomunicació van influir directament en l’evolució posterior de la informàtica: <ul> <li>L’esquema de codificació de 5 bits va ser un dels primers exemples de codificació de caràcters</li> <li>Les limitacions del joc de caràcters (només 32 combinacions possibles amb 5 bits) van donar lloc a l’enginyós mecanisme de canvi LLETRES/XIFRES</li> <li>El sistema es va fer servir en els teletips fins ben entrat el segle XX</li> </ul> <h2 id="aprendre-les-màquines-destats-jugant">Aprendre les màquines d’estats jugant</h2> El mecanisme de canvi LLETRES/XIFRES introdueix les màquines d’estats de manera natural. Tot experimentant, els estudiants descobreixen que un mateix patró pot representar caràcters diferents segons el mode actiu. Aquesta experiència directa amb la codificació basada en estats els prepara per a conceptes informàtics més complexos. Per exemple, el patró de bits <code>00011</code> representa: <ul> <li>La lletra «A» en mode LLETRES</li> <li>El número «1» en mode XIFRES Aquesta doble interpretació segons l’estat és un principi fonamental de com els ordinadors treballen amb les dades.</li> </ul> <h2 id="activitats-per-a-laula">Activitats per a l’aula</h2> Algunes maneres d’incorporar l’emulador de l’ITA2 a la docència: <ol> <li>Repte de desxifratge: fer que els estudiants descodifiquin missatges codificats en patrons ITA2</li> <li>Codificació eficient: discutir per què el mecanisme de canvi era important per estalviar amplada de banda</li> <li>Evolució de la codificació: comparar el codi de 5 bits de l’ITA2 amb l’ASCII (7 bits) i amb Unicode</li> <li>Informàtica física: relacionar aquest sistema històric amb microcontroladors moderns com Arduino</li> </ol> <h2 id="avantatges-per-a-laccessibilitat">Avantatges per a l’accessibilitat</h2> Més enllà de l’interès històric, aquest enfocament ajuda estudiants amb estils d’aprenentatge diferents: <ul> <li>Els aprenents visuals veuen els patrons</li> <li>Els aprenents cinestèsics interactuen directament amb el procés de codificació</li> <li>Els pensadors conceptuals poden explorar els aspectes matemàtics de la teoria de la informació</li> </ul> <h2 id="detalls-dimplementació">Detalls d’implementació</h2> L’emulador està escrit en JavaScript i s’integra fàcilment en qualsevol plataforma d’aprenentatge en línia. El codi és modular i es pot adaptar a contextos docents diversos. Pots consultar el codi font i provar l’emulador tu mateix a: </article> <article> <h1>Una geografia perceptiva del Levante</h1> Sat, 29 Oct 2022 10:02:52 -0500 <h1 id="introducció">Introducció</h1> El Levante és un lloc esquiu. Definit habitualment en relació amb – o per oposició a – un altre territori, el seu significat poques vegades ha estat estable, i ha evocat geografies diferents segons el lloc i el moment en què es feia servir el terme. Ara bé, si costa articular-ne una definició objectiva i precisa, sempre es pot aspirar a dibuixar un mapa subjectiu d’aquesta regió, prenent com a base les correlacions que existeixen dins d’un corpus de textos determinat. Dit d’una altra manera: quin espai podia evocar el Levante a un grup concret de lectors? En aquesta entrada mostraré com fer servir les dades de la del Medici Archive Project per visualitzar els llocs concrets amb què s’associava el topònim. <h1 id="la-base-de-dades-mia">La base de dades MIA</h1> La base de dades MIA és una plataforma col·laborativa per als estudiosos que volen pujar-hi i compartir les seves pròpies fotografies de material d’arxiu de l’ . Durant l’últim any, i sota el patrocini del , el nostre equip ha fotografiat, transcrit, resumit i classificat milers de documents conservats a la secció d’avvisi de l’arxiu Mediceo del Principato de Florència. Tot i que la nostra base de dades no es va pensar en primer lloc per a l’anàlisi estadística, les metadades que hem posat a disposició es poden descarregar i fer servir com a conjunts de dades. <h1 id="el-conjunt-de-dades">El conjunt de dades</h1> En aquest cas, el conjunt de dades que he creat cobreix totes les notícies del Levante de 1543 a 1566, és a dir, des del primer avviso registrat als arxius fins a l’any de la mort del sultà . Heus aquí una mostra de les dades que he extret del servidor. Amb tres columnes, les dades consisteixen en un número de document únic, un nom de lloc i una data. <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-csv" data-lang="csv">57386 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3 57386 Modon / Messinias, Nomos / Peloponnisos / Ellas 1565-1-3 57386 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3 57386 Evvoia / Evvoias, Nomos / Sterea Ellas-Evvoia / Ellas 1565-1-3 57386 Venetian Republic / Italia / Europe / World 1565-1-3 57386 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3 57386 Black Sea / Asia / World / Top of the TGN hierarchy 1565-1-3 57389 Otranto / Lecce / Puglia / Italia 1565-1-3 57389 Nisoi Aiyaiou / Ellas / Europe / World 1565-1-3 57389 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3 57389 Buda / Budapest / Budapest / Magyarorszag 1565-1-3 57389 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3 57389 Kipros / Asia / World / Top of the TGN hierarchy 1565-1-3 57389 Rodhos / Rodos, Nisos / Sporadhes / Nisoi Aiyaiou 1565-1-3 57389 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3 57389 Çorlu / Thraki / Ellas / Europe 1565-1-3 </code></pre></div><h2 id="netejar-les-dades">Netejar les dades</h2> Per visualitzar aquestes dades, cal fer-les llegibles com a conjunt de dades csv (valors separats per comes). També cal convertir la informació geogràfica que contenen a un format més «amable per a les màquines»: les coordenades GPS. Com que el conjunt de dades conté centenars d’entrades, val més automatitzar el procés. Això es pot fer força de pressa i amb bastanta precisió amb models de llengua preentrenats com ara , o , per esmentar-ne només uns quants. Aquesta operació, però, s’ha de supervisar de prop, perquè els models de llengua preentrenats tenen una lleugera tendència a al·lucinar. <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-csv" data-lang="csv">documentId,latitude,longitude,documentDate 57386,35.899167,14.514167,1565-1-3 57386,37.05,22.116667,1565-1-3 57386,31.200028,29.918719,1565-1-3 57386,38.366667,23.666667,1565-1-3 57386,45.438333,12.331333,1565-1-3 57386,41.018611,28.984444,1565-1-3 57386,42.7,18.8,1565-1-3 57389,40.216667,18.166667,1565-1-3 57389,37.966667,23.716667,1565-1-3 57389,35.899167,14.514167,1565-1-3 57389,47.4925,19.051389,1565-1-3 57389,31.200028,29.918719,1565-1-3 57389,34.916667,33.616667,1565-1-3 57389,36.405419,28.227778,1565-1-3 57389,41.018611,28.984444,1565-1-3 57389,41.133333,27.416667,1565-1-3 </code></pre></div><h1 id="el-mapa-de-densitat">El mapa de densitat.</h1> Un mapa de densitat és un tipus de visualització que destaca la freqüència amb què s’esmenta un lloc en un conjunt de dades determinat. És especialment útil per entendre no només l’abast geogràfic de les dades, sinó també els seus punts focals. Quins llocs del mapa s’esmenten més sovint? I quins són més episòdics? On són els centres, i fins on arriba la perifèria? En quin punt del mapa és més probable que es concentri l’atenció del lector? Per a aquest experiment – i com que tenia pressa – vaig fer servir una de les API de . Tanmateix, moltes biblioteques de visualització i sistemes d’informació geogràfica permeten produir el mateix tipus de mapa de densitat. <h1 id="unes-quantes-observacions">Unes quantes observacions</h1> El resultat és més un quadre impressionista que la representació precisa d’un concepte clarament definible, i això és justament el que m’agrada d’aquest experiment. En efecte, si bé la ciència de dades pot ser una aliada poderosa de les humanitats, no necessàriament ens hem de sotmetre a les seves regles. Un altre aspecte interessant d’aquest experiment és que el mapa revela un Levante completament integrat amb la resta d’Europa i de la Mediterrània. També posa en relleu la centralitat d’Edirne en la geografia política de l’Imperi Otomà. A més, la ciutat espanyola més rellevant del mapa no és Madrid ni l’Escorial, sinó Nàpols. I, per acabar, les illes i les petites ciutats estat com ara Ragusa semblen tenir un paper important com a mediadores entre les diferents potències de la regió. <h1 id="com-sollicitar-dades-a-mia">Com sol·licitar dades a MIA</h1> Tot i que MIA és una eina col·laborativa excel·lent per als investigadors, les dades que emmagatzema als seus servidors no són fàcilment accessibles. El seu back-end, per exemple, no està publicat en repositoris públics. Tanmateix, es poden obtenir les dades registrant-se a MIA i fent peticions al servidor amb Python. <h3 id="petició">Petició</h3> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python">url = "https://mia.medici.org/Mia/json/de/advancedsearch/advancedSearchResults/0/90/docYear/asc/?isNewsFeedSearch=False" payload = [{"searchSection":"archivalLocationSearch","type":"archivalLocationAdvancedSearch","isActiveFilter":True,"repository":None,"collection":"Mediceo del Principato","series":None,"volume":"2863","insert":None},{"searchSection":"categoryAndTypologySearch","type":"categoryAndTypologyAdvancedSearch","isActiveFilter":True,"category":"News","typology":None},{"searchSection":"transcriptionSearch","type":"transcriptionAdvancedSearch","isActiveFilter":False,"transcription":""},{"isActiveFilter":False,"searchSection":"synopsisSearch","type":"synopsisAdvancedSearch","synopsis":""},{"searchSection":"placesSearch","type":"placesAdvancedSearch","isActiveFilter":False,"places":[]},{"searchSection":"peopleSearch","type":"peopleAdvancedSearch","isActiveFilter":False,"people":[]},{"searchSection":"topicsSearch","type":"topicsAdvancedSearch","isActiveFilter":True,"topics":[{"topicTitle":"Place Index","topicId":"51","placeAllId":""}]},{"searchSection":"dateSearch","type":"dateAdvancedSearch","isActiveFilter":False,"dateFilterType":"","dateYear":"","dateMonth":"","dateDay":"","dateBYear":"","dateBMonth":"","dateBDay":""},{"searchSection":"documentOwnerSearch","type":"documentOwnerAdvancedSearch","isActiveFilter":False,"editType":"owner","account":""},{"searchSection":"languagesSearch","type":"languagesAdvancedSearch","isActiveFilter":False,"languages":[]}] headers = {'Content-type': 'application/json', 'Accept': '*/*'} r = requests.post(url, data=json.dumps(payload), headers=headers, auth=('LOGIN','PASSWORD')) </code></pre></div>Assegura’t de substituir LOGIN i PASSWORD per les teves pròpies credencials. <h3 id="escriure-la-resposta-en-un-fitxer">Escriure la resposta en un fitxer</h3> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python">with open('response.json', 'wb') as fd: for chunk in r.iter_content(chunk_size=128): fd.write(chunk) </code></pre></div><h3 id="obrir-el-json">Obrir el JSON</h3> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python">f = open('response.json', encoding="utf8") </code></pre></div><h3 id="retornar-lobjecte-json-com-a-diccionari">Retornar l’objecte JSON com a diccionari</h3> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python">json_complete = json.load(f) </code></pre></div><h3 id="seleccionar-les-dades-del-json-i-imprimir-les-en-format-csv">Seleccionar les dades del JSON i imprimir-les en format CSV</h3> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python">with open('results.csv', 'w', newline='') as csvfile: fieldnames = ['documentId', 'placeCited', 'documentDate'] writer = csv.DictWriter(csvfile, fieldnames=fieldnames) writer.writeheader() for i in json_complete['data']: if i['topics'] != None: for x in i['topics']: documentId=x['documentId'] placeCited=x['topicPlaceName'] year=i['date']['docYear'] month=i['date']['docMonth'] day=i['date']['docDay'] documentDate=str(year)+ "-" + str(month)+"-" + str(day) writer.writerow({'documentId': documentId, 'placeCited': placeCited, 'documentDate': documentDate}) </code></pre></div>Un cop descarregat el fitxer <code>results.csv</code>, pots passar a netejar les dades tal com s’ha explicat més amunt. </article> <article> <h1>Anàlisi bibliogràfica a gran escala amb models de llengua preentrenats</h1> Thu, 07 Jul 2022 19:04:14 +0200 L’automatització és clau per abaratir els projectes d’humanitats digitals. Fins avui, les tasques repetitives i tedioses de la feina editorial en l’àmbit acadèmic les han fet, a un cost molt alt, uns estudiosos desbordats, o bé s’han «externalitzat» als estudiants. En aquesta sostinc que la majoria d’aquestes tasques ingrates no només es poden automatitzar, sinó que s’han d’automatitzar. L’automatització de les tasques editorials redueix el cost global dels projectes d’humanitats digitals. I, sobretot, permet als estudiosos de les regions amb pocs recursos publicar documents valuosos de manera ràpida i assequible. A he mostrat, per exemple, com els models de llengua preentrenats poden fer la major part de la feina d’etiquetatge XML d’una edició digital. En aquesta entrada exposo un segon exemple, aquest cop amb la bibliografia. <h2 id="el-problema">El problema</h2> Crear una base de dades bibliogràfica a partir de les referències esmentades en un article acadèmic és força senzill. Es pot fer una cerca ràpida en un catàleg com , descarregar la referència en un format concret, o importar-la automàticament des d’una base de dades local. Amb un o dos articles, això funciona bé. Més enllà d’un cert nombre de referències, però, la tasca es torna ingrata i lenta. Per posar-hi remei es poden fer servir algorismes d’anàlisi com . Però aquests algorismes poden ser difícils d’escalar. Quan vaig fer servir anystyle per convertir els més de 150 assaigs acadèmics inclosos en la nostra , la quantitat d’errors acumulats era senzillament impossible de gestionar. No va reconèixer bé moltes de les nostres fonts – va confondre, per exemple, els llargs títols dels llibres de l’inici de l’època moderna amb una altra cosa – i no va saber identificar documents menys típics, com ara pàgines web concretes, vídeos en línia, etc. Els analitzadors funcionen bé sempre que l’autor segueixi religiosament les regles d’una convenció coneguda com Chicago, Turabian o MLA. Qualsevol desviació de la norma es tradueix en errors. <h2 id="la-solució">La solució</h2> És aquí on els models de llengua preentrenats poden ajudar, perquè entenen ràpidament els patrons de qualsevol estil bibliogràfic , fins i tot d’un que t’hagis inventat, i només necessiten uns quants exemples per convertir correctament grans quantitats de bibliografia formatada en una . A principis de 2021 vaig tenir la sort d’obtenir accés anticipat al d’OpenAI. Codex és un model que permet als usuaris traduir el llenguatge natural a codi i viceversa. OpenAI afirma que domina més d’una dotzena de llenguatges de programació i, tot i que la seva API encara és, mentre escric aquesta entrada, en fase beta, ja fa funcionar aplicacions populars com ara el de GitHub. Després de jugar una mica amb aquesta API, em vaig adonar que també podia funcionar molt bé amb codi més senzill, com ara <code>BibTeX</code>. I, de fet, només vaig haver de fer servir quatre exemples a la indicació d’entrada perquè funcionés de manera fiable. <h3 id="indicació-dentrada">Indicació d’entrada</h3> References: Bayle, Ariane. “Patients exemplaires: la correspondance médicale de Fioravanti.” In Vulgariser la médecine. Du style médical en France et en Italie, edited by Andrea Carlino and Michel Jeanneret, 181–212. Geneva: Droz, 2009. Berns, Andrew D. The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth. Cambridge: Cambridge University Press, 2015. Gabler, Hans Walter. “Theorizing the Digital Scholarly Edition.” Literature Compass 7, no. 2 (2010): 43–56. . Findlen, Paula. Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy. Berkeley: University of California Press, 1994. <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-BibTeX" data-lang="BibTeX">@incollection{bayle2009, author = {Bayle, Ariane}, booktitle = {Vulgariser la médecine. Du style médical en France et en Italie}, title = {Patients exemplaires: la correspondance médicale de Fioravanti}, editor = {Carlino, Andrea and Michel Jeanneret}, year = {2009}, address = {Geneva}, publisher = {Droz}, langid = {french} } @book{berns2015, title = {The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth}, author = {Berns, Andrew D.}, address = {Cambridge}, publisher = {Cambridge University Press}, langid = {english}, date = {2015} } @article{gabler2010, author = {Gabler, Hans Walter}, title = {Theorizing the Digital Scholarly Edition}, journal = {Literature Compass}, volume = {7}, number = {2}, pages = {43-56}, doi = {10.1111/j.1741-4113.2009.00675.x}, langid = {english}, year = {2010} } @book{findlen1994, title = {Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy}, author = {Findlen, Paula}, address = {Berkeley}, publisher = {University of California Press}, langid = {english}, date = {1994} } </code></pre></div><h3 id="resultats">Resultats</h3> Els són espectaculars: més de 2.000 referències bibliogràfiques convertides en qüestió de dies. Aquest enfocament no només ha reproduït amb exactitud el patró exposat a la meva indicació d’entrada, sinó que també hi ha afegit correctament tipus d’entrada i de camp que no hi figuraven. <code>GPT-3</code>, dit d’una altra manera, parla <code>BibTeX</code> amb tota fluïdesa. Potser més sorprenent encara, per a un model entrenat essencialment en anglès, ha reconegut totes les llengües (rus, francès, italià, llatí, grec, alemany, castellà, etc.) i ha afegit cada vegada el camp <code>langid</code> correcte. <div class="callout flex px-4 py-3 mb-6 rounded-md border-l-4 bg-blue-100 dark:bg-blue-900 border-blue-500" data-callout="note" data-callout-metadata=""> <svg height="24" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="1.5" d="m16.862 4.487l1.687-1.688a1.875 1.875 0 1 1 2.652 2.652L6.832 19.82a4.5 4.5 0 0 1-1.897 1.13l-2.685.8l.8-2.685a4.5 4.5 0 0 1 1.13-1.897zm0 0L19.5 7.125"/></svg> <div class="callout-content dark:text-neutral-300"> <div class="callout-title font-semibold mb-1">Nota</div> <div class="callout-body">GPT-3 té actualment una mida d’entrada i de sortida limitada, ja que pot processar un màxim de 2048 tokens lingüístics. Tan bon punt s’aixequi aquesta limitació, la mateixa tasca probablement es farà en una hora o menys.</div> </div> </div> Una mica inesperadament, GPT-3 també ha afegit informació que no era a les referències originals. <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> Baillot, Anne, and Anna Busch. “Editing for Man and Machine.” In Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting, Vol. 13. Variants (Journal of the European Society for Textual Scholarship). Leicester, 2015. </blockquote> En aquesta referència bibliogràfica, per exemple, GPT-3 ha afegit l’enllaç permanent al repositori d’accés obert ( ) on es pot llegir l’article, inclosos els camps ad hoc <code>HAL_ID</code> i <code>HAL_VERSION</code> creats pel repositori HAL: <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-BibTeX" data-lang="BibTeX">@inproceedings{baillot2015, title = {Editing for Man and Machine}, author = {Baillot, Anne and Busch, Anna}, year = 2015, booktitle = {Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting}, address = {Leicester}, series = {Variants (Journal of the European Society for Textual Scholarship)}, volume = 13, editor = {Bruhn, Siglinde and Schreiber, Manfred}, langid = {english}, hal_id = {halshs-01233380}, hal_version = {v1} } </code></pre></div>Aquestes addicions indiquen que GPT-3 no només analitza la referència bibliogràfica, sinó que també la completa a partir del que va aprendre inicialment. Seria interessant, en aquest sentit, veure si es comporta igual amb referències posteriors a l’entrenament de GPT-3… <h2 id="limitacions">Limitacions</h2> GPT-3 no és perfecte, però. Cal que un humà el supervisi. Una de les seves limitacions conegudes és l’ : de tant en tant s’inventa coses i fa suposicions improbables. En el meu experiment, els rampells d’incoherència de GPT-3 es van fer evidents quan va canviar espontàniament el cognom d’un autor de «Ruscelli» a «Ruscello». Tècnicament no és un error, perquè els cognoms italians de l’inici de l’època moderna es podien fer servir indistintament en plural o en singular. Avui, però, la convenció és que si un cognom és en plural o en singular, s’ha de deixar tal com és. Avui ningú no diria Machiavello per Machiavelli, de la mateixa manera que s’espera que fem servir el nom Rossello i no Rosselli. GPT-3 ha ignorat aquesta convenció per manca de consciència cronològica? O és que ha fet una suposició a partir dels cognoms veïns, que en aquesta part de la bibliografia resulta que estan tots flexionats en singular (Bariletto, Cesano, Rossello)? Qui ho sap. <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-Bibtex" data-lang="Bibtex">@book{rossello1565, title = {Della summa de’ secreti universali}, author = {Rossello, Timoteo}, address = {Venice}, publisher = {Giovanni Bariletto}, langid = {italian}, date = {1565} } @book{ruscello1559, title = {La seconda parte de’ secreti del Reverendo Donno Alessio Piemontese}, author = {Ruscello, Girolamo}, address = {Pesaro}, publisher = {Bartolomeo Cesano}, langid = {italian}, date = {1559} } </code></pre></div><h2 id="conclusió">Conclusió</h2> Escrits al llarg de quatre anys de col·laboracions intenses, els més de 150 assaigs no només aporten informació vital sobre el manuscrit que hem editat i traduït, sinó que també contenen informació bibliogràfica valuosa. Reunir aquestes referències bibliogràfiques en una base de dades permet als editors canviar el format bibliogràfic en un tres i no res, i els dona més flexibilitat per mostrar aquesta informació com vulguin. La base de dades també aporta informació valuosa sobre l’edició i sobre el projecte que la va fer possible, i obre als estudiosos noves perspectives d’anàlisi. Una base de dades així es pot completar amb gran precisió i en un temps rècord. Es pot argumentar que s’hi poden esmunyir alguns errors, sobretot per la tendència de GPT-3 a al·lucinar. Però les futures iteracions dels models de llengua preentrenats mitigaran aquest problema. </article> <article> <h1>Avviso | Publicar les notícies que ens van fer moderns (1537—1743)</h1> Sun, 12 Dec 2021 00:00:00 +0000 L’objectiu principal del projecte Avviso és digitalitzar, preservar, catalogar, editar, contextualitzar i difondre els 35.000 butlletins de notícies manuscrits de l’inici de l’època moderna, coneguts com a avvisi, que formaven part de la col·lecció dels Mèdici i que avui es conserven a l’Arxiu d’Estat de Florència. La catalogació, digitalització i difusió d’aproximadament 35.000 avvisi, butlletins de notícies manuscrits de l’inici de l’època moderna, a través de la plataforma Medici Interactive Archive del Medici Archive Project. </article> <article> <h1>Edició eficient</h1> Sun, 12 Dec 2021 00:00:00 +0000 Les edicions crítiques digitals són oneroses. La feina de transcripció, traducció i anotació que ha de dur a terme una mà d’obra altament qualificada representa milers d’hores i exigeix un finançament considerable, a més d’un suport institucional a llarg termini. En cert sentit, que els projectes d’humanitats digitals de gran visibilitat puguin obtenir les enormes quantitats de finançament que necessiten per funcionar és una benedicció. Ara bé, dependre tant de la generositat de fundacions riques, universitats i agències governamentals, i necessitar durant tant de temps uns recursos humans tan importants, no és un model econòmic viable de cara al futur. Si cada cop hi ha més estudiosos que es poden permetre produir edicions digitals ambicioses de fonts primàries, aquesta pràctica continua sent el privilegi d’uns quants països rics, i en reforça així l’hegemonia cultural. Per fer accessibles a un públic més ampli els documents històrics d’arreu del món, el cost de les edicions crítiques digitals hauria de baixar en diversos ordres de magnitud . En aquesta sèrie d’entrades de blog avaluo els diferents enfocaments i peces tecnològiques que els estudiosos d’arreu del món poden fer servir per publicar fonts primàries més de pressa i amb una despesa mínima. Avaluaré, en particular, tecnologies com ara l’aprenentatge automàtic, la cadena de blocs (blockchain) i l’emmagatzematge descentralitzat. </article> <article> <h1>The Spy Who Wished Them Well</h1> Sun, 12 Dec 2021 00:00:00 +0000 Ben aviat, més informació. </article> <article> <h1>Automatitzar el marcatge en les edicions acadèmiques digitals</h1> Mon, 22 Nov 2021 18:15:00 +0000 <h1 id="introducció">Introducció</h1> Com es poden produir edicions acadèmiques digitals sense arruïnar-se? En aquesta entrada, la primera d’una sèrie dedicada a l’edició eficient, avaluo el paper que els models de llengua preentrenats poden tenir en l’automatització de tasques editorials com ara el marcatge semàntic. <details class="print:hidden xl:hidden" > <summary>Index</summary> <div class="text-sm"> <nav id="TableOfContents"> <ul> <li><a href="#una-obra-damor">Una obra d’amor</a></li> <li><a href="#un-llindar-alt">Un llindar alt</a></li> </ul> <ul> <li><a href="#els-transformers-el-camí-més-senzill-cap-a-lautomatització">Els transformers: el camí més senzill cap a l’automatització?</a> <ul> <li><a href="#codex">Codex</a></li> <li><a href="#més-enllà-dopenai">Més enllà d’OpenAI</a></li> </ul> </li> </ul> <ul> <li><a href="#experiment-1--categorització-de-textos">Experiment 1 – Categorització de textos.</a> <ul> <li><a href="#enginyeria-de-la-indicació">Enginyeria de la indicació</a></li> <li><a href="#prova">Prova</a></li> <li><a href="#resultat">Resultat</a></li> </ul> </li> <li><a href="#experiment-2--marcatge-semàntic">Experiment 2 – Marcatge semàntic</a> <ul> <li><a href="#enginyeria-de-la-indicació-1">Enginyeria de la indicació</a></li> <li><a href="#prova-1">Prova</a></li> </ul> </li> </ul> </nav> </div> </details> <h1 id="el-problema">El problema</h1> <h2 id="una-obra-damor">Una obra d’amor</h2> En qüestions d’amor no es miren els diners… o això diu el proverbi. I és especialment cert en el cas de les edicions acadèmiques digitals: la transcripció, la traducció i l’anotació que exigeix desenvolupar-les representen milers d’hores de feina, dutes a terme, com en el cas de , per centenars de col·laboradors altament qualificats. En cert sentit, que els projectes d’humanitats digitals de gran visibilitat puguin obtenir les enormes quantitats de finançament que necessiten per funcionar és una benedicció. Ara bé, dependre tant de la generositat de fundacions riques, universitats i agències governamentals, i necessitar durant tant de temps uns recursos humans tan importants, no és un model econòmic viable de cara al futur. De fet, si volem animar els estudiosos d’arreu del món a fer accessibles els documents històrics a un públic més ampli, el cost de les edicions crítiques digitals hauria de baixar en diversos ordres de magnitud . <h2 id="un-llindar-alt">Un llindar alt</h2> Paradoxalment, la solució pot venir de projectes tan laboriosos com , perquè constitueixen un valuós conjunt d’entrenament per automatitzar algunes de les tasques més ingrates i repetitives de l’edició digital, com ara el marcatge. No és que el marcatge no sigui important. Ben al contrari: el marcatge ha esdevingut el component indispensable de qualsevol projecte acadèmic digital seriós. Normalitzat per la , ens permet registrar tants aspectes com sigui possible del document i del text que aquest transmet: estructura, anotacions marginals, supressions, variants, tipus de paper, taques, cal·ligrafia… El que es vulgui. Extret de , l’exemple següent mostra com el marcatge enriqueix el text amb informació addicional (categoria, estructura, camps semàntics, supressions, etc.) i dona així a les edicions digitals un avantatge considerable sobre els seus avantpassats materials. <table> <tr> <th> Plain Text </th> <th> XML Markup</th> </tr> <tr> <td> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text">Pour rompre grenades et donner violence aux artifices de foeu Mects parmy la pouldre et la sixiesme partye dicelle de vif argent </code></pre></div></td> <td> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-xml" data-lang="xml"><div id="p008r_2" categories="arms and armor"> <head>Pour rompre <wp>grenades</wp> et donner<lb/> violence aux <wp>artifices de foeu</wp></head> <ab>Mects parmy la <m>pouldre</m> <del><ms>six fois autant</ms> de <m>vif argent</m></del><lb/> <del>et</del> <ms>la sixiesme partye</ms> dicelle de <m>vif argent</m></ab> </div> </code></pre></div></td> </tr> </table> Aquesta informació no només és valuosa amb finalitats d’arxiu, sinó també, com he mostrat en altres ocasions, amb finalitats sintètiques i analítiques. Tanmateix, aquest tipus d’anotació pot consumir moltíssim temps, perquè sovint el mateix text ha d’estar disponible en diverses variants: com a traducció, com a transcripció, com a modernització, etc. <h1 id="la-solució">La solució</h1> <h2 id="els-transformers-el-camí-més-senzill-cap-a-lautomatització">Els transformers: el camí més senzill cap a l’automatització?</h2> El 2020, va presentar amb gran pompa la seva darrera família de grans models de llengua d’ús general, anomenada GPT-3, sigla de «Generative Pre-trained Transformer 3». Els transformers són un avenç força recent en intel·ligència artificial. Aprenen tasques noves amb una rapidesa impressionant, simplement llegint una indicació (prompt) i mirant un nombre molt limitat d’exemples. També poden rebre un entrenament addicional amb un conjunt de dades ad hoc (ajust fi o fine-tuning), cosa que en millora la latència i la precisió. Per això diem que GPT-3 i els transformers comparables són (few-shot learners). OpenAI afirma que GPT-3 conté una xifra rècord de 175.000 milions de paràmetres i que s’ha entrenat amb més de 570 GB de text, majoritàriament documents en anglès presumiblement extrets . Per la seva mida descomunal, GPT-3 ha establert un nou estàndard en aquest camp: executa d’entrada tasques molt diverses amb un realisme inquietant. Escriu plausibles, en sales de xat, , , tradueix documents, explica argot, etc. Amb accés anticipat a l’API d’OpenAI des del maig de 2021, he pogut experimentar amb la capacitat del model per resoldre diverses tasques reputadament difícils, com ara traduir poesia francesa i textos neollatins a l’anglès, explicar analogies i fins i tot simplificar el llibre 4 de la Fonamentació de la metafísica dels costums de Kant per a un nen de set anys (bé que sense gaire convicció). <h3 id="codex">Codex</h3> Un dels darrers desenvolupaments de GPT-3 se centra en els llenguatges de programació. Anomenat Codex, aquest model tradueix el llenguatge natural a llenguatge de programació i viceversa. Per exemple, si busco una expressió regular que em permeti «trobar només les paraules que comencen amb majúscula», GPT-3 ho tradueix a l’instant en una expressió regular funcional: <code>[A-Z]+\w+</code>. OpenAI afirma que Codex pot treballar amb una dotzena de llenguatges de programació, entre els quals Python, JavaScript, Go, Perl, PHP, Ruby i Swift. En convertir el pseudocodi en codi sense fissures, Codex permet que la gent se centri no en la sintaxi fastigosa d’un llenguatge de programació, sinó en els passos lògics i les estratègies que permeten a les aplicacions resoldre problemes. <h3 id="més-enllà-dopenai">Més enllà d’OpenAI</h3> OpenAI, és clar, no és l’únic actor en joc. Com ja he dit, la Beijing Academy for Artificial Intelligence va anunciar el 2021 un model encara més gran i més capaç, conegut com a Wu Dao 2. Nvidia i Microsoft van unir forces per produir el model Megatron-Turing NLG 530B, de nom ben trobat. Empreses emergents més petites com i també ofereixen API al públic. Cal esmentar també iniciatives de codi obert com ara . L’escena de la IA, és clar, evoluciona molt de pressa; per seguir les noves iniciatives del camp, val la pena consultar . <h1 id="els-experiments">Els experiments</h1> <div class="callout flex px-4 py-3 mb-6 rounded-md border-l-4 bg-blue-100 dark:bg-blue-900 border-blue-500" data-callout="note" data-callout-metadata=""> <svg height="24" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="1.5" d="m16.862 4.487l1.687-1.688a1.875 1.875 0 1 1 2.652 2.652L6.832 19.82a4.5 4.5 0 0 1-1.897 1.13l-2.685.8l.8-2.685a4.5 4.5 0 0 1 1.13-1.897zm0 0L19.5 7.125"/></svg> <div class="callout-content dark:text-neutral-300"> <div class="callout-title font-semibold mb-1">Nota</div> <div class="callout-body">L’objectiu d’aquests experiments és trobar el camí més econòmic cap a una automatització fiable de les tasques editorials. Es podria objectar que algunes també es podrien automatitzar amb algorismes d’aprenentatge supervisat. Explorarem aquesta hipòtesi en una entrada futura.</div> </div> </div> Un transformer com GPT-3 pot aprendre a anotar, per exemple, un manuscrit tècnic i científic del segle XVI? <h2 id="experiment-1--categorització-de-textos">Experiment 1 – Categorització de textos.</h2> Comencem per una cosa relativament senzilla. Com a «aprenent amb pocs exemples», GPT-3 hauria de poder entendre ràpidament com el nostre equip editorial ha classificat les entrades del Ms Fr 640. <h3 id="enginyeria-de-la-indicació">Enginyeria de la indicació</h3> Per entrenar-lo, vaig fer servir una indicació mínima i vaig seleccionar com a exemples quatre entrades breus en text pla, entre les quals una sobre «medicina», «armes i armadures» i «pintura». <h3 id="prova">Prova</h3> Després vaig copiar un altre passatge que no era a la seqüència inicial: <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text">Working neatly Never put down, if you can, two colors one on top of the other. But next, having made your design carefully, keep the place of shadows for them alone, & also separately that of lights & highlights, without layering one color all over & then highlighting or else shading on it. And in this way, you further your work, economize your colors & work neatly. Which is the reason that, the colors not being muddled nor mixed together, they do not die & you soften the colors better, since they are not so thick. </code></pre></div>El resultat és perfectament coherent amb el contingut: <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-xml" data-lang="xml"><categories="painting"> </code></pre></div>Si ho provem amb una entrada que pertany a una categoria que ni tan sols era inclosa en la selecció inicial de textos triats per entrenar GPT-3, el resultat és sorprenent. <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-xml" data-lang="xml"><categories="jewelry"> </code></pre></div><h3 id="resultat">Resultat</h3> La categoria «jewelry» (joieria) no existeix en la nostra edició del Ms. Fr. 640. L’equip editorial la categoria més àmplia de «Stones» (pedres). La intuïció de GPT-3, però, és bona, i indica que amb una mica més d’entrenament pot aprendre a categoritzar qualsevol entrada del Ms. Fr. 640, i potser fins i tot les de textos tècnics similars del segle XVI. <h2 id="experiment-2--marcatge-semàntic">Experiment 2 – Marcatge semàntic</h2> Pugem una mica el llistó. Si transformers com GPT-3 poden aprendre a categoritzar textos segons criteris editorials específics, poden també identificar part del marcatge del text? <div class="callout flex px-4 py-3 mb-6 rounded-md border-l-4 bg-blue-100 dark:bg-blue-900 border-blue-500" data-callout="note" data-callout-metadata=""> <svg height="24" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="1.5" d="m16.862 4.487l1.687-1.688a1.875 1.875 0 1 1 2.652 2.652L6.832 19.82a4.5 4.5 0 0 1-1.897 1.13l-2.685.8l.8-2.685a4.5 4.5 0 0 1 1.13-1.897zm0 0L19.5 7.125"/></svg> <div class="callout-content dark:text-neutral-300"> <div class="callout-title font-semibold mb-1">Nota</div> <div class="callout-body">Secrets of Craft and Nature ofereix una d’etiquetes semàntiques i estructurals. Malauradament, GPT-3 no processa imatges, a diferència d’altres projectes com ara . És probable que les futures iteracions de GPT incorporin aquesta capacitat, necessària per reconèixer la majoria dels aspectes estructurals i materials d’un document. Deixarem de banda aquestes etiquetes concretes i ens centrarem en el marcatge que no requereix reconeixement d’imatges.</div> </div> </div> <h3 id="enginyeria-de-la-indicació-1">Enginyeria de la indicació</h3> Les etiquetes semàntiques inclouen referències a animals, plantes, topònims, percepcions sensorials, etc. Per a la indicació d’entrenament vaig seleccionar uns quants exemples de l’edició: <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-xml" data-lang="xml"> The following is a list of words and their corresponding semantic tags cannons: <wp>cannons</wp> powder: <m>powder</m> flasks: <tl>flasks</tl> wooden: <m>wooden</m> iron: <m>iron</m> parchment: <m>parchment</m> goats: <al>goats</al> lambs: <al>lambs</al> leather: <m>leather</m> earth: <m>earth</m> fine fatty earth: <m>fine fatty earth</m> Venice: <pl>Venice</pl> Flemish: <pl>Flemish</pl> almond: <pa>almond</pa> almond oil: <m><pa>almond</pa> oil</m> walnuts skin: <m><pa>walnuts</pa> skin</m> molten lead: <m>molten lead</m> today: <tmp>today</tmp> In the past: <tmp>In the past</tmp> Clockmakers: <pro>Clockmakers</pro> red copper: <m>red copper</m> crucible: <tl>crucible</tl> bellows: <tl>bellows</tl> charcoal: <m>charcoal</m> founders: <pro>founders</pro> </code></pre></div><h3 id="prova-1">Prova</h3> Provem unes quantes paraules fàcils amb el model <code>Davinci-codex</code>, com ara Apothecary, smoke, glassmakers, latten i snake. Els resultats són immediats i impecables: <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-xml" data-lang="xml"> Apothecary: <pro>Apothecary</pro> smoke: <m>smoke<m> glassmakers: <pro>glassmakers</pro> latten: <m>latten</m> snake: <al>snake</al> </code></pre></div>Una prova més difícil implica l’ús de paraules compostes, com ara copper plates, walnut oil i wood block. L’objectiu d’aquesta prova és veure si GPT-3 gestiona correctament les etiquetes imbricades. <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-xml" data-lang="xml"> copper plates: <m>copper plates</m> walnut oil: <m><pa>walnut</pa> oil</m> wood block: <m>wood block</m> </code></pre></div>Els resultats, però, són desiguals: <code>Davinci-codex</code> només ha etiquetat correctament walnut oil, i no ha detectat les etiquetes imbricades <code>tl</code> i <code>m</code> a copper plates i wood block. Tanmateix, com mostra la prova següent, aquests errors es poden mitigar amb una indicació d’entrenament millor. Després d’afegir-hi cinc exemples més d’etiquetes imbricades, <code>Davinci-codex</code> ha retornat un resultat gairebé impecable, amb un únic error (oil paintbrushes): <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-xml" data-lang="xml"> cannon powder: <m><wp>cannon</wp> powder</m> arquebus powder: <m><wp>arquebus</wp> powder</m> oil paintbrushes: <m><al>oil</al> paintbrushes</m> sheep footbones: <m><al>sheep</al> footbones</m> bronze mortar: <tl><m>bronze</m> mortar</tl> </code></pre></div><h1 id="conclusió">Conclusió</h1> Cal recordar que aquestes proves s’han fet amb fragments de text breus. Sospito que, si es donés més context en els exemples i en la indicació, els models GPT-3 donarien resultats encara millors. A més, l’ajust fi del model amb conjunts de dades d’entrenament ad hoc milloraria sens dubte encara més la precisió de l’etiquetatge. Si bé aquests experiments encara s’haurien de fer a més gran escala per demostrar la fiabilitat dels models de llengua preentrenats, podem concloure tanmateix que aquest enfocament permet als editors automatitzar diverses tasques d’anotació en pocs passos senzills, amb un estalvi potencial enorme de temps i de diners. </article> <article> <h1>Visualitzar manuscrits 2 (actualització)</h1> Sat, 20 Nov 2021 16:00:00 +0000 Tal com havia promès, heus aquí una nova versió del treemap interactiu presentat en una , aquesta vegada amb dos modes de visualització. <div class="callout flex px-4 py-3 mb-6 rounded-md border-l-4 bg-blue-100 dark:bg-blue-900 border-blue-500" data-callout="note" data-callout-metadata=""> <svg height="24" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="1.5" d="m16.862 4.487l1.687-1.688a1.875 1.875 0 1 1 2.652 2.652L6.832 19.82a4.5 4.5 0 0 1-1.897 1.13l-2.685.8l.8-2.685a4.5 4.5 0 0 1 1.13-1.897zm0 0L19.5 7.125"/></svg> <div class="callout-content dark:text-neutral-300"> <div class="callout-title font-semibold mb-1">Nota</div> <div class="callout-body">Per a una millor experiència de visualització, comprova que la pàgina estigui en mode clar (clica la icona de la lluna, a dalt a la dreta).</div> </div> </div> <head> <meta charset="UTF-8" /> <meta http-equiv="X-UA-Compatible" content="IE=edge" /> <meta name="viewport" content="width=device-width, initial-scale=1.0" /> <title>

Group folios by category

Un navegador visual per a l’arxiu

Sun, 20 Jun 2021 16:00:00 +0000

El problema

Les edicions digitals viuen en una paradoxa: posen documents recòndits a l’abast d’un públic més ampli, però la pèrdua d’estímuls sensorials que comporta la desmaterialització tendeix a desorientar els lectors i fins i tot a dissuadir-los d’endinsar-se en el contingut. Fan que navegar per grans dipòsits de documents sigui feixuc i intimidant. I això no val només per als usuaris sense experiència en la recerca d’arxiu, sinó també per als lectors amb dificultats cognitives.

La solució

És aquí on les metadades arxivístiques ens poden ajudar. Aquestes dades permeten crear abstraccions visuals interactives que ofereixen als lectors un estímul sensorial alternatiu, i milloren així alhora l’ergonomia i l’accessibilitat. Per fer l’arxiu navegable visualment, un treemap (mapa d’arbre), o qualsevol diagrama que descompongui eficaçment dades jeràrquiques, pot fer el fet.

L’experiment

El meu primer experiment adapta el per a D3.js i hi afegeix hipervincles. Representa el manuscrit BnF Ms Fr 640, els seus folis i les entrades de cada foli. Els colors indiquen la categoria dominant. En passar el cursor per sobre de cada entrada s’hi mostren més dades, inclòs l’enllaç al manuscrit.
D’aquesta manera, el treemap esdevé un índex visual interactiu que ofereix als lectors una visió de conjunt molt ràpida i àgil, no només del contingut del manuscrit, sinó també de les dimensions de cada foli i de cada entrada.
~~En els propers mesos continuaré experimentant amb aquesta idea, provant altres diagrames i altres jerarquies… Continuarà!~~ Per veure una nova versió del treemap, clica .

Nota

Per a una millor experiència de visualització, comprova que la pàgina estigui en mode clar (clica la icona de la lluna, a dalt a la dreta).

Click any cell to zoom in, or the top to zoom out.

L’arxiu d’un cop d’ull

Mon, 24 May 2021 16:00:00 +0000

El problema

Els arxius històrics poden ser d’un desordre aclaparador. El Mediceo del Principato de l’ n’és un bon exemple. Només una petita part està inventariada, i molts dels seus documents es troben escampats per més de 6.500 volums sense cap raó aparent. Per acabar-ho d’adobar, l’arxiu només permet consultar un nombre limitat de volums (o filze, com en diuen allà: lligalls). En temps normals, el límit és de 4 filze al dia. En temps de pandèmia, però, la xifra ha baixat a 4 cada dues setmanes. Sense inventaris detallats, la mida considerable de l’arxiu obliga els investigadors a idear estratègies per trobar de pressa els documents que busquen.

La solució

Hi ha qui confia en l’atzar; d’altres proven també de fer conjectures fonamentades a partir de la cronologia, els destinataris, els autors, l’origen del fons arxivístic, la llengua, etc. Ara bé, mirar totes aquestes variables alhora pot revelar patrons inesperats en l’estructura de l’arxiu i afinar les nostres conjectures. La meva experiència demostra que, un cop representades gràficament, les metadades que els investigadors solen recollir en un full de càlcul poden augmentar notablement la consciència situacional a l’arxiu.

L’experiment

La meva recerca actual gira entorn de la correspondència d’un espia del segle XVI. Les seves cartes estan escampades per centenars de filze. Les va escriure amb identitats diferents, a destinataris diversos i de vegades inesperats, des de llocs diferents, etc. Per localitzar les filze amb més probabilitats de contenir les cartes que busco, he muntat un tauler de control, una aplicació web de visualització interactiva de dades ( ) que relaciona tota mena d’informació, geogràfica i cronològica inclosa, amb un diagrama jeràrquic ( ) del fons arxivístic. El tauler em diu d’un cop d’ull què s’ha trobat ja, quant representa, i em dona una idea aproximada d’on podria buscar cartes noves. A més, en clicar sobre variables concretes, tots els diagrames s’actualitzen per mostrar correlacions específiques.

Propers passos

Potser més important encara, aquest tauler es pot reconvertir en un índex visual. Quan l’edició crítica d’aquestes cartes es publiqui en línia, el tauler farà de porta d’entrada alternativa des d’on els lectors podran navegar per les dades. Per raons de confidencialitat, de moment només en puc mostrar una captura de pantalla parcialment emmascarada, però l’any que ve publicaré el tauler complet. Mentrestant, aviat n’hi haurà disponible un prototip. Continuarà!

Making & Knowing Project

Sun, 27 Dec 2020 00:00:00 +0000

El , fundat el 2014 per Pamela H. Smith i amb centenars de col·laboradors, és una iniciativa de recerca i de docència del de la Universitat de Colúmbia.

Com a investigador postdoctoral vaig participar en el projecte, treballant, entre altres coses, en l’ del BnF Ms. Fr. 640. Aquest manuscrit francès únic del segle XVI ofereix un testimoni de primera mà sobre les tècniques i els materials d’una època en què els artistes eren científics.

L’edició digital posa una gran quantitat de dades a lliure disposició al seu . Al llarg de l’any que ve tinc la intenció de publicar una sèrie d’entrades de blog sobre l’edició i les seves dades. Mostraré com n’és, de fàcil, descarregar i analitzar el text amb Python o R. Continuarà!

Visualitzar el marcatge semàntic del BnF Ms. Fr. 640

Sun, 20 Dec 2020 18:15:00 +0000

Visió general

Les edicions acadèmiques riques en dades contenen anotacions editorials valuoses que es poden extreure, analitzar i visualitzar amb tota mena de finalitats acadèmiques. És el cas de , publicada el 2020, que posa a disposició el seu fitxer de metadades per descarregar-lo des del seu repositori de GitHub. En aquesta entrada mostro com reunir totes aquestes variables en una matriu de correlació i visualitzar-les de maneres diferents.

Les dades

El Making and Knowing Project genera un full de càlcul amb informació actualitzada sobre el contingut del manuscrit: entry_metadata.csv. El fitxer es pot obtenir al del Making & Knowing. També es poden generar fitxers .csv a mida, amb més marcatge, gràcies a l’excel·lent de Matthew Kumar, una versió en Python del BnF Ms. Fr. 640.

Preparar Python

Farem servir Pandas per manipular les dades, Matplotlib i seaborn per als mapes de calor i, finalment, NetworkX per produir xarxes basades en correlacions.
Per a aquest tipus de variables evitarem el mètode de Pearson i farem servir, en canvi, el mètode 𝜙𝐾. Val la pena sobre aquest mètode de correlació i sobre PhiK, la biblioteca corresponent.

#install packages
pip install phik

# import modules
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import networkx as nx

Preparar les dades

Primer, descarreguem el fitxer de metadades més recent de l’edició des del seu , a la carpeta metadata. Seleccionarem només les columnes que ens calen. Per a aquesta demostració trio totes les etiquetes semàntiques de la traducció anglesa tl, però també es poden triar les de la transcripció francesa tc o les de la versió normalitzada tcn. Les dades arriben com a valors separats per punt i coma, i necessitem que Python els compti per nosaltres. Ho farem amb el mètode stack-unstack i l’expressió regular [^;\s][^\;]*[^;\s]*. Per fer la matriu més llegible, reanomenem cada columna. Si tens pressa pots saltar-te aquest pas; només cal recordar que, en aquest punt, el nostre dataframe es diu tagsrn.

# load the edition's metadata
df = pd.read_csv('entry_metadata.csv')

# select the tags you want to correlate
dftags = df[['al_tl', 'bp_tl', 'cn_tl', 'df_tl', 'env_tl', 'm_tl', 'md_tl', 'ms_tl', 'mu_tl', 'pa_tl', 'pl_tl', 'pn_tl', 'pro_tl', 'sn_tl', 'tl_tl', 'tmp_tl', 'wp_tl', 'de_tl', 'el_tl', 'it_tl', 'la_tl', 'oc_tl', 'po_tl']]

# count comma separated values
tagcount = dftags.stack(dropna=False).str.count(r'[^;\s][^\;]*[^;\s]*').unstack()

# rename columns
tagsrn = tagcount.rename(columns={'al_tl': 'animals', 'bp_tl': 'body parts', 'cn_tl': 'currency', 'df_tl': 'definitions', 'env_tl': 'environment', 'm_tl': 'material', 'md_tl': 'medical', 'ms_tl': 'measurement', 'mu_tl': 'music', 'pa_tl': 'plant', 'pl_tl': 'toponym', 'pn_tl': 'person', 'pro_tl': 'profession', 'sn_tl': 'sensory', 'tl_tl': 'tool', 'tmp_tl': 'temporal', 'wp_tl': 'weapons', 'de_tl': 'German', 'el_tl': 'Greek', 'it_tl': 'Italian', 'la_tl': 'Italian', 'oc_tl': 'Occitan', 'po_tl': 'Poitevin'})

Correlacionar

Un cop net el dataframe, podem passar a calcular els coeficients de correlació entre cada parell de variables. En aquest punt és important entendre bé les dades i assegurar-se que es fa servir el mètode de correlació més adequat. El paquet pandas-profiling és especialment útil per a aquesta tasca.

# calculate correlation coefficient with the phi k method
cortag = tagsrn.phik_matrix()

cortag és la nostra matriu de correlació. Ara podem provar diferents tipus de visualització.

Visualitzar

La primera cosa que podem provar és visualitzar-la com una matriu codificada per colors, amb el de seaborn.

Mapa de calor de correlacions

f, ax = plt.subplots(figsize=(16, 14))
ax = sns.heatmap(cortag, linewidths=.03, vmin=0, cmap="Oranges", square=True)

Qui conegui bé el text veurà de seguida que el mapa de calor té molt de sentit. Per exemple, els noms de persona estan fortament correlacionats amb el llatí, perquè era costum, sobretot entre els humanistes del segle XVI, llatinitzar-los.

Hi haurà qui digui que aquest mapa de calor no fa sinó constatar l’evident. No li faltarà part de raó: a primer cop d’ull, les etiquetes mèdiques en semblen un bon exemple, ja que, com era d’esperar, es correlacionen amb les parts del cos, les mesures i les plantes.

Però si llegim el mapa de calor amb més atenció, línia per línia, hi podem trobar correlacions interessants i inesperades. Que les etiquetes mèdiques, per exemple, es correlacionin amb paraules italianes i llatines ens dona pistes sobre l’origen de les receptes mèdiques del Ms. Fr. 640. De la mateixa manera, la correlació entre professions, definicions i mesures mostra fins a quin punt la identitat professional estructura els discursos tècnics del segle XVI.

Mapa de clústers de correlacions

Els mapes de calor van bé en contextos «exploratoris», però al públic li poden semblar una mica embolicats, sobretot si el que es discuteix – o el que encara es busca – són clústers semàntics concrets dins del manuscrit. El mòdul clustermap de Seaborn pot donar resultats interessants.

clustermap = sns.clustermap(cortag, figsize=(12, 13), dendrogram_ratio=(.1, .2), vmin=0, cmap="Oranges", cbar_pos=(-.06, .12, .03, .68))

A banda de semblar un insecte pixelat (sí, «pixelat» surt al diccionari), el mapa de clústers distingeix clarament les etiquetes aïllades (a dalt i a l’esquerra) de les més interconnectades. També hi distingim clústers aïllats, com ara la música i el poiteví (qui ho hauria dit!), d’altres de més centrals com ara les mesures, els materials, les definicions i les armes. Les professions estan més interconnectades, però no formen part, si més no en aquesta matriu de correlació concreta, de cap clúster en particular.

Xarxa de correlacions

Si volem sintetitzar encara més les correlacions de la matriu, els grafs de xarxa ofereixen una solució elegant, sobretot quan es tracta de comunicar el contingut del manuscrit.
Per fer-ho, cal convertir la matriu en una llista d’arestes i de nodes, i definir un llindar per eliminar del graf les correlacions més febles.

# transform the data
links = cortag.stack().reset_index()
links.columns = ['var1', 'var2','value']

# threshold 
links_filtered = links.loc[(links['value'] > .6) & (links['var1'] != links['var2'])]
links_filtered

# create edges
G = nx.from_pandas_edgelist(links_filtered, 'var1', 'var2')

# draw network using Kamada & Kawai's algorithm 
plt.figure(3,figsize = (12,12))
nx.draw_kamada_kawai(G, with_labels = True, node_color = 'red', node_size = 400, edge_color = 'black', linewidths = 1, font_size = 14)

Si hi ha massa arestes i nodes, sempre es pot modificar el llindar per obtenir un resultat més net. Altrament, es pot exportar el graf per jugar-hi a Gephi amb la funció .write_gexf().

nx.write_gexf(G, 'graph.gexf')

El resultat es pot veure al començament d’aquesta entrada.

Actualització: xarxa circular ponderada

Buscava maneres de mostrar matrius de correlació com a xarxes ponderades i vaig trobar aquest enfocament interessant , que adapto aquí al nostre conjunt de dades.

# create graph weighted by correlation coefficients (unfiltered)
Gx = nx.from_pandas_edgelist(links, 'var1', 'var2', edge_attr=['value'])

# determine a threshold to remove some edges
threshold = 0.4

# list to store edges to remove
remove = []

# loop through edges in Gx and find correlations which are below the threshold
for var1, var2 in Gx.edges():
 corr = Gx[var1][var2]['value']
 #add to remove node list if abs(corr) < threshold
 if abs(corr) < threshold:
 remove.append((var1, var2))

# remove edges contained in the remove list
Gx.remove_edges_from(remove)

print(str(len(remove)) + ' edges removed')

Un cop eliminades unes quantes arestes, podem determinar-ne el color i el gruix.

# determine the colors of edges
def assign_colour(correlation):
 if correlation <= 0.8:
 return '#ff872c' # orange
 else:
 return '#f11d28' # red


def assign_thickness(correlation, benchmark_thickness=3, scaling_factor=3):
 return benchmark_thickness * abs(correlation)**scaling_factor


def assign_node_size(degree, scaling_factor=50):
 return degree * scaling_factor

També donem als nodes una mida proporcional al seu nombre de connexions.

# assign node size depending on number of connections (degree)
node_size = []
for key, value in dict(Gx.degree).items():
 node_size.append(assign_node_size(value))

El resultat és un graf ponderat que admet més nodes i força més arestes, i que continua sent llegible i informatiu.

La correspondència secreta de Filippo Cavriana, 1568—1589.

Fri, 27 Dec 2019 00:00:00 +0000

Les cartes secretes de Filippo Cavriana són un testimoni únic de les guerres de religió de França: durant més de 20 anys recullen les intrigues, les batalles, les negociacions i les conspiracions que marcaven el ritme de la vida a la cort de França i més enllà.

Les cartes, conservades a l’ , estan en bona part disperses en centenars de lligalls sense inventariar, o filze, com en diuen a Florència. Tot i que en els darrers anys he pogut descobrir desenes de cartes noves, aquesta mena de recerca d’arxiu es fa cada cop més difícil. La distància geogràfica respecte de Florència, la degradació d’alguns serveis públics a Itàlia i la pandèmia de covid-19 contribueixen a fer d’aquesta mena de projectes de publicació un procés llarg i incert.

Publicar fonts primàries hauria de continuar formant part, malgrat les dificultats creixents, de l’ofici d’historiador. La forma d’aquestes publicacions, però, probablement ha d’evolucionar. Les publicacions de fonts primàries no només s’haurien d’adaptar a la situació que acabo de descriure, sinó també reflectir millor el caràcter incremental d’aquesta recerca, i fer possible que algú altre la continuï.

D’aquí la idea de desenvolupar un nou tipus de projecte de publicació digital que sigui escalable, sostenible, fiable, independent de la plataforma i potencialment col·laboratiu.

L’edició ja és en línia: . Aplega les cartes transcrites fins ara, procedents dels arxius d’Estat de Florència i de Màntua i de la BnF, i creix a mesura que en surten de noves. He explicat el raonament que hi ha darrere del seu disseny en .