https://clementgodbarge.com/pt/HugoBlox Kit (https://hugoblox.com)pt-ptMon, 24 Oct 2022 00:00:00 +0000https://clementgodbarge.com/media/icon_hu_64a6c3bec25b3d7b.png<link>https://clementgodbarge.com/pt/</link></image><item><title>A cerca, não a fogueira</h1> <article> <h1>A cerca, não a fogueira</h1> Sun, 06 Sep 2026 00:00:00 +0000 Num armazém de North Las Vegas, a Amazon mantém uma máquina que corta a lombada aos livros em segunda mão. As folhas soltas passam por um scanner, e o papel segue depois para a pasta. O comparou a operação a uma queima de livros dos tempos modernos, sem poupar num único cliché: alusões a Savonarola, fotografias de banco de imagens com livros de ar raro e, como não podia deixar de ser, a fogueira de Berlim. Como seria de esperar, os jornais de referência mantiveram mais sangue-frio, mas deixaram a mesma comparação no ar. Por muito indignados que estejam, estes artigos tratam a indústria da IA com uma brandura notável. Quem vai controlar o saber que está a ser digitalizado? Essa pergunta terá de esperar enquanto despachamos o disparate da queima de livros. <h2 id="um-scanner-não-é-uma-fogueira">Um scanner não é uma fogueira</h2> Destruir um exemplar físico não faz, por si só, da digitalização destrutiva um equivalente moderno das fogueiras de Savonarola ou das queimas de livros nazis. Esses atos tiravam o seu sentido daquilo que se condenava, e das razões da condenação. O pobre frade Savonarola, arrastado para todas as polémicas sobre queimas de livros, exortava as pessoas a queimar parte dos seus bens em ato público de penitência. As fogueiras nazis encenavam um repúdio de outra ordem: queimar os livros em público declarava que os seus autores não tinham lugar na vida cultural alemã. Em ambos os casos, a destruição era um espetáculo. A digitalização destrutiva, método corrente nas campanhas de digitalização, serve outro fim: sacrifica-se o exemplar para conservar o conteúdo. O livro é destruído; o texto, desmaterializado. Quem invoca Fahrenheit 451 faria bem em lembrar-se de que os bombeiros de Bradbury não guardavam o texto para mais tarde. A agravou o alarme ao pôr «livros raros» no título, descrição que outros órgãos repetiram obedientemente. Ora, um livreiro citado na sua própria investigação disse que estas encomendas em massa , o que aponta sobretudo para edições publicadas desde a introdução do ISBN, por volta de 1970. É o fundo das feiras de velharias e das lojas solidárias, livros a que só falta uma arrumação da cave para irem parar ao ecoponto. Antes de anunciar uma catástrofe cultural, convinha consultar o catálogo da biblioteca. São precisamente estas as publicações que as bibliotecas de depósito legal existem para preservar. É certo que um ISBN não garante que sobreviva um exemplar de depósito; mas a escassez no mercado em segunda mão também não prova o desaparecimento de um texto. Reduzir a pasta destrói o exemplar físico, incluindo dedicatórias ou notas marginais. Os exemplares com anotações ou proveniência de valor histórico merecem ser identificados e preservados, de preferência antes de chegarem ao mercado em segunda mão. Podemos ainda inquietar-nos com a rarefação dos exemplares físicos de títulos esgotados. Mas então devemos também perguntar por que razão os detentores dos direitos nem os reimprimem nem autorizam o acesso aos fac-símiles digitais existentes. Os investigadores conhecem a frustração: o Google Books encontra a passagem de que precisamos, e depois oferece-nos três linhas de um livro que não se pode comprar novo nem ler em linha. Há aqui perdas que vale a pena discutir. Não transformam um scanner numa fogueira nazi. O comércio livreiro, entretanto, há muito que destrói por rotina os livros que não vende. Só em França, estima-se que , cerca de 60 % da tonelagem devolvida por vender aos distribuidores. A isto chama-se gerir stock. Os exemplares excedentários e os títulos raros em segunda mão levantam questões de acesso diferentes, mas destruir papel não equivale, em si, a censura ou a tirania. <h2 id="mais-livros-melhor-ia">Mais livros, melhor IA?</h2> Que as empresas de IA estejam a comprar e a digitalizar livros é, na verdade, uma boa notícia. Uma tecnologia rotineiramente criticada pela sua compreensão superficial da cultura humana está a adquirir mais dela, e seria de esperar que os académicos aplaudissem o esforço. A web é um pobre sucedâneo do registo acumulado de uma língua. Grande parte da vida escrita de uma língua, dos romances e memórias às canções populares e às conversas transcritas, nunca passou do papel para a web. Muitos destes livros sobreviveram aos seus editores. Levá-los para os dados de treino importa sobretudo onde pouco mais existe. Uns livros a mais em inglês trarão melhorias marginais. Numa língua mal representada, esses mesmos livros podem fazer a diferença entre um sistema utilizável e um sistema inútil. Se estas ferramentas têm lugar nos nossos serviços públicos ou no nosso quotidiano é matéria de debate público. Mas, onde quer que decidamos usá-las, devíamos poder fazê-lo na nossa própria língua. As encomendas noticiadas em Espanha e nos Países Baixos tornam concreto o que está em jogo do ponto de vista linguístico. Em maio, o descrevia um livreiro de Badalona que recebia encomendas sucessivas, sobretudo de não-ficção em catalão: livros de história, manuais técnicos e velhas atas de congressos. Em agosto, a imprensa neerlandesa noticiava um pedido dirigido à De Slegte de . A língua dos livros merece pelo menos tanta atenção como o destino das suas encadernações. Talvez seja pedir demasiado ao Daily Mail. Mas até os jornais mais sóbrios pouco tiveram a dizer sobre as línguas em causa. Os acordos de licenciamento com as grandes editoras também podem fornecer material valioso, mas os seus catálogos digitais cobrem apenas uma fração do que foi impresso. Os livros nunca digitalizados, ou cujos direitos a editora já não detém, ficam fora da oferta. Nem o mais generoso acordo de licenciamento pode substituir a história da edição, e menos ainda a história de uma cultura. Comprar exemplares em segunda mão é uma maneira de ir buscar o que fica para lá dessas fronteiras comerciais. <h2 id="roubo-não-é-argumento">«Roubo» não é argumento</h2> Chamar-lhe «roubo» também não ajuda. Em junho de 2025, dois tribunais distritais dos Estados Unidos decidiram que, nos casos que lhes foram submetidos, usar livros para treinar modelos de linguagem constituía uso legítimo (fair use). Em , o tribunal sublinhou o caráter transformativo do treino: os livros serviram para construir um sistema capaz de produzir expressão nova. Os modelos podem memorizar passagens, mas usar um livro para treino não torna o texto inteiro recuperável a pedido. Nem a ausência de reprodução literal liquida todas as objeções. Em , o juiz avisou que as obras geradas por IA podiam inundar o mercado e que a prova de tal dano poderia derrotar uma defesa de fair use. Estes queixosos, porém, não tinham apresentado prova relevante desse dano às suas próprias obras. Nenhuma das decisões dá às empresas de IA licença ilimitada nem encerra a disputa ética. Obrigam-nos a distinguir como os livros são adquiridos, como as cópias são conservadas e o que o treino faz com elas. Chamar «roubo» a tudo isto deixa essas perguntas sem resposta. Diga-se de passagem que a decisão Anthropic dá à guilhotina a sua razão de ser. O tribunal validou a digitalização de exemplares comprados e rejeitou a acumulação de livros pirateados numa biblioteca permanente, pela qual a empresa viria a . A digitalização passou em parte porque cada exemplar impresso era destruído na conversão: a cópia digital substituía-o e não era partilhada fora da empresa. A destruição que tanto perturba algumas pessoas ajudou a Anthropic a fazer reconhecer o seu programa de digitalização como uso legítimo. Comprar, digitalizar e deitar fora ofereceu, nesse caso, uma via lícita. A guilhotina, aqui, é um instrumento de conformidade. Comprar exemplares pode resolver o problema da aquisição. Não dá a ninguém, por si só, autorização para partilhar o corpus resultante. Há boas razões para querer que a IA beba de mais línguas, de mais erudição e de mais desse mundo que existia antes da internet. Essas razões não desaparecem porque uma empresa de que não gostamos encontrou nisso uma oportunidade comercial. <h2 id="indignação-de-empréstimo">Indignação de empréstimo</h2> Voltemos, pois, ao Daily Mail. O seu artigo insere-se na , uma campanha de proprietários de jornais e editores que reclamam para a IA. Duas substituições convenientes fazem todo o trabalho: as grandes tecnológicas passam por IA, e os detentores de direitos passam por criatividade britânica. Convida-se o leitor a defender a cultura enquanto os editores negoceiam os termos da sua venda. Os académicos que partilham a notícia fariam bem em perguntar-se ao serviço de que causa está a sua indignação. As grandes tecnológicas e as discutem o valor da renda, mas nenhuma delas se opõe à cerca. A história do autor solitário roubado por um gigante tecnológico esconde o que os acordos de licenciamento caros oferecem aos dois campos empresariais: as editoras recebem, e as grandes tecnológicas ganham um mercado em que os rivais mais pequenos não têm meios para competir. Peter Thiel resumiu com mais crueza a preferência de Silicon Valley: . O licenciamento não tem de produzir esse resultado. Um acesso a preço comportável e não exclusivo poderia ajudar os pequenos programadores. Mas um sistema que obriga cada recém-chegado a negociar acordos dispendiosos com os grandes detentores de direitos transforma o poder de compra em condição de entrada. Um pagamento apresentado como concessão às indústrias culturais acaba por comprar proteção contra os rivais de amanhã. <h2 id="a-ia-não-pertence-às-grandes-tecnológicas">A IA não pertence às grandes tecnológicas</h2> Há uma questão mais funda. Demasiadas críticas da IA tomam os seus maiores fornecedores comerciais pelo campo inteiro. Os produtos dominam as manchetes; a investigação e o desenvolvimento para lá dessas empresas desaparecem de vista. As grandes tecnológicas dificilmente poderiam desejar mal-entendido mais útil. A sua ambição de possuir o campo torna-se a premissa da crítica que lhes é dirigida. O monopólio ainda não está garantido. Tratá-lo como coisa feita presta a essas empresas um favor enorme. A IA de código aberto permite construir e adaptar sistemas que refletem uma maior diversidade de línguas, culturas e formas de expressão. Para países de toda a Europa, África e América Latina, bem como para a Coreia do Sul, o Japão e a Índia, é uma base concreta de soberania tecnológica e cultural: a capacidade de decidir como funcionam os sistemas, que línguas servem e onde são usados. Usar ou não a IA, e para que fins, deve continuar a ser uma escolha pública, e não uma decisão ditada pela dependência de um fornecedor estrangeiro. Mas a liberdade de modificar um sistema pouco vale sem os meios para o fazer. O trabalho independente exige competências, infraestrutura de cálculo e acesso a material de treino. O que nos traz de volta aos livros. Se cada equipa de investigação ou cada instituição pública tiver de negociar os seus próprios acordos com as editoras ou de montar a sua própria biblioteca privada, a independência continuará a ser privilégio de quem a pode pagar. <h2 id="os-livros-já-cá-estão">Os livros já cá estão</h2> As bibliotecas e os arquivos passaram gerações a reunir o material de que estes sistemas precisam. As suas coleções existem porque o acesso ao saber deve sobreviver ao interesse comercial em vendê-lo. Muito já está digitalizado: a guarda cerca de dezanove milhões de volumes digitalizados provenientes de bibliotecas de investigação, muitos ainda protegidos por direitos de autor. Uma biblioteca digitaliza um livro e fica com ele. Ali ninguém precisa de guilhotina. A HathiTrust vai , mas anunciou também o , um projeto de acesso a corpora para investigação e desenvolvimento não comerciais em IA. Um acesso nesses termos deixaria ainda de fora alguns programadores independentes. Possuir os livros, contudo, não dá a uma biblioteca o direito de distribuir o seu conteúdo protegido como corpus de treino. O permite às instituições de investigação e às bibliotecas prospetar obras licitamente acessíveis para fins de investigação científica, e autoriza uma prospeção mais ampla quando os detentores de direitos não os reservaram. : a sua exceção de prospeção cobre a investigação não comercial e restringe a transferência de cópias. Nenhum dos dois quadros dá às bibliotecas um direito geral de partilhar os seus fundos protegidos para que outros construam sobre eles. Podíamos também reconsiderar durante quanto tempo os detentores de direitos devem controlar os usos computacionais dos livros. As patentes farmacêuticas oferecem um termo de comparação: o seu prazo normal de vinte anos é muito mais curto do que a proteção dos direitos de autor, que dura a vida do autor e setenta anos depois. Não poderiam os livros ficar disponíveis para prospeção de textos e dados, sem taxas de licenciamento, ao fim de, digamos, vinte anos após a primeira publicação, mantendo-se protegidos os direitos de reedição e de venda? Proteger o direito de um autor a vender um livro não tem de significar controlar durante gerações todas as maneiras de usar o seu conteúdo. Defendi há dois anos, no , que os dados patrimoniais deviam ser tratados como bem público. Os governos deviam financiar as bibliotecas e os arquivos para digitalizarem, transcreverem e documentarem as suas coleções, e dar-lhes autoridade legal para disponibilizar os corpora resultantes a quem queira construir sobre eles. As grandes tecnológicas poderiam ajudar a pagar a conta através de uma taxa específica. O financiamento público deveria vir acompanhado de políticas de coleção e regras de acesso publicadas, abrangendo o trabalho académico e o comercial, sem acordos exclusivos nem acesso privilegiado para doadores. Acesso para treino não tem de significar redistribuição irrestrita de livros protegidos. Os autores deviam participar na conceção do regime público, incluindo na forma como este trata o consentimento, a remuneração e a concorrência às suas obras. O acesso gratuito para os utilizadores não exclui uma remuneração dos autores financiada por fundos públicos. O , que paga aos autores a partir de fundos públicos quando os seus livros são emprestados, oferece um precedente. A fogueira nunca foi a questão. A cerca, sim. </article> <article> <h1>Caros editores: se querem a minha voz, devolvam-me a minha língua</h1> Thu, 27 Aug 2026 00:00:00 +0000 Mais um dia, mais uma revista a apregoar a sua política de IA. Desta vez é a Progress in Human Geography, cujos editores publicaram a avisar que usar a IA como substituto da própria leitura, do próprio pensamento e da própria escrita é «uma violação da ética académica equiparável ao plágio». Os artigos apanhados em falta «poderão ser retirados»; na melhor das hipóteses, serão corrigidos, com um aviso impresso na revista. Os autores, acrescentam os editores, deveriam «ponderar com cuidado se desejam ver o seu nome associado a retiradas e a avisos de correção». Detenhamo-nos nesta frase. A retratação é a sanção suprema da publicação académica, a pena que normalmente se reserva à fabricação de dados e à fraude. Aqui aparece ligada a uma falta que o mesmo editorial não consegue definir. Há, concedem os editores, «verdadeiras zonas cinzentas» e «nenhuma linha clara a demarcar a zona de “irresponsabilidade”». A aplicação assentará em «juízos discricionários que poderão desagradar a alguns autores, os quais alegarão não ter feito uso indevido da IA»: a declaração de cada um, por outras palavras, poderá ser desconsiderada. Segue-se o conselho de permanecer «em segurança na zona de “responsabilidade”»; ora, só se recomenda segurança onde há perigo. Punir pessoas por transporem uma linha que se confessa não saber traçar só faz sentido se o objetivo for governar pelo medo. Não percam isto de vista. <h2 id="o-pretexto-da-voz">O pretexto da voz</h2> Como se reconhece um uso responsável? Diz-se aos autores que «é preciso o maior cuidado… para conservar a sua própria voz». O abuso consiste em recorrer à IA «para escrever numa língua que os autores nunca empregariam normalmente por si mesmos». Para um falante nativo, faz sentido: não finjas ser o que não és. Mas, para o estrangeiro obrigado a escrever numa língua que não é a sua, a injunção contradiz-se a si própria. A voz que a política protege é justamente aquilo que as regras da própria revista nos negam. Tomem-me como cobaia. O inglês é a minha quarta língua, exatamente o género de língua que eu nunca empregaria «normalmente». As universidades anglófonas treinaram-me a escrevê-lo curto, sinalizado, quase mecânico: a frase-tópico à cabeça do parágrafo, as cautelas nos sítios aprovados, as transições tiradas da lista aprovada. O treino resultou: nunca houve no meu inglês uma voz a proteger; foi a primeira coisa que teve de ir. Pela definição dos próprios editores, tudo o que escrevi em inglês seria uso indevido, com ou sem máquina. <h2 id="entre-a-espada-e-a-parede">Entre a espada e a parede</h2> Os editores dizem ter pensado em nós: a política reconhece que os falantes não nativos beneficiam de ter o seu inglês verificado pela IA, e até dos seus «serviços de tradução, escrita e revisão». No entanto, a participação da IA na escrita «não deve exceder, no máximo, uma ajuda à revisão e à correção de provas», e tem de ficar aquém de «grandes blocos de texto escritos por IA». Ora, um artigo traduzido por máquina é escrito por IA da primeira palavra à última; não é feito senão de tais blocos. A concessão só se sustenta, portanto, se traduzir não for escrever. Por onde passa essa linha? Já no-lo disseram: «nenhuma linha clara». Há pior, porque a suspeita não é apenas infalsificável. É viciada. Em 2023, uma equipa de Stanford testou sete detetores de IA de uso corrente em ensaios escritos por humanos: os detetores sinalizaram como gerados por máquina, em média, 61 % dos ensaios do TOEFL redigidos por falantes não nativos, ao passo que classificavam quase na perfeição os dos falantes nativos; um dos detetores condenou 97,8 % do lote do TOEFL ( ). A razão é instrutiva. Os detetores medem a previsibilidade, e o inglês de segunda língua, treinado para a média, é previsível por construção: a palavra mais provável na ordem mais provável. O mesmo estudo encontrou o sinal na produção científica propriamente dita, com menor variabilidade linguística nas comunicações de congresso cujo primeiro autor não é falante nativo. Os indícios de estilo que se leem como «IA» são os indícios de um inglês de segunda língua competente, e o juízo humano lê os mesmos indícios que a máquina. A armadilha fecha-se: escrevo o meu próprio inglês e pareço uma máquina; uso a máquina e violo a regra deles. <h2 id="o-imposto-sobre-a-língua">O imposto sobre a língua</h2> O paradoxo seria inofensivo se não viesse acompanhado de ameaças. Ora, as ameaças revelam um problema mais fundo e mais antigo, que a política nunca nomeia: o monolinguismo. As pedem «a mais ampla cobertura internacional possível» enquanto, na mesma página, «a língua da revista é o inglês». O custo desse arranjo não é hipotético. Inquirindo 908 cientistas do ambiente, Amano e colegas apuraram que os falantes não nativos de inglês gastam até 51 % mais tempo a escrever um artigo, veem-no rejeitado 2,5 vezes mais e são mandados revê-lo 12,5 vezes mais, apenas por motivos de língua ( ). Esse imposto é cobrado antes de qualquer política de IA chegar; o formulário de declaração e as suas ameaças são uma auditoria que lhe vem acrescentar-se. <h2 id="fin-dempire">Fin d’empire</h2> O monolinguismo é o axioma que ninguém discute. É uma herança imperial que adquiriu, com o tempo, uma justificação prática: a tradução era lenta e cara, e nenhum conselho editorial podia avaliar o que não conseguia ler. Ora, nada disto sobrevive aos progressos da tradução automática. A tradução automática de última geração pode servir de camada fiável entre autores e editores. A saída ideal é humana: os investigadores deviam ler mais do que uma língua. Em vez disso, as universidades anglófonas preferem fechar os departamentos de línguas modernas. Note-se que os encerramentos são um fenómeno anglo-americano: noutras paragens, os investigadores nunca tiveram o luxo do monolinguismo. E note-se o momento. Fechar um departamento de línguas é fazer uma aposta: a de que o inglês venceu de vez e de que nunca mais se escreverá noutra língua nada que valha a pena ler. Essa aposta faz-se precisamente na pior altura, e por partida dobrada. Primeiro, porque a tradução automática torna possível, pela primeira vez, dispensar de todo uma língua franca; segundo, porque a ordem que fez do inglês a língua por defeito está em refluxo: a anglosfera fecha-se sobre si mesma, a globalização recua, o comércio livre é contestado nos seus próprios berços, e desenha-se um mundo multipolar em que as línguas que vale a pena ler se multiplicarão. As universidades formam investigadores que só leem inglês para um mundo em que o inglês não bastará. Os conselhos editoriais serão os primeiros a herdar essa perda. <h2 id="uma-prova-para-os-editores">Uma prova para os editores</h2> Quando um conselho editorial se lamenta de não conseguir ler a voz própria dos seus autores, talvez parte do problema esteja no próprio conselho. É uma acusação séria, e vem acompanhada de uma prova séria. Aceitaria a Progress in Human Geography submeter a arbitragem um artigo escrito em francês, italiano ou japonês, acompanhado de uma versão inglesa traduzida automaticamente? As próprias instruções da revista reconhecem os serviços «de tradução» que o tornam possível. Um sim põe fim ao problema. Um não dir-nos-ia o que a política protege na realidade. Seja como for, a escolha cabe aos editores. Se a voz importa, como afirmam, a revista deve aceitar artigos nas línguas em que os autores pensam. Se não importa, que desapareça o formulário de declaração, e as ameaças com ele. </article> <article> <h1>tei-mcp v0.3: codificar em TEI sem reescrever a fonte</h1> Tue, 05 May 2026 00:00:00 +0000 Quando , o objetivo era impedir os assistentes de IA de alucinar marcação TEI. A ancoragem no esquema resolveu parte do problema: com acesso direto, por ferramentas, à especificação P5, o modelo já não tem de adivinhar o que um elemento significa nem que atributos aceita. O resultado valida. Mas a alucinação tem duas faces na codificação TEI, e o esquema só apanha uma delas. Validar contra a especificação diz-nos que a marcação está bem formada. Nada diz sobre o texto que essa marcação envolve. E é aí – no próprio texto – que vivem as alucinações mais nocivas. A composição por intervalos bloqueados, a grande novidade da v0.3, foi concebida especificamente para as impedir. <details class="print:hidden xl:hidden" > <summary>Lista de Conteúdos</summary> <div class="text-sm"> <nav id="TableOfContents"> <ul> <li><a href="#a-alucinação-que-o-esquema-não-apanha">A alucinação que o esquema não apanha</a></li> <li><a href="#a-composição-por-intervalos-bloqueados">A composição por intervalos bloqueados</a></li> <li><a href="#o-que-isto-é-e-o-que-não-é">O que isto é, e o que não é</a></li> <li><a href="#porque-é-que-isto-importa-para-lá-da-tei">Porque é que isto importa para lá da TEI</a></li> <li><a href="#obter-a-atualização">Obter a atualização</a></li> </ul> </nav> </div> </details> <h2 id="a-alucinação-que-o-esquema-não-apanha">A alucinação que o esquema não apanha</h2> Peça-se a um modelo que codifique uma carta francesa do século XVI e receber-se-á muitas vezes um documento TEI de aspeto impecável. O cabeçalho está preenchido, as etiquetas <code><persName></code> estão bem colocadas, o <code><dateline></code> está bem formado. Passe-se pelo <code>validate_document</code> e ele passa. Compare-se depois o corpo com a fonte. <code>mesme</code> passou a <code>même</code>. Uma vírgula mudou de sítio. <code>luy</code> foi silenciosamente modernizado em <code>lui</code>. Uma oração de leitura difícil no manuscrito foi «corrigida» para algo mais limpo. Nenhuma destas alterações foi pedida. Nenhuma é assinalada. O documento é válido segundo o esquema e está discretamente errado. Para um fluxo de trabalho de arquivo – em que o texto codificado se torna o registo permanente de que dependem leitores, índices de pesquisa e citações – é este o modo de falha que mais importa. Uma etiqueta malformada é um incómodo. Uma grafia modernizada de que ninguém dá conta durante cinco anos é uma corrupção. <h2 id="a-composição-por-intervalos-bloqueados">A composição por intervalos bloqueados</h2> A nova versão (v0.3) traz um mecanismo de prevenção de alucinações apontado diretamente a este modo de falha. O objetivo de design é tornar as alucinações no corpo do texto impossíveis por construção, e não apenas improváveis. A ideia é simples: o modelo nunca escreve texto de corpo. Em vez disso, o fluxo de trabalho é o seguinte: <ol> <li>O modelo chama <code>get_source("letter_001")</code> e recebe o texto simples da fonte como cadeia imutável.</li> <li>Para cada etiqueta que queira aplicar, chama <code>tag_span("letter_001", start, end, element_path, attrs)</code> – registando um elemento TEI sobre um intervalo de caracteres da fonte.</li> <li>Quando termina, chama <code>compose("letter_001")</code>. O servidor intercala as etiquetas registadas com o texto simples original, gera o TEI final e verifica depois, byte a byte, que o conteúdo textual plano do documento gerado é igual à fonte.</li> </ol> Se os bytes coincidem, o documento é devolvido. Se não coincidem – se as etiquetas do modelo implicarem de algum modo um corpo que difere da fonte num único caráter que seja –, <code>compose()</code> lança uma exceção em vez de devolver um documento corrompido. Não há caminho, neste fluxo de trabalho, em que o modelo produza um documento TEI cujo corpo difira da fonte. O invariante é mecânico, não comportamental. Não é preciso confiar que o modelo não alucina; basta confiar numa comparação <code>==</code> entre duas cadeias de bytes. <h2 id="o-que-isto-é-e-o-que-não-é">O que isto é, e o que não é</h2> A composição por intervalos bloqueados é complementar da ancoragem no esquema; não a substitui. As ferramentas de ancoragem no esquema (<code>validate_document</code>, <code>lookup_element</code>, <code>valid_children</code> e as restantes das dezasseis originais) ajudam o modelo a produzir TEI válida. A composição por intervalos bloqueados garante que o corpo do texto dentro dessa TEI é fiel à fonte. Um fluxo de codificação que se possa pôr em produção tem de satisfazer os dois eixos, e agora ambos ficam cobertos por um único servidor. Também não é uma varinha mágica para tudo. <code>compose()</code> ainda não verifica se as etiquetas registadas são admissíveis segundo uma personalização ODD carregada – fica para uma próxima versão. As etiquetas registadas vivem na memória do processo e não sobrevivem a um reinício. E os ficheiros-fonte têm de ser legíveis a partir de onde quer que o servidor corra. Tudo isto tem solução; nada disto abala o invariante central. <h2 id="porque-é-que-isto-importa-para-lá-da-tei">Porque é que isto importa para lá da TEI</h2> O padrão generaliza-se. Sempre que se pede a um modelo que anote, transforme ou envolva um pedaço de texto – e sempre que a integridade do texto subjacente importa mais do que a capacidade do modelo para o «melhorar» –, aplica-se a mesma forma de solução. Não peça ao modelo que reescreva o texto. Peça-lhe que produza instruções sobre o texto, e deixe que um compositor determinista as aplique sob um invariante de igualdade. Para as edições digitais em particular, isto muda o que se pode pedir a um modelo com responsabilidade. A codificação torna-se de repente uma tarefa delegável sem ter de comparar à mão cada resultado com a fonte. A máquina faz o caminho enfadonho; o editor revê a marcação, não a ortografia. <h2 id="obter-a-atualização">Obter a atualização</h2> Se já tem o tei-mcp instalado: <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash">uvx tei-mcp@latest </code></pre></div>Ou de raiz: <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash">pip install tei-mcp </code></pre></div>Para usar a composição por intervalos bloqueados, aponte o servidor para uma diretoria de ficheiros-fonte em texto simples: <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash">export TEI_MCP_SPAN_SOURCE_ROOT=/path/to/sources uvx tei-mcp </code></pre></div>O radical do nome de cada ficheiro passa a ser o seu identificador de documento (<code>letter_001.txt</code> → <code>letter_001</code>). Código-fonte, documentação completa e notas de design do invariante: </article> <article> <h1>Uma edição digital de outro tipo</h1> Tue, 24 Mar 2026 00:00:00 +0000 A maior parte das fontes primárias nunca chega a ser publicada. O modelo em que confiamos para remediar isso, a edição digital financiada por bolsas, é demasiado caro, demasiado centralizado e demasiado frágil para funcionar em escala. Acabo de publicar em que explico por que estou a construir de outra maneira a edição crítica das cartas de Cavriana: fontes primárias digitalizadas que crescem organicamente, com infraestrutura mínima, manutenção automatizada, abertas à colaboração e tão baratas que nem sequer precisam de bolsas. É um argumento a favor de umas humanidades digitais que funcionam com ou sem apoio institucional. </article> <article> <h1>tei-mcp</h1> Sun, 15 Mar 2026 00:00:00 +0000 <h2 id="tei-mcp-a-tei-p5-ao-alcance-dos-agentes-de-ia">tei-mcp: a TEI P5 ao alcance dos agentes de IA</h2> O tei-mcp é um servidor de código aberto que dá aos assistentes de programação por IA acesso direto à especificação . Em vez de se fiar em dados de treino memorizados – o que produz muitas vezes marcação plausível, mas incorreta –, a IA pode consultar a especificação em tempo real. <h2 id="funcionalidades">Funcionalidades</h2> O servidor analisa a ODD da TEI P5 e expõe 16 ferramentas: <ul> <li>Consultar qualquer elemento, classe, macro ou módulo pelo nome, sem distinção de maiúsculas e com sugestões em caso de gralha</li> <li>Resolver atributos ao longo de toda a hierarquia de classes da TEI (locais + herdados)</li> <li>Expandir modelos de conteúdo em árvores estruturadas, com resolução de classes e macros</li> <li>Validar o aninhamento – relação direta pai-filho ou acessibilidade recursiva, com registo do caminho</li> <li>Validar documentos contra a TEI P5: modelos de conteúdo, atributos, listas fechadas de valores, integridade das referências e avisos de depreciação</li> <li>Validar elementos isolados para fluxos de edição incremental</li> <li>Carregar personalizações ODD para restringir o esquema a um subconjunto específico do projeto</li> <li>Pesquisar em todos os tipos de entidade com expressões regulares</li> </ul> <h2 id="instalação">Instalação</h2> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash">pip install tei-mcp </code></pre></div>Ou executar diretamente com: <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash">uvx tei-mcp </code></pre></div><h2 id="utilização">Utilização</h2> Acrescente-o a qualquer cliente compatível com MCP (Claude, Cursor, Windsurf, etc.): <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-json" data-lang="json">{ "mcpServers": { "tei": { "command": "uvx", "args": ["tei-mcp"] } } } </code></pre></div>O código-fonte e a documentação estão no . </article> <article> <h1>tei-mcp: a TEI P5 ao alcance dos agentes de IA</h1> Sun, 15 Mar 2026 00:00:00 +0000 Quem já tenha usado um assistente de programação por IA para escrever XML TEI terá reparado que ele se engana. Aparecem elementos onde não deviam. Inventam-se atributos. Ignoram-se as regras de aninhamento. O modelo tem uma ideia vaga do aspeto da TEI, mas nenhum conhecimento fiável da especificação. O tei-mcp resolve o problema dando aos agentes de IA acesso direto, por meio de ferramentas, às Guidelines da TEI P5. <details class="print:hidden xl:hidden" > <summary>Lista de Conteúdos</summary> <div class="text-sm"> <nav id="TableOfContents"> <ul> <li><a href="#o-que-é-o-mcp">O que é o MCP?</a></li> <li><a href="#o-que-faz-o-tei-mcp">O que faz o tei-mcp</a></li> <li><a href="#porque-é-que-isto-importa">Porque é que isto importa</a></li> <li><a href="#primeiros-passos">Primeiros passos</a></li> </ul> </nav> </div> </details> <h2 id="o-que-é-o-mcp">O que é o MCP?</h2> O (MCP) é uma norma aberta que permite às aplicações de IA ligar-se a fontes de dados e ferramentas externas. Pense-se nele como uma porta USB para a IA: um protocolo único que permite a qualquer cliente compatível – Claude, Cursor, Windsurf e outros – ligar-se a serviços especializados. Um servidor MCP expõe ferramentas que a IA pode invocar durante uma conversa. Em vez de se fiar em dados de treino memorizados, o modelo pode consultar uma fonte viva e autorizada. <h2 id="o-que-faz-o-tei-mcp">O que faz o tei-mcp</h2> O tei-mcp analisa a especificação ODD da TEI P5 e expõe 16 ferramentas que cobrem as perguntas mais frequentes de um editor ou codificador: <ul> <li>O que é este elemento? Consultar qualquer elemento, classe, macro ou módulo pelo nome, sem distinção de maiúsculas e com sugestões em caso de gralha.</li> <li>Que atributos aceita? Resolver os atributos ao longo de toda a hierarquia de classes – primeiro os locais, depois os herdados, por ordem.</li> <li>O que pode conter? Expandir os modelos de conteúdo em árvores estruturadas, ou obter uma lista simples dos filhos válidos.</li> <li>Este elemento pode ir aqui? Verificar o aninhamento pai-filho, ou seguir a acessibilidade através de toda a hierarquia de elementos.</li> <li>O meu documento é válido? Validar um ficheiro XML TEI contra a especificação: modelos de conteúdo, valores de atributos, listas fechadas de valores, integridade das referências e avisos de depreciação.</li> <li>E o esquema do meu projeto? Carregar um ficheiro de personalização ODD para restringir tudo o que precede ao subconjunto de TEI próprio do seu projeto.</li> </ul> <h2 id="porque-é-que-isto-importa">Porque é que isto importa</h2> Codificar em TEI exige consultar as Guidelines a toda a hora. Os codificadores experientes interiorizam os padrões mais comuns, mas até eles têm de verificar a especificação quando se trata de elementos menos familiares ou de modelos de conteúdo complexos. Para os assistentes de IA, que não têm esse conhecimento interiorizado, o problema é pior: alucinam marcação de aspeto plausível, mas incorreta. Com o tei-mcp, a IA não tem de adivinhar. Pode procurar a resposta na especificação antes de escrever um único parêntese angular. O resultado é marcação conforme à TEI P5 – ou à personalização ODD do seu projeto. <h2 id="primeiros-passos">Primeiros passos</h2> Instale a partir do PyPI: <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash">pip install tei-mcp </code></pre></div>Depois, acrescente-o à configuração do seu cliente MCP: <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-json" data-lang="json">{ "mcpServers": { "tei": { "command": "uvx", "args": ["tei-mcp"] } } } </code></pre></div>O servidor descarrega a especificação TEI na primeira execução e funciona com qualquer cliente compatível com MCP. Código-fonte e documentação completa: </article> <article> <h1>Multi-Saxon</h1> Fri, 28 Mar 2025 00:00:00 +0000 <h2 id="multi-saxon-processamento-xslt-em-paralelo-para-grandes-corpora-tei">Multi-Saxon: processamento XSLT em paralelo para grandes corpora TEI</h2> O Multi-Saxon colmata uma lacuna crítica das ferramentas de processamento de XML: permite executar em paralelo transformações XSLT 2.0 e 3.0 que o LXML (uma biblioteca Python de XML muito usada) não consegue processar. Concebido especificamente para grandes coleções de documentos XML TEI, o Multi-Saxon acelera consideravelmente o processamento graças a uma execução paralela eficiente. <h2 id="características-principais">Características principais</h2> <ul> <li>XSLT avançado: processa transformações XSLT 2.0 e 3.0, para lá das capacidades do LXML</li> <li>Processamento paralelo: reduz drasticamente o tempo de transformação de grandes coleções de documentos graças à paralelização</li> <li>Otimizado para TEI: concebido especificamente para documentos XML da Text Encoding Initiative (TEI)</li> <li>Desempenho escalável: lida eficientemente com corpora de centenas a milhares de documentos</li> <li>Multiplataforma: funciona em diferentes sistemas operativos e ambientes</li> </ul> <h2 id="o-problema-que-o-multi-saxon-resolve">O problema que o Multi-Saxon resolve</h2> Os investigadores em humanidades digitais que trabalham com TEI deparam-se muitas vezes com dois obstáculos importantes: <ol> <li>O LXML (biblioteca Python corrente para o processamento de XML) só aceita XSLT 1.0, o que impede o uso das funcionalidades mais avançadas do XSLT 2.0/3.0</li> <li>Processar sequencialmente grandes corpora de documentos TEI pode levar um tempo proibitivo</li> </ol> O Multi-Saxon responde a ambos os problemas tirando partido das capacidades XSLT avançadas do Saxon e distribuindo o processamento por vários núcleos, com ganhos de desempenho significativos. <h2 id="implementação">Implementação</h2> O Multi-Saxon combina Python com o processador Saxon, em Java, para criar um pipeline de transformação de alto desempenho: <ul> <li>Usa a biblioteca Java Saxon para um processamento robusto de XSLT 2.0/3.0</li> <li>Implementa multiprocessamento para distribuir as transformações pelos núcleos de CPU disponíveis</li> <li>Gere eficientemente os pools de processadores para maximizar o débito</li> <li>Oferece uma interface simples para o processamento em lote de documentos TEI</li> </ul> <h2 id="exemplo-de-utilização">Exemplo de utilização</h2> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python">from multi_saxon import MultiSaxon # Initialize with your XSLT stylesheet transformer = MultiSaxon("transform.xsl") # Transform a single document transformer.transform("input.xml", "output.xml") # Transform an entire directory in parallel transformer.transform_directory("input_dir", "output_dir") </code></pre></div><h2 id="impacto-para-as-humanidades-digitais">Impacto para as humanidades digitais</h2> Para os projetos de humanidades digitais que lidam com grandes coleções de documentos TEI, o Multi-Saxon permite: <ul> <li>Transformações complexas à escala do corpus, impossíveis com o LXML</li> <li>Tempos de processamento drasticamente reduzidos (muitas vezes por fatores de 5 a 10 em sistemas multinúcleo)</li> <li>Análises mais sofisticadas graças às funcionalidades avançadas do XSLT 2.0/3.0</li> <li>Um fluxo de trabalho simplificado para processar coleções inteiras de documentos</li> </ul> O código-fonte e a documentação estão no . </article> <article> <h1>persNamer</h1> Fri, 28 Mar 2025 00:00:00 +0000 <h2 id="persnamer-ligar-a-tei-ao-virtual-international-authority-file">persNamer: ligar a TEI ao Virtual International Authority File</h2> O persNamer é uma ferramenta especializada em Python que simplifica a integração de dados de autoridade sobre pessoas, provenientes do VIAF (Virtual International Authority File), em documentos XML TEI. Ao converter identificadores VIAF em marcação TEI pronta a usar, o persNamer reduz consideravelmente o trabalho manual de criação de entradas estruturadas de pessoas para as edições académicas digitais. <h2 id="o-desafio-do-controlo-de-autoridade-em-tei">O desafio do controlo de autoridade em TEI</h2> As edições académicas digitais exigem muitas vezes a identificação precisa de personagens históricas, com os seus nomes normalizados e datas de vida. Manter um controlo de autoridade coerente ao longo de um projeto obriga a: <ol> <li>Identificar as pessoas nos textos históricos</li> <li>Encontrar dados de autoridade a seu respeito</li> <li>Criar entradas TEI corretamente formatadas</li> <li>Garantir referências coerentes em todo o projeto</li> </ol> Estes passos são, por norma, manuais, demorados e propensos a incoerências. <h2 id="como-funciona-o-persnamer">Como funciona o persNamer</h2> O persNamer automatiza este fluxo de trabalho: <ol> <li>Obtenção dos dados VIAF: a partir de um identificador VIAF, a ferramenta recupera os dados RDF por negociação de conteúdo HTTP</li> <li>Extração da informação essencial: analisa o RDF para extrair o nome preferido, a data de nascimento e a data de morte</li> <li>Geração da marcação TEI: cria dois fragmentos XML essenciais: <ul> <li>Uma entrada de ficheiro de autoridade (elemento <code><person></code> com um <code>xml:id</code> gerado, <code><persName></code>, <code><birth></code>, <code><death></code> e <code><idno type="VIAF"></code>)</li> <li>Uma etiqueta de anotação separada (<code><persName></code> com um atributo <code>ref</code> que remete para a entrada de autoridade)</li> </ul> </li> </ol> Esta dupla saída permite aos editores manter um ficheiro de autoridade centralizado e, ao mesmo tempo, inserir facilmente etiquetas de anotação nos seus textos TEI. <h2 id="características-principais">Características principais</h2> <ul> <li>Geração normalizada de identificadores: cria IDs XML coerentes no formato <code>pers-[familyname]-[givenname initial]</code> (p. ex., <code>pers-deteligny-c</code>)</li> <li>Análise de RDF: usa o <code>rdflib</code> para extrair informação de várias propriedades RDF (p. ex., <code>rdfs:label</code>, <code>schema:name</code>, <code>viaf:mainHead</code>)</li> <li>Interface de linha de comandos: execução simples, com o número VIAF como único argumento obrigatório</li> <li>Saída detalhada: fornece informação pormenorizada sobre o processamento, a par do XML final</li> </ul> <h2 id="exemplo-de-utilização">Exemplo de utilização</h2> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash">python persNamer.py 314802260 </code></pre></div>Este comando produz: <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-xml" data-lang="xml"><person xml:id="pers-deteligny-c"> <persName>Charles deTéligny</persName> <birth>1535</birth> <death>1572-08-24</death> <idno type="VIAF">314802260</idno> </person> <persName ref="#pers-deteligny-c">Charles deTéligny</persName> </code></pre></div><h2 id="aplicações-nas-humanidades-digitais">Aplicações nas humanidades digitais</h2> O persNamer é particularmente útil para: <ul> <li>Edições académicas digitais que exijam controlo de autoridade</li> <li>Projetos de codificação TEI que trabalhem com figuras históricas</li> <li>Iniciativas de dados ligados que liguem documentos a registos de autoridade</li> <li>Garantir a coerência em grandes corpora TEI</li> <li>Ensinar os conceitos do controlo de autoridade em cursos de humanidades digitais</li> </ul> <h2 id="implementação">Implementação</h2> O persNamer está escrito em Python e depende de: <ul> <li><code>requests</code> para os pedidos HTTP</li> <li><code>rdflib</code> para a análise de RDF</li> <li><code>lxml</code> para o tratamento de XML</li> </ul> O código-fonte e a documentação estão no . </article> <article> <h1>Emulador de telégrafo ITA2</h1> Thu, 13 Feb 2025 00:00:00 +0000 Este emulador ITA2 é um auxiliar pedagógico de uso prático: dá forma visível e interativa a conceitos abstratos de codificação. Quando os estudantes escrevem um texto e o veem converter-se de imediato em padrões de furos, estão a aprender vários conceitos-chave da informática e das telecomunicações. <h2 id="vantagens-pedagógicas">Vantagens pedagógicas</h2> Em primeiro lugar, demonstra a representação binária – como um texto se converte em sequências de 1 e 0. Costumamos ensiná-la em abstrato; ora, ver os furos aparecerem na fita ajuda os estudantes a perceber como um sistema físico pode representar informação digital. <div class="baudot-emulator"> <h2>ITA2 (Baudot-Murray) Telegraph Type Emulator</h2> Type a word in the input below to see its representation on the ITA2 tape. <div class="baudot-controls"> <label for="baudot-input">Type word:</label> <input id="baudot-input" class="text-input" size="50" maxlength="50" /> <button type="button" id="baudot-ltr-button" class="control-button active">LTR</button> <button type="button" id="baudot-fig-button" class="control-button">FIG</button> </div> <div class="tape-outer-container"> <div class="tape-container"> <table> <tbody id="baudot-tape"></tbody> </table> </div> </div> <style> .baudot-emulator { --light-color: #f3f4f6; --dark-color: #1f2937; --light-alt-color: #e5e7eb; --dark-alt-color: #374151; font-family: -apple-system, BlinkMacSystemFont, 'Segoe UI', Roboto, Oxygen-Sans, Ubuntu, Cantarell, 'Helvetica Neue', sans-serif; max-width: 100%; margin: 2rem 0; padding: 0; box-sizing: border-box; } .baudot-emulator { --tape-bg: var(--light-color); --hole-bg: var(--light-color); --hole-border: #d1d5db; --punched-bg: var(--dark-color); --punched-border: var(--dark-color); --sprocket-bg: var(--light-color); --sprocket-border: #9ca3af; --button-bg: var(--light-color); --button-bg-active: #d1d5db; --button-text: var(--dark-color); --button-border: #d1d5db; --input-bg: white; --input-border: #d1d5db; --input-text: var(--dark-color); --line-number: #6b7280; } html.dark .baudot-emulator, html[data-theme='dark'] .baudot-emulator, body.dark .baudot-emulator { --tape-bg: var(--dark-alt-color); --hole-bg: var(--dark-alt-color); --hole-border: #4b5563; --punched-bg: var(--light-color); --punched-border: var(--light-color); --sprocket-bg: var(--dark-alt-color); --sprocket-border: #9ca3af; --button-bg: var(--dark-alt-color); --button-bg-active: #4b5563; --button-text: var(--light-color); --button-border: #4b5563; --input-bg: var(--dark-alt-color); --input-border: #4b5563; --input-text: var(--light-color); --line-number: #9ca3af; } .baudot-controls { margin-bottom: 1.5rem; display: flex; flex-wrap: wrap; align-items: center; gap: 0.5rem; } .baudot-emulator .text-input { flex: 1; min-width: 200px; padding: 0.5rem; font-size: 1rem; border: 1px solid var(--input-border); border-radius: 4px; background: var(--input-bg); color: var(--input-text); } .baudot-emulator .control-button { padding: 0.5rem 1rem; background: var(--button-bg); color: var(--button-text); border: 1px solid var(--button-border); border-radius: 4px; cursor: pointer; font-size: 0.9rem; } .baudot-emulator .control-button.active { background: var(--button-bg-active); font-weight: bold; } .tape-outer-container { padding: 0; margin-bottom: 1.5rem; border-radius: 4px; overflow: hidden; } .tape-container { width: 100%; overflow-x: auto; background: var(--tape-bg); padding: 1rem 0.5rem; } .baudot-emulator table { border-collapse: collapse; width: 100%; table-layout: fixed; border: none; } .baudot-emulator tr { height: 24px; border: none; } .baudot-emulator td { border: none; padding: 0; } .baudot-emulator .line-number { width: 20px; text-align: center; color: var(--line-number); font-size: 0.8rem; padding: 0 8px 0 0; font-weight: bold; } .baudot-emulator .cell { position: relative; width: 20px; height: 20px; } .baudot-emulator .cell-content { position: absolute; top: 50%; left: 50%; transform: translate(-50%, -50%); width: 12px; height: 12px; border-radius: 50%; background: var(--hole-bg); border: 1px solid var(--hole-border); } .baudot-emulator .punched .cell-content { background: var(--punched-bg); border: 1px solid var(--punched-border); } .baudot-emulator .sprocket-hole { position: absolute; left: 50%; top: 100%; transform: translate(-50%, -50%); width: 4px; height: 4px; border-radius: 50%; background: var(--sprocket-bg); border: 1px solid var(--sprocket-border); z-index: 2; } </style> <script> document.addEventListener('DOMContentLoaded', function() { initBaudotEmulator(); }); function initBaudotEmulator() { if (!document.getElementById('baudot-input')) return; const textInput = document.getElementById('baudot-input'); const tape = document.getElementById('baudot-tape'); const ltrButton = document.getElementById('baudot-ltr-button'); const figButton = document.getElementById('baudot-fig-button'); const ita2Code = { 'A': '00011', 'B': '11001', 'C': '01110', 'D': '01001', 'E': '00001', 'F': '01101', 'G': '11010', 'H': '10100', 'I': '00110', 'J': '01011', 'K': '01111', 'L': '10010', 'M': '11100', 'N': '01100', 'O': '11000', 'P': '10110', 'Q': '10111', 'R': '01010', 'S': '00101', 'T': '10000', 'U': '00111', 'V': '11110', 'W': '10011', 'X': '11101', 'Y': '10101', 'Z': '10001', '1': '00011', '2': '11001', '3': '01110', '4': '01001', '5': '00001', '6': '01101', '7': '11010', '8': '10100', '9': '01011', '0': '11000', '-': '00011', '?': '00100', ':': '01010', '(': '11000', ')': '11101', '.': '01000', ',': '00010', "'": '10001', '=': '01111', '/': '10011', '+': '11011', ' ': '00100', 'FIG': '11011', 'LTR': '11111', }; function generateTape() { let rows = ''; for (let row = 0; row < 5; row++) { rows += '<tr>'; rows += `<td class="line-number">${row + 1}</td>`; for (let col = 0; col < 50; col++) { rows += `<td id="baudot_${row}_${col}" class="cell unpunched"> <div class="cell-content"></div> ${row === 2 ? '<div class="sprocket-hole"></div>' : ''} </td>`; } rows += '</tr>'; } tape.innerHTML = rows; } function updateITA2Code(word) { clearTape(); word = word.toUpperCase(); let tapePosition = 0; let currentCharType = 'LTR'; ltrButton.classList.add('active'); figButton.classList.remove('active'); for (let i = 0; i < word.length; i++) { const char = word[i]; let code = ita2Code[char] || ita2Code[' ']; let requiredCharType = /[A-Z ]/.test(char) ? 'LTR' : 'FIG'; if (requiredCharType !== currentCharType) { const shiftCode = requiredCharType === 'LTR' ? ita2Code['LTR'] : ita2Code['FIG']; punchTape(shiftCode, tapePosition++); currentCharType = requiredCharType; ltrButton.classList.toggle('active', currentCharType === 'LTR'); figButton.classList.toggle('active', currentCharType === 'FIG'); } punchTape(code, tapePosition++); } } function punchTape(code, tapePosition) { if (tapePosition >= 50) return; for (let bit = 0; bit < 5; bit++) { const cell = document.getElementById(`baudot_${bit}_${tapePosition}`); if (cell) { cell.className = code[bit] === '1' ? 'cell punched' : 'cell unpunched'; } } } function clearTape() { for (let i = 0; i < 50; i++) { for (let bit = 0; bit < 5; bit++) { const cell = document.getElementById(`baudot_${bit}_${i}`); if (cell) { cell.className = 'cell unpunched'; } } } } generateTape(); textInput.addEventListener('input', function() { updateITA2Code(this.value); }); ltrButton.addEventListener('click', function() { this.classList.add('active'); figButton.classList.remove('active'); if (textInput.value) { updateITA2Code(textInput.value); } }); figButton.addEventListener('click', function() { this.classList.add('active'); ltrButton.classList.remove('active'); if (textInput.value) { updateITA2Code(textInput.value); } }); if (textInput.value) { updateITA2Code(textInput.value); } } </script> </div> O mecanismo de comutação LETTERS/FIGURES (letras/algarismos) introduz as máquinas de estados com toda a naturalidade. Experimentando, os estudantes descobrem que o mesmo padrão pode representar caracteres diferentes consoante o modo ativo. Esta experiência direta da codificação dependente de um estado prepara-os para conceitos informáticos mais complexos. <h2 id="pormenores-de-implementação">Pormenores de implementação</h2> O emulador está escrito em JavaScript e HTML/CSS, o que o torna fácil de incorporar em qualquer página web. O código é modular e pode adaptar-se a diferentes contextos educativos. O código-fonte está disponível, e o emulador pode ser experimentado, no . </article> <article> <h1>Ensinar o binário com o emulador de telégrafo ITA2</h1> Thu, 13 Feb 2025 00:00:00 +0000 <h2 id="tornar-tangível-o-abstrato">Tornar tangível o abstrato</h2> Este emulador ITA2 é um auxiliar pedagógico de uso prático. Ao dar forma visível e interativa a conceitos abstratos de codificação, introduz os estudantes numa noção central da informática e das telecomunicações: a representação binária – ou seja, como um texto se converte em sequências de uns e zeros. Costumamos ensiná-la em abstrato; ora, ver os furos aparecerem na fita ajuda os estudantes a perceber como um sistema físico pode representar informação digital. <div class="baudot-emulator"> <h2>ITA2 (Baudot-Murray) Telegraph Type Emulator</h2> Type a word in the input below to see its representation on the ITA2 tape. <div class="baudot-controls"> <label for="baudot-input">Type word:</label> <input id="baudot-input" class="text-input" size="50" maxlength="50" /> <button type="button" id="baudot-ltr-button" class="control-button active">LTR</button> <button type="button" id="baudot-fig-button" class="control-button">FIG</button> </div> <div class="tape-outer-container"> <div class="tape-container"> <table> <tbody id="baudot-tape"></tbody> </table> </div> </div> <style> .baudot-emulator { --light-color: #f3f4f6; --dark-color: #1f2937; --light-alt-color: #e5e7eb; --dark-alt-color: #374151; font-family: -apple-system, BlinkMacSystemFont, 'Segoe UI', Roboto, Oxygen-Sans, Ubuntu, Cantarell, 'Helvetica Neue', sans-serif; max-width: 100%; margin: 2rem 0; padding: 0; box-sizing: border-box; } .baudot-emulator { --tape-bg: var(--light-color); --hole-bg: var(--light-color); --hole-border: #d1d5db; --punched-bg: var(--dark-color); --punched-border: var(--dark-color); --sprocket-bg: var(--light-color); --sprocket-border: #9ca3af; --button-bg: var(--light-color); --button-bg-active: #d1d5db; --button-text: var(--dark-color); --button-border: #d1d5db; --input-bg: white; --input-border: #d1d5db; --input-text: var(--dark-color); --line-number: #6b7280; } html.dark .baudot-emulator, html[data-theme='dark'] .baudot-emulator, body.dark .baudot-emulator { --tape-bg: var(--dark-alt-color); --hole-bg: var(--dark-alt-color); --hole-border: #4b5563; --punched-bg: var(--light-color); --punched-border: var(--light-color); --sprocket-bg: var(--dark-alt-color); --sprocket-border: #9ca3af; --button-bg: var(--dark-alt-color); --button-bg-active: #4b5563; --button-text: var(--light-color); --button-border: #4b5563; --input-bg: var(--dark-alt-color); --input-border: #4b5563; --input-text: var(--light-color); --line-number: #9ca3af; } .baudot-controls { margin-bottom: 1.5rem; display: flex; flex-wrap: wrap; align-items: center; gap: 0.5rem; } .baudot-emulator .text-input { flex: 1; min-width: 200px; padding: 0.5rem; font-size: 1rem; border: 1px solid var(--input-border); border-radius: 4px; background: var(--input-bg); color: var(--input-text); } .baudot-emulator .control-button { padding: 0.5rem 1rem; background: var(--button-bg); color: var(--button-text); border: 1px solid var(--button-border); border-radius: 4px; cursor: pointer; font-size: 0.9rem; } .baudot-emulator .control-button.active { background: var(--button-bg-active); font-weight: bold; } .tape-outer-container { padding: 0; margin-bottom: 1.5rem; border-radius: 4px; overflow: hidden; } .tape-container { width: 100%; overflow-x: auto; background: var(--tape-bg); padding: 1rem 0.5rem; } .baudot-emulator table { border-collapse: collapse; width: 100%; table-layout: fixed; border: none; } .baudot-emulator tr { height: 24px; border: none; } .baudot-emulator td { border: none; padding: 0; } .baudot-emulator .line-number { width: 20px; text-align: center; color: var(--line-number); font-size: 0.8rem; padding: 0 8px 0 0; font-weight: bold; } .baudot-emulator .cell { position: relative; width: 20px; height: 20px; } .baudot-emulator .cell-content { position: absolute; top: 50%; left: 50%; transform: translate(-50%, -50%); width: 12px; height: 12px; border-radius: 50%; background: var(--hole-bg); border: 1px solid var(--hole-border); } .baudot-emulator .punched .cell-content { background: var(--punched-bg); border: 1px solid var(--punched-border); } .baudot-emulator .sprocket-hole { position: absolute; left: 50%; top: 100%; transform: translate(-50%, -50%); width: 4px; height: 4px; border-radius: 50%; background: var(--sprocket-bg); border: 1px solid var(--sprocket-border); z-index: 2; } </style> <script> document.addEventListener('DOMContentLoaded', function() { initBaudotEmulator(); }); function initBaudotEmulator() { if (!document.getElementById('baudot-input')) return; const textInput = document.getElementById('baudot-input'); const tape = document.getElementById('baudot-tape'); const ltrButton = document.getElementById('baudot-ltr-button'); const figButton = document.getElementById('baudot-fig-button'); const ita2Code = { 'A': '00011', 'B': '11001', 'C': '01110', 'D': '01001', 'E': '00001', 'F': '01101', 'G': '11010', 'H': '10100', 'I': '00110', 'J': '01011', 'K': '01111', 'L': '10010', 'M': '11100', 'N': '01100', 'O': '11000', 'P': '10110', 'Q': '10111', 'R': '01010', 'S': '00101', 'T': '10000', 'U': '00111', 'V': '11110', 'W': '10011', 'X': '11101', 'Y': '10101', 'Z': '10001', '1': '00011', '2': '11001', '3': '01110', '4': '01001', '5': '00001', '6': '01101', '7': '11010', '8': '10100', '9': '01011', '0': '11000', '-': '00011', '?': '00100', ':': '01010', '(': '11000', ')': '11101', '.': '01000', ',': '00010', "'": '10001', '=': '01111', '/': '10011', '+': '11011', ' ': '00100', 'FIG': '11011', 'LTR': '11111', }; function generateTape() { let rows = ''; for (let row = 0; row < 5; row++) { rows += '<tr>'; rows += `<td class="line-number">${row + 1}</td>`; for (let col = 0; col < 50; col++) { rows += `<td id="baudot_${row}_${col}" class="cell unpunched"> <div class="cell-content"></div> ${row === 2 ? '<div class="sprocket-hole"></div>' : ''} </td>`; } rows += '</tr>'; } tape.innerHTML = rows; } function updateITA2Code(word) { clearTape(); word = word.toUpperCase(); let tapePosition = 0; let currentCharType = 'LTR'; ltrButton.classList.add('active'); figButton.classList.remove('active'); for (let i = 0; i < word.length; i++) { const char = word[i]; let code = ita2Code[char] || ita2Code[' ']; let requiredCharType = /[A-Z ]/.test(char) ? 'LTR' : 'FIG'; if (requiredCharType !== currentCharType) { const shiftCode = requiredCharType === 'LTR' ? ita2Code['LTR'] : ita2Code['FIG']; punchTape(shiftCode, tapePosition++); currentCharType = requiredCharType; ltrButton.classList.toggle('active', currentCharType === 'LTR'); figButton.classList.toggle('active', currentCharType === 'FIG'); } punchTape(code, tapePosition++); } } function punchTape(code, tapePosition) { if (tapePosition >= 50) return; for (let bit = 0; bit < 5; bit++) { const cell = document.getElementById(`baudot_${bit}_${tapePosition}`); if (cell) { cell.className = code[bit] === '1' ? 'cell punched' : 'cell unpunched'; } } } function clearTape() { for (let i = 0; i < 50; i++) { for (let bit = 0; bit < 5; bit++) { const cell = document.getElementById(`baudot_${bit}_${i}`); if (cell) { cell.className = 'cell unpunched'; } } } } generateTape(); textInput.addEventListener('input', function() { updateITA2Code(this.value); }); ltrButton.addEventListener('click', function() { this.classList.add('active'); figButton.classList.remove('active'); if (textInput.value) { updateITA2Code(textInput.value); } }); figButton.addEventListener('click', function() { this.classList.add('active'); ltrButton.classList.remove('active'); if (textInput.value) { updateITA2Code(textInput.value); } }); if (textInput.value) { updateITA2Code(textInput.value); } } </script> </div> <h2 id="contexto-histórico-do-telégrafo-à-informática">Contexto histórico: do telégrafo à informática</h2> O código ITA2 (International Telegraph Alphabet No. 2), também conhecido como código Baudot-Murray, foi desenvolvido nos anos 1920 como aperfeiçoamento do código telegráfico original de Émile Baudot, que datava da década de 1870. Estes primeiros sistemas de telecomunicação influenciaram diretamente a informática que se lhes seguiu: <ul> <li>O esquema de codificação em 5 bits foi um dos primeiros exemplos de codificação de caracteres</li> <li>As limitações do conjunto de caracteres (apenas 32 combinações possíveis com 5 bits) deram origem ao engenhoso mecanismo de comutação LETTERS/FIGURES (letras/algarismos)</li> <li>O sistema continuou a ser usado nos teleimpressores até bem entrado o século XX</li> </ul> <h2 id="aprender-as-máquinas-de-estados-a-brincar">Aprender as máquinas de estados a brincar</h2> O mecanismo de comutação LETTERS/FIGURES introduz as máquinas de estados com toda a naturalidade. Experimentando, os estudantes descobrem que o mesmo padrão pode representar caracteres diferentes consoante o modo ativo. Esta experiência direta da codificação dependente de um estado prepara-os para conceitos informáticos mais complexos. Por exemplo, o padrão de bits <code>00011</code> representa: <ul> <li>A letra «A» em modo LETTERS</li> <li>O algarismo «1» em modo FIGURES Esta dupla interpretação em função do estado está na base da maneira como os computadores lidam com os dados.</li> </ul> <h2 id="atividades-para-a-sala-de-aula">Atividades para a sala de aula</h2> Eis algumas maneiras de integrar o emulador ITA2 no ensino: <ol> <li>Desafio de descodificação: pedir aos estudantes que decifrem mensagens codificadas em padrões ITA2</li> <li>Codificação eficiente: discutir por que razão o mecanismo de comutação era importante para poupar largura de banda</li> <li>Evolução da codificação: comparar o código de 5 bits do ITA2 com o ASCII (7 bits) e o Unicode</li> <li>Computação física: ligar este sistema histórico aos microcontroladores modernos, como o Arduino</li> </ol> <h2 id="vantagens-em-matéria-de-acessibilidade">Vantagens em matéria de acessibilidade</h2> Para além do interesse histórico, esta abordagem serve estudantes com estilos de aprendizagem diversos: <ul> <li>Os visuais veem os padrões</li> <li>Os cinestésicos interagem diretamente com o processo de codificação</li> <li>Os de pendor conceptual podem explorar a vertente matemática da teoria da informação</li> </ul> <h2 id="pormenores-de-implementação">Pormenores de implementação</h2> O emulador está escrito em JavaScript e integra-se facilmente em qualquer plataforma de ensino em linha. O código é modular e adaptável a diferentes contextos pedagógicos. O código-fonte está disponível, e o emulador pode ser experimentado, no </article> <article> <h1>Uma geografia percebida do Levante</h1> Sat, 29 Oct 2022 10:02:52 -0500 <h1 id="introdução">Introdução</h1> O Levante é um lugar esquivo. Definido em geral em relação a – ou por oposição a – outro território, o seu sentido raramente foi estável, evocando geografias diferentes consoante o lugar e a época em que o termo era usado. Ora, se é difícil articular uma definição objetiva e exata do termo, pode-se ainda assim tentar traçar um mapa subjetivo dessa região, tomando por base as correlações existentes num dado corpus de textos. Por outras palavras: que espaço podia o Levante evocar para um grupo determinado de leitores? Neste artigo, mostro como usar os dados da do Medici Archive Project para visualizar os lugares concretos a que o topónimo estava associado. <h1 id="a-base-de-dados-mia">A base de dados MIA</h1> A MIA é uma plataforma colaborativa para investigadores que queiram carregar e partilhar as suas próprias fotografias de documentos do . Ao longo do último ano, e sob o patrocínio do , a nossa equipa fotografou, transcreveu, resumiu e classificou milhares de documentos guardados na secção dos avvisi do fundo Mediceo del Principato, em Florença. Embora a base de dados não tenha sido concebida para análise estatística, os metadados que disponibilizámos podem ser descarregados e usados como conjuntos de dados. <h1 id="o-conjunto-de-dados">O conjunto de dados</h1> Neste caso, o conjunto de dados que criei cobre todas as notícias do Levante de 1543 a 1566, isto é, do primeiro avviso registado no arquivo ao ano da morte do sultão . Eis uma amostra dos dados que extraí do servidor. Dispostos em três colunas, indicam um número único de documento, um nome de lugar e uma data. <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-csv" data-lang="csv">57386 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3 57386 Modon / Messinias, Nomos / Peloponnisos / Ellas 1565-1-3 57386 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3 57386 Evvoia / Evvoias, Nomos / Sterea Ellas-Evvoia / Ellas 1565-1-3 57386 Venetian Republic / Italia / Europe / World 1565-1-3 57386 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3 57386 Black Sea / Asia / World / Top of the TGN hierarchy 1565-1-3 57389 Otranto / Lecce / Puglia / Italia 1565-1-3 57389 Nisoi Aiyaiou / Ellas / Europe / World 1565-1-3 57389 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3 57389 Buda / Budapest / Budapest / Magyarorszag 1565-1-3 57389 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3 57389 Kipros / Asia / World / Top of the TGN hierarchy 1565-1-3 57389 Rodhos / Rodos, Nisos / Sporadhes / Nisoi Aiyaiou 1565-1-3 57389 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3 57389 Çorlu / Thraki / Ellas / Europe 1565-1-3 </code></pre></div><h2 id="limpar-os-dados">Limpar os dados</h2> Para visualizar estes dados, é preciso torná-los legíveis como um ficheiro csv (valores separados por vírgulas). É preciso ainda converter a informação geográfica aqui incluída num formato mais «amigo da máquina»: coordenadas GPS. Como o conjunto contém centenas de entradas, mais vale automatizar o processo. Consegue-se com bastante rapidez e precisão recorrendo a modelos de linguagem pré-treinados como o , o ou o , para citar apenas alguns. A operação exige, contudo, supervisão atenta, pois os modelos de linguagem pré-treinados têm uma ligeira tendência para alucinar. <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-csv" data-lang="csv">documentId,latitude,longitude,documentDate 57386,35.899167,14.514167,1565-1-3 57386,37.05,22.116667,1565-1-3 57386,31.200028,29.918719,1565-1-3 57386,38.366667,23.666667,1565-1-3 57386,45.438333,12.331333,1565-1-3 57386,41.018611,28.984444,1565-1-3 57386,42.7,18.8,1565-1-3 57389,40.216667,18.166667,1565-1-3 57389,37.966667,23.716667,1565-1-3 57389,35.899167,14.514167,1565-1-3 57389,47.4925,19.051389,1565-1-3 57389,31.200028,29.918719,1565-1-3 57389,34.916667,33.616667,1565-1-3 57389,36.405419,28.227778,1565-1-3 57389,41.018611,28.984444,1565-1-3 57389,41.133333,27.416667,1565-1-3 </code></pre></div><h1 id="o-mapa-de-densidade">O mapa de densidade.</h1> Um mapa de densidade é um tipo de visualização que realça a frequência com que um lugar é mencionado num dado conjunto de dados. É particularmente útil para perceber não só o alcance geográfico dos dados, mas também os seus pontos focais. Que lugares do mapa são mencionados com mais frequência? Quais são mais episódicos? Onde estão os centros, e a que distância fica a periferia? Em que zona do mapa é mais provável que se concentre a atenção de um leitor? Para efeitos desta experiência – e como estava com pressa – usei uma das APIs da . Muitas bibliotecas de visualização e muitos sistemas de informação geográfica permitem, porém, produzir o mesmo tipo de mapa de densidade. <h1 id="algumas-observações">Algumas observações</h1> O resultado é mais um quadro impressionista do que a representação exata de um conceito claramente definível, e é precisamente isso que me agrada nesta experiência. Com efeito, a ciência de dados pode ser uma aliada poderosa das humanidades, mas não somos obrigados a seguir-lhe as regras. Outro aspeto interessante da experiência é que o mapa revela um Levante completamente integrado no resto da Europa e do Mediterrâneo. Sublinha também a centralidade de Edirne na geografia política do Império Otomano. Além disso, a cidade espanhola mais relevante no mapa não é Madrid nem o Escorial, mas Nápoles. Por último, mas não menos importante, as ilhas e as pequenas cidades-Estado como Ragusa parecem ter desempenhado um papel importante de mediação entre as diferentes potências da região. <h1 id="como-pedir-dados-à-mia">Como pedir dados à MIA</h1> Embora a MIA seja uma ferramenta colaborativa notável para os investigadores, os dados que guarda nos seus servidores não são de acesso fácil. O seu back-end, por exemplo, não está publicado em repositórios públicos. Ainda assim, é possível obter os dados registando-se na MIA e fazendo pedidos ao servidor em Python. <h3 id="pedido">Pedido</h3> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python">url = "https://mia.medici.org/Mia/json/de/advancedsearch/advancedSearchResults/0/90/docYear/asc/?isNewsFeedSearch=False" payload = [{"searchSection":"archivalLocationSearch","type":"archivalLocationAdvancedSearch","isActiveFilter":True,"repository":None,"collection":"Mediceo del Principato","series":None,"volume":"2863","insert":None},{"searchSection":"categoryAndTypologySearch","type":"categoryAndTypologyAdvancedSearch","isActiveFilter":True,"category":"News","typology":None},{"searchSection":"transcriptionSearch","type":"transcriptionAdvancedSearch","isActiveFilter":False,"transcription":""},{"isActiveFilter":False,"searchSection":"synopsisSearch","type":"synopsisAdvancedSearch","synopsis":""},{"searchSection":"placesSearch","type":"placesAdvancedSearch","isActiveFilter":False,"places":[]},{"searchSection":"peopleSearch","type":"peopleAdvancedSearch","isActiveFilter":False,"people":[]},{"searchSection":"topicsSearch","type":"topicsAdvancedSearch","isActiveFilter":True,"topics":[{"topicTitle":"Place Index","topicId":"51","placeAllId":""}]},{"searchSection":"dateSearch","type":"dateAdvancedSearch","isActiveFilter":False,"dateFilterType":"","dateYear":"","dateMonth":"","dateDay":"","dateBYear":"","dateBMonth":"","dateBDay":""},{"searchSection":"documentOwnerSearch","type":"documentOwnerAdvancedSearch","isActiveFilter":False,"editType":"owner","account":""},{"searchSection":"languagesSearch","type":"languagesAdvancedSearch","isActiveFilter":False,"languages":[]}] headers = {'Content-type': 'application/json', 'Accept': '*/*'} r = requests.post(url, data=json.dumps(payload), headers=headers, auth=('LOGIN','PASSWORD')) </code></pre></div>Não se esqueça de substituir LOGIN e PASSWORD pelas suas próprias credenciais. <h3 id="escrever-a-resposta-num-ficheiro">Escrever a resposta num ficheiro</h3> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python">with open('response.json', 'wb') as fd: for chunk in r.iter_content(chunk_size=128): fd.write(chunk) </code></pre></div><h3 id="abrir-o-json">Abrir o JSON</h3> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python">f = open('response.json', encoding="utf8") </code></pre></div><h3 id="devolver-o-objeto-json-como-dicionário">Devolver o objeto JSON como dicionário</h3> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python">json_complete = json.load(f) </code></pre></div><h3 id="selecionar-os-dados-do-json-e-imprimi-los-em-formato-csv">Selecionar os dados do JSON e imprimi-los em formato CSV</h3> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python">with open('results.csv', 'w', newline='') as csvfile: fieldnames = ['documentId', 'placeCited', 'documentDate'] writer = csv.DictWriter(csvfile, fieldnames=fieldnames) writer.writeheader() for i in json_complete['data']: if i['topics'] != None: for x in i['topics']: documentId=x['documentId'] placeCited=x['topicPlaceName'] year=i['date']['docYear'] month=i['date']['docMonth'] day=i['date']['docDay'] documentDate=str(year)+ "-" + str(month)+"-" + str(day) writer.writerow({'documentId': documentId, 'placeCited': placeCited, 'documentDate': documentDate}) </code></pre></div>Depois de descarregar o ficheiro <code>results.csv</code>, pode passar à limpeza dos dados, como se explicou acima. </article> <article> <h1>Análise bibliográfica em grande escala com modelos de linguagem pré-treinados</h1> Thu, 07 Jul 2022 19:04:14 +0200 A automatização é a chave para reduzir o custo dos projetos de humanidades digitais. Até hoje, as tarefas repetitivas e fastidiosas do trabalho editorial em meio académico ou foram executadas a grande custo por investigadores sobrecarregados, ou «subcontratadas» a estudantes. Nesta , defendo que a maior parte destas tarefas ingratas pode ser automatizada – e, mais do que isso, deve sê-lo. Automatizar o trabalho editorial reduz o custo global dos projetos de humanidades digitais; e, sobretudo, permite a investigadores de regiões com poucos recursos publicar documentos valiosos com rapidez e a preço acessível. No , mostrei, por exemplo, como os modelos de linguagem pré-treinados são capazes de assumir a maior parte do trabalho de etiquetagem XML de uma edição digital. Neste, apresento um segundo exemplo, desta vez com bibliografia. <h2 id="o-problema">O problema</h2> Criar uma base de dados bibliográfica a partir das referências citadas num artigo académico é coisa bastante simples: faz-se uma pesquisa rápida num catálogo como o , descarrega-se a referência num formato à escolha, ou importa-se automaticamente de uma base de dados local. Com um ou dois artigos, funciona bem. A partir de um certo número de referências, porém, a tarefa torna-se ingrata e demorada. Para lhe dar remédio, pode recorrer-se a algoritmos de análise sintática (parsing) como o . Só que estes algoritmos podem ser difíceis de escalar. Quando usei o anystyle para converter os mais de 150 ensaios académicos incluídos na nossa , os erros acumularam-se a um ponto simplesmente impossível de gerir. Não reconheceu devidamente muitas das nossas fontes, confundindo por exemplo os longos títulos dos livros do início da Idade Moderna com outra coisa qualquer, e falhou nos documentos menos típicos, como certas páginas web, vídeos em linha, etc. Os analisadores funcionam bem desde que o autor siga religiosamente as regras de uma convenção consagrada, como a Chicago, a Turabian ou a MLA. Qualquer desvio da norma produz erros. <h2 id="a-solução">A solução</h2> É aqui que os modelos de linguagem pré-treinados podem ajudar: apreendem depressa os padrões de qualquer estilo bibliográfico , mesmo um inventado por si, e bastam-lhes alguns exemplos para converter corretamente grandes quantidades de bibliografia formatada numa . No início de 2021, tive a sorte de obter acesso antecipado ao da OpenAI. O Codex é um modelo que permite traduzir linguagem natural em código e vice-versa. A OpenAI afirma que domina mais de uma dúzia de linguagens de programação e, embora a sua API continue, no momento em que escrevo, acessível apenas em versão beta, já alimenta aplicações populares como o do GitHub. Depois de brincar um pouco com a API, percebi que também funcionava muito bem com código mais simples, como o <code>BibTeX</code>. E, de facto, bastaram-me quatro exemplos no prompt de entrada para que funcionasse com fiabilidade. <h3 id="prompt-de-entrada">Prompt de entrada</h3> References: Bayle, Ariane. “Patients exemplaires: la correspondance médicale de Fioravanti.” In Vulgariser la médecine. Du style médical en France et en Italie, edited by Andrea Carlino and Michel Jeanneret, 181–212. Geneva: Droz, 2009. Berns, Andrew D. The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth. Cambridge: Cambridge University Press, 2015. Gabler, Hans Walter. “Theorizing the Digital Scholarly Edition.” Literature Compass 7, no. 2 (2010): 43–56. . Findlen, Paula. Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy. Berkeley: University of California Press, 1994. <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-BibTeX" data-lang="BibTeX">@incollection{bayle2009, author = {Bayle, Ariane}, booktitle = {Vulgariser la médecine. Du style médical en France et en Italie}, title = {Patients exemplaires: la correspondance médicale de Fioravanti}, editor = {Carlino, Andrea and Michel Jeanneret}, year = {2009}, address = {Geneva}, publisher = {Droz}, langid = {french} } @book{berns2015, title = {The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth}, author = {Berns, Andrew D.}, address = {Cambridge}, publisher = {Cambridge University Press}, langid = {english}, date = {2015} } @article{gabler2010, author = {Gabler, Hans Walter}, title = {Theorizing the Digital Scholarly Edition}, journal = {Literature Compass}, volume = {7}, number = {2}, pages = {43-56}, doi = {10.1111/j.1741-4113.2009.00675.x}, langid = {english}, year = {2010} } @book{findlen1994, title = {Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy}, author = {Findlen, Paula}, address = {Berkeley}, publisher = {University of California Press}, langid = {english}, date = {1994} } </code></pre></div><h3 id="resultados">Resultados</h3> Os são impressionantes: mais de 2000 referências bibliográficas convertidas em questão de dias. Esta abordagem reproduziu com exatidão o padrão exposto no meu prompt de entrada, e acrescentou ainda, corretamente, tipos de entrada e de campo que dele não constavam. O <code>GPT-3</code>, por outras palavras, fala <code>BibTeX</code> na perfeição. Mais surpreendente talvez, para um modelo treinado essencialmente em inglês, reconheceu todas as línguas (russo, francês, italiano, latim, grego, alemão, espanhol, etc.), acrescentando de cada vez o campo <code>langid</code> correto. <div class="callout flex px-4 py-3 mb-6 rounded-md border-l-4 bg-blue-100 dark:bg-blue-900 border-blue-500" data-callout="note" data-callout-metadata=""> <svg height="24" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="1.5" d="m16.862 4.487l1.687-1.688a1.875 1.875 0 1 1 2.652 2.652L6.832 19.82a4.5 4.5 0 0 1-1.897 1.13l-2.685.8l.8-2.685a4.5 4.5 0 0 1 1.13-1.897zm0 0L19.5 7.125"/></svg> <div class="callout-content dark:text-neutral-300"> <div class="callout-title font-semibold mb-1">Nota</div> <div class="callout-body">O GPT-3 tem, por enquanto, limites de entrada e de saída: processa no máximo 2048 tokens linguísticos. Assim que essa limitação for levantada, a mesma tarefa levará provavelmente uma hora ou menos.</div> </div> </div> De modo algo inesperado, o GPT-3 acrescentou também informação que não constava das referências originais. <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> Baillot, Anne, and Anna Busch. “Editing for Man and Machine.” In Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting, Vol. 13. Variants (Journal of the European Society for Textual Scholarship). Leicester, 2015. </blockquote> Nesta referência bibliográfica, por exemplo, o GPT-3 acrescentou a ligação permanente ao repositório de acesso aberto ( ) onde o artigo pode ser lido, incluindo os campos ad hoc <code>HAL_ID</code> e <code>HAL_VERSION</code> criados pelo repositório HAL: <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-BibTeX" data-lang="BibTeX">@inproceedings{baillot2015, title = {Editing for Man and Machine}, author = {Baillot, Anne and Busch, Anna}, year = 2015, booktitle = {Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting}, address = {Leicester}, series = {Variants (Journal of the European Society for Textual Scholarship)}, volume = 13, editor = {Bruhn, Siglinde and Schreiber, Manfred}, langid = {english}, hal_id = {halshs-01233380}, hal_version = {v1} } </code></pre></div>Estes acrescentos indicam que o GPT-3 não se limita a analisar a referência bibliográfica: completa-a com base no que aprendeu inicialmente. Seria interessante, a esse respeito, ver se se comporta da mesma maneira com referências posteriores ao seu treino… <h2 id="limitações">Limitações</h2> O GPT-3 não é perfeito, contudo. Precisa de supervisão humana. Uma das suas limitações conhecidas é a : por vezes inventa coisas e faz suposições improváveis. Na minha experiência, os acessos de incoerência do GPT-3 manifestaram-se quando ele mudou espontaneamente o apelido de um autor de «Ruscelli» para «Ruscello». Tecnicamente, não é um erro, pois os apelidos italianos do início da Idade Moderna podiam usar-se indistintamente no plural ou no singular. A convenção atual, porém, manda conservar o apelido tal como está, no plural ou no singular. Hoje ninguém chamaria Machiavello a Machiavelli, tal como se espera que usemos o nome Rossello e não Rosselli. Terá o GPT-3 ignorado esta convenção por falta de consciência cronológica? Ou terá feito uma suposição a partir dos apelidos vizinhos, que nesta parte da bibliografia estão todos, por acaso, flexionados no singular (Bariletto, Cesano, Rossello)? Quem sabe. <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-Bibtex" data-lang="Bibtex">@book{rossello1565, title = {Della summa de’ secreti universali}, author = {Rossello, Timoteo}, address = {Venice}, publisher = {Giovanni Bariletto}, langid = {italian}, date = {1565} } @book{ruscello1559, title = {La seconda parte de’ secreti del Reverendo Donno Alessio Piemontese}, author = {Ruscello, Girolamo}, address = {Pesaro}, publisher = {Bartolomeo Cesano}, langid = {italian}, date = {1559} } </code></pre></div><h2 id="conclusão">Conclusão</h2> Escritos ao longo de quatro anos de intensa colaboração, os mais de 150 ensaios fornecem informação vital sobre o manuscrito que editámos e traduzimos, e contêm, além disso, informação bibliográfica valiosa. Agregar essas referências numa base de dados permite aos editores mudar de formato bibliográfico num abrir e fechar de olhos, com mais liberdade para apresentar a informação como entenderem. A base de dados diz-nos ainda muito sobre a edição e sobre o projeto que a tornou possível, abrindo novas perspetivas de análise aos investigadores. E pode ser completada com grande exatidão e em tempo recorde. Pode ser que se infiltrem alguns erros, sobretudo por causa da tendência do GPT-3 para alucinar. Mas as futuras versões dos modelos de linguagem pré-treinados atenuarão esse problema. </article> <article> <h1>Avviso | Publicar as notícias que nos fizeram modernos (1537—1743)</h1> Sun, 12 Dec 2021 00:00:00 +0000 O objetivo principal do projeto Avviso é digitalizar, preservar, catalogar, editar, contextualizar e divulgar as 35 000 folhas noticiosas manuscritas do início da Idade Moderna, conhecidas por avvisi, que faziam parte da coleção dos Médicis e se encontram hoje no Arquivo de Estado de Florença. Catalogação, digitalização e divulgação de cerca de 35 000 avvisi – folhas noticiosas manuscritas do início da Idade Moderna – através da plataforma Medici Interactive Archive do Medici Archive Project. </article> <article> <h1>Edição eficiente</h1> Sun, 12 Dec 2021 00:00:00 +0000 As edições críticas digitais são onerosas. O trabalho de transcrição, tradução e anotação que uma mão-de-obra altamente qualificada tem de executar representa milhares de horas e exige financiamento substancial, além de apoio institucional de longo prazo. Em certo sentido, é uma bênção que os projetos de grande visibilidade das humanidades digitais consigam reunir as somas avultadas de que precisam para funcionar. Mas depender tanto da generosidade de fundações abastadas, de universidades e de agências governamentais, e precisar durante tanto tempo de tantos recursos humanos, não constitui um modelo económico viável para o futuro. Se cada vez mais investigadores se podem permitir produzir edições digitais ambiciosas de fontes primárias, a prática continua a ser privilégio de uns poucos países ricos, o que reforça a sua hegemonia cultural. Para tornar os documentos históricos de todo o mundo acessíveis a um público mais vasto, o custo das edições críticas digitais tem de baixar várias ordens de grandeza . Nesta série de artigos, avalio as diferentes abordagens e os tijolos tecnológicos de que os investigadores de todo o mundo se podem servir para publicar fontes primárias mais depressa e com despesas mínimas. Avaliarei, em particular, tecnologias como a aprendizagem automática, a blockchain e o armazenamento descentralizado. </article> <article> <h1>The Spy Who Wished Them Well</h1> Sun, 12 Dec 2021 00:00:00 +0000 Mais informações em breve. </article> <article> <h1>Automatizar a marcação nas edições académicas digitais</h1> Mon, 22 Nov 2021 18:15:00 +0000 <h1 id="introdução">Introdução</h1> Como produzir edições académicas digitais sem arruinar o orçamento? Neste artigo, o primeiro de uma série dedicada à edição eficiente, avalio o papel que os modelos de linguagem pré-treinados podem desempenhar na automatização de tarefas editoriais como a marcação semântica. <details class="print:hidden xl:hidden" > <summary>Lista de Conteúdos</summary> <div class="text-sm"> <nav id="TableOfContents"> <ul> <li><a href="#uma-obra-de-amor">Uma obra de amor</a></li> <li><a href="#uma-fasquia-alta">Uma fasquia alta</a></li> </ul> <ul> <li><a href="#os-transformers-o-caminho-mais-simples-para-a-automatização">Os transformers: o caminho mais simples para a automatização?</a> <ul> <li><a href="#codex">Codex</a></li> <li><a href="#para-lá-da-openai">Para lá da OpenAI</a></li> </ul> </li> </ul> <ul> <li><a href="#experiência-1--categorização-de-textos">Experiência 1 – Categorização de textos.</a> <ul> <li><a href="#engenharia-do-prompt">Engenharia do prompt</a></li> <li><a href="#teste">Teste</a></li> <li><a href="#resultado">Resultado</a></li> </ul> </li> <li><a href="#experiência-2--marcação-semântica">Experiência 2 – Marcação semântica</a> <ul> <li><a href="#engenharia-do-prompt-1">Engenharia do prompt</a></li> <li><a href="#teste-1">Teste</a></li> </ul> </li> </ul> </nav> </div> </details> <h1 id="o-problema">O problema</h1> <h2 id="uma-obra-de-amor">Uma obra de amor</h2> Quem ama não conta os custos… ou assim reza o velho ditado. Vale sobretudo para as edições académicas digitais: a transcrição, a tradução e a anotação que o seu desenvolvimento exige representam milhares de horas de trabalho, levadas a cabo, como no caso de , por centenas de colaboradores altamente qualificados. Em certo sentido, é uma bênção que os projetos de grande visibilidade das humanidades digitais consigam reunir as somas avultadas de que precisam para funcionar. Mas depender tanto da generosidade de fundações abastadas, de universidades e de agências governamentais, e precisar durante tanto tempo de tantos recursos humanos, não constitui um modelo económico viável para o futuro. Com efeito, se queremos encorajar investigadores de todo o mundo a tornar documentos históricos acessíveis a um público mais vasto, o custo das edições críticas digitais tem de baixar várias ordens de grandeza . <h2 id="uma-fasquia-alta">Uma fasquia alta</h2> Um tanto paradoxalmente, a solução talvez venha de projetos tão exigentes em mão-de-obra como , porque constituem um valioso conjunto de treino para automatizar algumas das tarefas mais ingratas e repetitivas da edição digital, a começar pela marcação. Não que a marcação seja coisa de somenos. Pelo contrário: a marcação tornou-se o componente indispensável de qualquer projeto académico digital que se leve a sério. Normalizada pela , permite registar o maior número possível de aspetos do documento e do texto que este veicula: estrutura, anotações marginais, rasuras, variantes, tipo de papel, manchas, caligrafia… o que se quiser. O exemplo seguinte, retirado de , mostra como a marcação enriquece o texto com informação suplementar (categoria, estrutura, campos semânticos, rasuras, etc.), dando por fim às edições digitais uma vantagem considerável sobre as suas antepassadas em papel. <table> <tr> <th> Texto simples </th> <th> Marcação XML</th> </tr> <tr> <td> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text">Pour rompre grenades et donner violence aux artifices de foeu Mects parmy la pouldre et la sixiesme partye dicelle de vif argent </code></pre></div></td> <td> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-xml" data-lang="xml"><div id="p008r_2" categories="arms and armor"> <head>Pour rompre <wp>grenades</wp> et donner<lb/> violence aux <wp>artifices de foeu</wp></head> <ab>Mects parmy la <m>pouldre</m> <del><ms>six fois autant</ms> de <m>vif argent</m></del><lb/> <del>et</del> <ms>la sixiesme partye</ms> dicelle de <m>vif argent</m></ab> </div> </code></pre></div></td> </tr> </table> Esta informação não vale apenas para fins de arquivo: como já tive ocasião de mostrar, presta-se também à síntese e à análise. Ainda assim, este tipo de anotação pode consumir imenso tempo, tanto mais que o mesmo texto tem muitas vezes de existir em várias versões: tradução, transcrição, modernização, etc. <h1 id="a-solução">A solução</h1> <h2 id="os-transformers-o-caminho-mais-simples-para-a-automatização">Os transformers: o caminho mais simples para a automatização?</h2> Em 2020, a lançou com grande alarido a sua mais recente família de modelos de linguagem de grande dimensão e uso geral, a que chamou GPT-3, sigla de «Generative Pre-trained Transformer 3». Os transformers representam um avanço bastante recente da inteligência artificial. Aprendem tarefas novas com uma rapidez impressionante, bastando-lhes ler uma instrução (prompt) e observar um número muito reduzido de exemplos. Podem ainda receber treino adicional com um conjunto de dados feito à medida (fine-tuning), o que melhora a latência e a precisão. Por isso se diz que o GPT-3 e os transformers comparáveis são , aprendizes de poucos exemplos. A OpenAI afirma que o GPT-3 contém um número recorde de 175 mil milhões de parâmetros e que foi treinado com mais de 570 GB de texto, na maior parte documentos em inglês presumivelmente recolhidos . Pela sua simples dimensão, o GPT-3 estabeleceu um novo padrão no domínio, executando de raiz as tarefas mais diversas com um realismo perturbador. Escreve plausíveis, em salas de chat, , , traduz documentos, explica jargão, e por aí fora. Com acesso antecipado à API da OpenAI desde maio de 2021, pude experimentar a capacidade do modelo para resolver várias tarefas de reputada dificuldade: traduzir poesia francesa e textos neolatinos para inglês, explicar analogias e até simplificar o livro 4 da Fundamentação da Metafísica dos Costumes de Kant para uma criança de sete anos (sem grande convicção, diga-se). <h3 id="codex">Codex</h3> Um dos desenvolvimentos mais recentes do GPT-3 incide sobre as linguagens de programação. Batizado Codex, este modelo traduz linguagem natural em linguagem de programação e vice-versa. Se eu procurar, por exemplo, uma expressão regular que me permita «encontrar apenas as palavras que começam por maiúscula», o GPT-3 converte-a de imediato numa expressão regular funcional: <code>[A-Z]+\w+</code>. A OpenAI afirma que o Codex trabalha com uma dúzia de linguagens, entre as quais Python, JavaScript, Go, Perl, PHP, Ruby e Swift. Ao converter pseudocódigo em código sem esforço aparente, o Codex permite concentrar a atenção não na sintaxe fastidiosa de uma linguagem, mas nos passos lógicos e nas estratégias que permitem a uma aplicação resolver problemas. <h3 id="para-lá-da-openai">Para lá da OpenAI</h3> A OpenAI, claro está, não é a única a jogar. Como já referi, a Academia de Inteligência Artificial de Pequim anunciou em 2021 um modelo ainda maior e mais capaz, conhecido por Wu Dao 2. A Nvidia e a Microsoft juntaram forças para produzir o modelo Megatron-Turing NLG 530B, de nome bem escolhido. Start-ups mais pequenas, como a e a , também disponibilizam APIs ao público. Merecem ainda menção iniciativas de código aberto como a . O panorama da IA evolui, de resto, muito depressa; para acompanhar as novas iniciativas do sector, consulte . <h1 id="as-experiências">As experiências</h1> <div class="callout flex px-4 py-3 mb-6 rounded-md border-l-4 bg-blue-100 dark:bg-blue-900 border-blue-500" data-callout="note" data-callout-metadata=""> <svg height="24" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="1.5" d="m16.862 4.487l1.687-1.688a1.875 1.875 0 1 1 2.652 2.652L6.832 19.82a4.5 4.5 0 0 1-1.897 1.13l-2.685.8l.8-2.685a4.5 4.5 0 0 1 1.13-1.897zm0 0L19.5 7.125"/></svg> <div class="callout-content dark:text-neutral-300"> <div class="callout-title font-semibold mb-1">Nota</div> <div class="callout-body">O objetivo destas experiências é encontrar o caminho mais económico para uma automatização fiável das tarefas editoriais. Poder-se-á objetar que algumas delas também se automatizariam com algoritmos de aprendizagem supervisionada. Exploraremos essa hipótese num próximo artigo.</div> </div> </div> Poderá um transformer como o GPT-3 aprender a anotar, por exemplo, um manuscrito técnico e científico do século XVI? <h2 id="experiência-1--categorização-de-textos">Experiência 1 – Categorização de textos.</h2> Comecemos por algo relativamente simples. Sendo um «few-shot learner», o GPT-3 deveria perceber depressa como a nossa equipa editorial classificou as entradas do Ms Fr 640. <h3 id="engenharia-do-prompt">Engenharia do prompt</h3> Para o treinar, usei um prompt minimalista e escolhi como exemplos quatro entradas curtas em texto simples, entre as quais uma sobre «medicina», outra sobre «armas e armaduras» e outra sobre «pintura». <h3 id="teste">Teste</h3> Copiei em seguida outra passagem, que não constava da sequência inicial: <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text">Working neatly Never put down, if you can, two colors one on top of the other. But next, having made your design carefully, keep the place of shadows for them alone, & also separately that of lights & highlights, without layering one color all over & then highlighting or else shading on it. And in this way, you further your work, economize your colors & work neatly. Which is the reason that, the colors not being muddled nor mixed together, they do not die & you soften the colors better, since they are not so thick. </code></pre></div>O resultado é perfeitamente coerente com o conteúdo: <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-xml" data-lang="xml"><categories="painting"> </code></pre></div>Se tentarmos com uma entrada pertencente a uma categoria que nem sequer figurava na seleção inicial de textos usada para treinar o GPT-3, o resultado surpreende. <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-xml" data-lang="xml"><categories="jewelry"> </code></pre></div><h3 id="resultado">Resultado</h3> A categoria «jewelry» (joalharia) não existe na nossa edição do Ms. Fr. 640: a equipa editorial a categoria mais lata de «Stones» (pedras). A intuição do GPT-3 é, porém, boa, e indica que, com um pouco mais de treino, ele pode aprender a categorizar qualquer entrada do Ms. Fr. 640, e talvez até as de textos técnicos semelhantes do século XVI. <h2 id="experiência-2--marcação-semântica">Experiência 2 – Marcação semântica</h2> Subamos um pouco a fasquia. Se transformers como o GPT-3 aprendem a categorizar textos segundo critérios editoriais específicos, conseguirão também identificar parte da marcação do texto? <div class="callout flex px-4 py-3 mb-6 rounded-md border-l-4 bg-blue-100 dark:bg-blue-900 border-blue-500" data-callout="note" data-callout-metadata=""> <svg height="24" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="1.5" d="m16.862 4.487l1.687-1.688a1.875 1.875 0 1 1 2.652 2.652L6.832 19.82a4.5 4.5 0 0 1-1.897 1.13l-2.685.8l.8-2.685a4.5 4.5 0 0 1 1.13-1.897zm0 0L19.5 7.125"/></svg> <div class="callout-content dark:text-neutral-300"> <div class="callout-title font-semibold mb-1">Nota</div> <div class="callout-body">Secrets of Craft and Nature etiquetas semânticas e estruturais. Infelizmente, o GPT-3 não processa imagens, ao contrário de outros projetos, como o . É provável que futuras versões do GPT incluam essa capacidade, necessária para reconhecer a maior parte dos aspetos estruturais e materiais de um documento. Deixaremos de lado essas etiquetas em particular e concentrar-nos-emos na marcação que dispensa o reconhecimento de imagens.</div> </div> </div> <h3 id="engenharia-do-prompt-1">Engenharia do prompt</h3> As etiquetas semânticas incluem referências a animais, plantas, topónimos, sensações, etc. No prompt de treino, selecionei alguns exemplos da edição: <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-xml" data-lang="xml"> The following is a list of words and their corresponding semantic tags cannons: <wp>cannons</wp> powder: <m>powder</m> flasks: <tl>flasks</tl> wooden: <m>wooden</m> iron: <m>iron</m> parchment: <m>parchment</m> goats: <al>goats</al> lambs: <al>lambs</al> leather: <m>leather</m> earth: <m>earth</m> fine fatty earth: <m>fine fatty earth</m> Venice: <pl>Venice</pl> Flemish: <pl>Flemish</pl> almond: <pa>almond</pa> almond oil: <m><pa>almond</pa> oil</m> walnuts skin: <m><pa>walnuts</pa> skin</m> molten lead: <m>molten lead</m> today: <tmp>today</tmp> In the past: <tmp>In the past</tmp> Clockmakers: <pro>Clockmakers</pro> red copper: <m>red copper</m> crucible: <tl>crucible</tl> bellows: <tl>bellows</tl> charcoal: <m>charcoal</m> founders: <pro>founders</pro> </code></pre></div><h3 id="teste-1">Teste</h3> Experimentemos algumas palavras fáceis com o modelo <code>Davinci-codex</code>: Apothecary, smoke, glassmakers, latten e snake. Os resultados são imediatos e impecáveis: <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-xml" data-lang="xml"> Apothecary: <pro>Apothecary</pro> smoke: <m>smoke<m> glassmakers: <pro>glassmakers</pro> latten: <m>latten</m> snake: <al>snake</al> </code></pre></div>Um teste mais difícil implica palavras compostas, como copper plates, walnut oil e wood block. O que se pretende ver é se o GPT-3 lida bem com etiquetas aninhadas. <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-xml" data-lang="xml"> copper plates: <m>copper plates</m> walnut oil: <m><pa>walnut</pa> oil</m> wood block: <m>wood block</m> </code></pre></div>Ora, os resultados são mistos: o <code>Davinci-codex</code> só etiquetou corretamente walnut oil, e não detetou as etiquetas aninhadas <code>tl</code> e <code>m</code> em copper plates e wood block. Como mostra o teste seguinte, porém, estes erros atenuam-se com um prompt de treino mais bem construído. Depois de acrescentar mais cinco exemplos de etiquetas aninhadas, o <code>Davinci-codex</code> devolveu um resultado quase perfeito, com um único erro (oil paintbrushes): <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-xml" data-lang="xml"> cannon powder: <m><wp>cannon</wp> powder</m> arquebus powder: <m><wp>arquebus</wp> powder</m> oil paintbrushes: <m><al>oil</al> paintbrushes</m> sheep footbones: <m><al>sheep</al> footbones</m> bronze mortar: <tl><m>bronze</m> mortar</tl> </code></pre></div><h1 id="conclusão">Conclusão</h1> Convém não esquecer que estes testes foram feitos com pequenos fragmentos de texto. Suspeito que, com mais contexto nos exemplos e no prompt, os modelos GPT-3 dariam resultados ainda melhores. De resto, afinar o modelo (fine-tuning) com conjuntos de dados de treino feitos à medida melhoraria sem dúvida a precisão da etiquetagem. Embora estas experiências ainda tenham de ser conduzidas em maior escala para demonstrar a fiabilidade dos modelos de linguagem pré-treinados, podemos apesar de tudo concluir que esta abordagem permite aos editores automatizar várias tarefas de anotação em poucos passos simples, com uma poupança potencial enorme de tempo e de dinheiro. </article> <article> <h1>Visualizar manuscritos 2 (atualização)</h1> Sat, 20 Nov 2021 16:00:00 +0000 Como prometido, eis uma nova versão do treemap interativo apresentado num , desta vez com dois modos de visualização. <div class="callout flex px-4 py-3 mb-6 rounded-md border-l-4 bg-blue-100 dark:bg-blue-900 border-blue-500" data-callout="note" data-callout-metadata=""> <svg height="24" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="1.5" d="m16.862 4.487l1.687-1.688a1.875 1.875 0 1 1 2.652 2.652L6.832 19.82a4.5 4.5 0 0 1-1.897 1.13l-2.685.8l.8-2.685a4.5 4.5 0 0 1 1.13-1.897zm0 0L19.5 7.125"/></svg> <div class="callout-content dark:text-neutral-300"> <div class="callout-title font-semibold mb-1">Nota</div> <div class="callout-body">Para uma melhor experiência de visualização, certifique-se de que a página está em modo claro (clique no ícone da lua, no canto superior direito).</div> </div> </div> <head> <meta charset="UTF-8" /> <meta http-equiv="X-UA-Compatible" content="IE=edge" /> <meta name="viewport" content="width=device-width, initial-scale=1.0" /> <title>

Group folios by category

Um navegador visual para o arquivo

Sun, 20 Jun 2021 16:00:00 +0000

O problema

As edições digitais sofrem de um paradoxo: se tornam documentos recônditos acessíveis a um público mais vasto, a perda de estímulos sensoriais que a sua desmaterialização acarreta tende a desorientar os leitores e até a desencorajá-los de se envolverem com o conteúdo. Tornam a navegação em vastos repositórios documentais bastante pesada e intimidante. Isto vale não apenas para os utilizadores sem experiência de investigação em arquivo, mas também para os leitores com dificuldades cognitivas.

A solução

É aqui que os metadados de arquivo nos podem ajudar. Com efeito, esses dados permitem criar abstrações visuais interativas que dão aos leitores um estímulo sensorial alternativo, melhorando assim a ergonomia e a acessibilidade. Para tornar o arquivo visualmente navegável, um treemap, ou qualquer diagrama que decomponha eficazmente dados hierárquicos, serve perfeitamente.

A experiência

A minha primeira experiência adapta o para D3.js, acrescentando-lhe hiperligações. Representa o manuscrito BnF Ms Fr 640, os seus fólios e as entradas dentro de cada fólio. As cores representam a categoria dominante. Ao passar o rato sobre cada entrada, obtêm-se mais dados, incluindo a hiperligação para o manuscrito.
Deste modo, o treemap torna-se um índice visual interativo, dando aos leitores uma panorâmica muito rápida e reativa, não apenas do conteúdo do manuscrito, mas também das dimensões de cada fólio e de cada entrada.
~~Nos próximos meses continuarei a explorar esta ideia, experimentando outros diagramas e outras hierarquias… Fiquem atentos!~~ Para uma nova versão do treemap, clique .

Nota

Para uma melhor experiência de visualização, certifique-se de que a página está em modo claro (clique no ícone da lua, no canto superior direito).

Click any cell to zoom in, or the top to zoom out.

O arquivo num relance

Mon, 24 May 2021 16:00:00 +0000

O problema

Os arquivos históricos podem ser de uma desordem intimidante. O Mediceo del Principato, no , é um caso exemplar. Com efeito, só uma pequena parte está inventariada, e muitos dos seus documentos andam dispersos por mais de 6500 volumes sem razão aparente. Para complicar as coisas, o arquivo só permite consultar um número limitado de volumes – ou filze, como lá lhes chamam: maços, diríamos nós. Em tempos normais, o limite é de 4 filze por dia; em tempo de pandemia, porém, desceu para 4 de duas em duas semanas. Na falta de inventários detalhados, a dimensão considerável do arquivo obriga os investigadores a engendrar estratégias para encontrar depressa os documentos que procuram.

A solução

Uns preferem confiar no acaso; outros tentam também fazer conjeturas informadas a partir da cronologia, dos destinatários, dos autores, da origem do fundo de arquivo, da língua, etc. Olhar para todas estas variáveis ao mesmo tempo, porém, pode revelar padrões inesperados na estrutura do arquivo e melhorar as nossas conjeturas. A minha experiência mostra que, uma vez representados graficamente, os metadados que os investigadores costumam reunir numa folha de cálculo aumentam significativamente a consciência situacional no arquivo.

A experiência

A minha investigação atual centra-se na correspondência de um espião do século XVI. As suas cartas estão espalhadas por centenas de filze. Foram escritas sob identidades diferentes, a destinatários diferentes e por vezes inesperados, de lugares diferentes, etc. Para encontrar as filze com mais probabilidade de conter as cartas esperadas, montei um dashboard, uma aplicação web de visualização interativa de dados ( ) que cruza informação de toda a espécie, geográfica e cronológica incluída, com um diagrama hierárquico ( ) do fundo de arquivo. O dashboard diz-me num relance o que já foi encontrado, quanto isso representa, e dá-me uma ideia aproximada de onde poderia procurar cartas novas. Além disso, ao clicar em variáveis específicas, todos os diagramas se atualizam para mostrar correlações particulares.

Próximos passos

Mais importante ainda, talvez: este dashboard pode ser reconvertido em índice visual. Quando a edição crítica destas cartas for publicada em linha, o dashboard funcionará como porta de entrada alternativa, a partir da qual os leitores poderão percorrer os dados. Por razões de confidencialidade, só posso mostrar por agora uma captura de ecrã com partes ocultadas, mas divulgarei o dashboard completo no próximo ano. Entretanto, um protótipo estará disponível em breve. Fiquem atentos!

Making & Knowing Project

Sun, 27 Dec 2020 00:00:00 +0000

O , fundado em 2014 por Pamela H. Smith e com centenas de colaboradores, é uma iniciativa de investigação e de ensino do da Universidade de Columbia.

Como investigador de pós-doutoramento, participei no projeto trabalhando, entre outras coisas, na do BnF Ms. Fr. 640. Este manuscrito francês do século XVI, único no seu género, dá-nos um vislumbre em primeira mão do fazer e dos materiais de uma época em que os artistas eram cientistas.

A edição digital disponibiliza gratuitamente uma abundância de dados no seu . Ao longo do próximo ano, tenciono publicar uma série de artigos sobre a edição e os seus dados, mostrando como é fácil descarregar e analisar o texto com Python ou R. Fiquem atentos!

Visualizar a marcação semântica do BnF Ms. Fr. 640

Sun, 20 Dec 2020 18:15:00 +0000

Panorâmica

As edições académicas ricas em dados contêm anotações editoriais valiosas que se podem extrair, analisar e visualizar para toda a espécie de fins académicos. É o caso de , lançada em 2020, que disponibiliza o seu ficheiro de metadados para descarga no seu repositório GitHub. Neste artigo, mostro como reunir todas estas variáveis numa matriz de correlação e visualizá-las de diferentes maneiras.

Os dados

O Making and Knowing Project gera uma folha de cálculo com informação atualizada sobre o conteúdo do manuscrito: entry_metadata.csv. O ficheiro pode ser obtido no do Making & Knowing. Em alternativa, podem gerar-se ficheiros .csv à medida, com mais marcação, graças ao excelente de Matthew Kumar, uma versão em Python do BnF Ms. Fr. 640.

Preparar o Python

Usaremos o Pandas para tratar os dados, o Matplotlib e o seaborn para os mapas de calor e, por fim, o NetworkX para produzir redes baseadas em correlações.
Para este tipo de variáveis, evitaremos o método de Pearson e usaremos em seu lugar o método 𝜙𝐾. Convém este método de correlação e sobre o PhiK, a biblioteca correspondente.

#install packages
pip install phik

# import modules
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import networkx as nx

Preparar os dados

Comecemos por descarregar o ficheiro de metadados mais recente da edição, na pasta metadata do seu . Selecionaremos apenas as colunas de que precisamos. Para esta demonstração, escolho todas as etiquetas semânticas da tradução inglesa tl, mas também se podem escolher as da transcrição francesa tc ou as da versão normalizada tcn. Os dados vêm em valores separados por ponto e vírgula, e precisamos que o Python os conte por nós. Usaremos para isso o método stack-unstack com a expressão regular [^;\s][^\;]*[^;\s]*. Para tornar a matriz mais legível, mudamos o nome a cada coluna. Quem tiver pressa pode saltar este passo; basta ter presente que, nesta altura, o nosso dataframe se chama tagsrn.

# load the edition's metadata
df = pd.read_csv('entry_metadata.csv')

# select the tags you want to correlate
dftags = df[['al_tl', 'bp_tl', 'cn_tl', 'df_tl', 'env_tl', 'm_tl', 'md_tl', 'ms_tl', 'mu_tl', 'pa_tl', 'pl_tl', 'pn_tl', 'pro_tl', 'sn_tl', 'tl_tl', 'tmp_tl', 'wp_tl', 'de_tl', 'el_tl', 'it_tl', 'la_tl', 'oc_tl', 'po_tl']]

# count comma separated values
tagcount = dftags.stack(dropna=False).str.count(r'[^;\s][^\;]*[^;\s]*').unstack()

# rename columns
tagsrn = tagcount.rename(columns={'al_tl': 'animals', 'bp_tl': 'body parts', 'cn_tl': 'currency', 'df_tl': 'definitions', 'env_tl': 'environment', 'm_tl': 'material', 'md_tl': 'medical', 'ms_tl': 'measurement', 'mu_tl': 'music', 'pa_tl': 'plant', 'pl_tl': 'toponym', 'pn_tl': 'person', 'pro_tl': 'profession', 'sn_tl': 'sensory', 'tl_tl': 'tool', 'tmp_tl': 'temporal', 'wp_tl': 'weapons', 'de_tl': 'German', 'el_tl': 'Greek', 'it_tl': 'Italian', 'la_tl': 'Italian', 'oc_tl': 'Occitan', 'po_tl': 'Poitevin'})

Correlacionar

Limpo o dataframe, podemos passar ao cálculo dos coeficientes de correlação entre cada par de variáveis. Nesta fase, é importante compreender os dados e garantir que se usa o método de correlação mais adequado. O pacote pandas-profiling é particularmente útil para isso.

# calculate correlation coefficient with the phi k method
cortag = tagsrn.phik_matrix()

cortag é a nossa matriz de correlação. Podemos agora experimentar diferentes tipos de visualização.

Visualizar

A primeira coisa a tentar é visualizá-la como matriz codificada por cores, com o do seaborn.

Mapa de calor de correlações

f, ax = plt.subplots(figsize=(16, 14))
ax = sns.heatmap(cortag, linewidths=.03, vmin=0, cmap="Oranges", square=True)

Quem conhece bem o texto vê logo que o mapa de calor faz muito sentido. Os nomes, por exemplo, estão fortemente correlacionados com o latim, pois era costume, sobretudo entre os humanistas do século XVI, latinizá-los.

Haverá quem diga que este mapa de calor se limita a afirmar o óbvio. Não estão inteiramente errados e, à primeira vista, as etiquetas médicas parecem confirmá-lo, pois correlacionam-se, como seria de prever, com partes do corpo, medidas e plantas.

Mas, se lermos o mapa de calor com mais atenção, linha a linha, podemos encontrar correlações interessantes e inesperadas. Que as etiquetas médicas, por exemplo, se correlacionem com palavras italianas e latinas dá-nos pistas sobre a origem das receitas médicas do Ms. Fr. 640. Do mesmo modo, a correlação entre profissões, definições e medidas mostra até que ponto a identidade profissional estrutura os discursos técnicos do século XVI.

Mapa de agrupamentos (clustermap)

Os mapas de calor são úteis em contextos «exploratórios», mas podem parecer um pouco confusos ao público, sobretudo quando se discutem – ou ainda se procuram – agrupamentos semânticos específicos no manuscrito. O módulo clustermap do seaborn pode dar resultados interessantes.

clustermap = sns.clustermap(cortag, figsize=(12, 13), dendrogram_ratio=(.1, .2), vmin=0, cmap="Oranges", cbar_pos=(-.06, .12, .03, .68))

Além de parecer um inseto pixelizado (sim, a palavra está dicionarizada), o clustermap distingue claramente as etiquetas isoladas (em cima e à esquerda) das mais interligadas. Distinguem-se também agrupamentos isolados, como música e poitevin (quem diria!), de outros mais centrais, como medidas, material, definições e armas. As profissões estão mais interligadas, mas não fazem parte, pelo menos nesta matriz de correlação, de nenhum agrupamento em particular.

Rede de correlações

Se quisermos sintetizar ainda mais as correlações contidas na matriz, os grafos de rede oferecem uma solução elegante. Isto é particularmente verdade nos contextos em que queremos comunicar sobre o conteúdo do manuscrito.
Para o fazer, é preciso transformar a matriz numa lista de arestas e nós e definir um limiar que elimine do grafo as correlações mais fracas.

# transform the data
links = cortag.stack().reset_index()
links.columns = ['var1', 'var2','value']

# threshold 
links_filtered = links.loc[(links['value'] > .6) & (links['var1'] != links['var2'])]
links_filtered

# create edges
G = nx.from_pandas_edgelist(links_filtered, 'var1', 'var2')

# draw network using Kamada & Kawai's algorithm 
plt.figure(3,figsize = (12,12))
nx.draw_kamada_kawai(G, with_labels = True, node_color = 'red', node_size = 400, edge_color = 'black', linewidths = 1, font_size = 14)

Se houver arestas e nós a mais, pode sempre alterar-se o limiar para obter um resultado mais limpo. Em alternativa, pode exportar-se o grafo para o manipular no Gephi, com a função .write_gexf().

nx.write_gexf(G, 'graph.gexf')

O resultado pode ver-se no início deste artigo.

Atualização: rede ponderada circular

Andava à procura de maneiras de representar matrizes de correlação como redes ponderadas e encontrei esta abordagem interessante , que adapto aqui ao nosso conjunto de dados.

# create graph weighted by correlation coefficients (unfiltered)
Gx = nx.from_pandas_edgelist(links, 'var1', 'var2', edge_attr=['value'])

# determine a threshold to remove some edges
threshold = 0.4

# list to store edges to remove
remove = []

# loop through edges in Gx and find correlations which are below the threshold
for var1, var2 in Gx.edges():
 corr = Gx[var1][var2]['value']
 #add to remove node list if abs(corr) < threshold
 if abs(corr) < threshold:
 remove.append((var1, var2))

# remove edges contained in the remove list
Gx.remove_edges_from(remove)

print(str(len(remove)) + ' edges removed')

Removidas algumas arestas, podemos determinar a cor e a espessura das restantes.

# determine the colors of edges
def assign_colour(correlation):
 if correlation <= 0.8:
 return '#ff872c' # orange
 else:
 return '#f11d28' # red


def assign_thickness(correlation, benchmark_thickness=3, scaling_factor=3):
 return benchmark_thickness * abs(correlation)**scaling_factor


def assign_node_size(degree, scaling_factor=50):
 return degree * scaling_factor

Damos também aos nós um tamanho proporcional ao seu número de ligações.

# assign node size depending on number of connections (degree)
node_size = []
for key, value in dict(Gx.degree).items():
 node_size.append(assign_node_size(value))

O resultado é um grafo ponderado que admite mais nós e consideravelmente mais arestas, sem deixar de ser legível e informativo.

A correspondência secreta de Filippo Cavriana, 1568—1589.

Fri, 27 Dec 2019 00:00:00 +0000

As cartas secretas de Filippo Cavriana são um testemunho único das guerras religiosas francesas: cobrem, ao longo de mais de 20 anos, as intrigas, batalhas, negociações e conspirações que marcaram o ritmo da vida na corte de França e fora dela.

As cartas, conservadas no , estão na sua maior parte dispersas por centenas de maços não inventariados – filze, como lhes chamam em Florença. Embora tenha conseguido descobrir dezenas de cartas novas nos últimos anos, este tipo de investigação em arquivo revela-se cada vez mais difícil. A distância geográfica de Florença, a degradação de alguns serviços públicos em Itália e a pandemia de Covid-19 concorrem para fazer destes projetos de publicação um processo longo e incerto.

Publicar fontes primárias deve continuar a fazer parte, apesar das dificuldades crescentes, do ofício do historiador. A forma dessas publicações, porém, terá provavelmente de evoluir: adaptar-se à situação que acabo de descrever, sem dúvida, mas também refletir melhor a natureza incremental desta investigação e permitir que outra pessoa a continue.

Daí a ideia de desenvolver um novo tipo de projeto de publicação digital que seja escalável, sustentável, fiável, independente de plataforma e potencialmente colaborativo.

A edição está agora em linha: . Reúne as cartas transcritas até à data, dos Arquivos de Estado de Florença e de Mântua e da BnF, e cresce à medida que surgem outras. Expliquei as razões do seu desenho num .