Notas |

A cerca, não a fogueira

Sun, 06 Sep 2026 00:00:00 +0000

Num armazém de North Las Vegas, a Amazon mantém uma máquina que corta a lombada aos livros em segunda mão. As folhas soltas passam por um scanner, e o papel segue depois para a pasta. O comparou a operação a uma queima de livros dos tempos modernos, sem poupar num único cliché: alusões a Savonarola, fotografias de banco de imagens com livros de ar raro e, como não podia deixar de ser, a fogueira de Berlim. Como seria de esperar, os jornais de referência mantiveram mais sangue-frio, mas deixaram a mesma comparação no ar. Por muito indignados que estejam, estes artigos tratam a indústria da IA com uma brandura notável. Quem vai controlar o saber que está a ser digitalizado? Essa pergunta terá de esperar enquanto despachamos o disparate da queima de livros.

Um scanner não é uma fogueira

Destruir um exemplar físico não faz, por si só, da digitalização destrutiva um equivalente moderno das fogueiras de Savonarola ou das queimas de livros nazis. Esses atos tiravam o seu sentido daquilo que se condenava, e das razões da condenação. O pobre frade Savonarola, arrastado para todas as polémicas sobre queimas de livros, exortava as pessoas a queimar parte dos seus bens em ato público de penitência. As fogueiras nazis encenavam um repúdio de outra ordem: queimar os livros em público declarava que os seus autores não tinham lugar na vida cultural alemã. Em ambos os casos, a destruição era um espetáculo. A digitalização destrutiva, método corrente nas campanhas de digitalização, serve outro fim: sacrifica-se o exemplar para conservar o conteúdo. O livro é destruído; o texto, desmaterializado. Quem invoca Fahrenheit 451 faria bem em lembrar-se de que os bombeiros de Bradbury não guardavam o texto para mais tarde.

A agravou o alarme ao pôr «livros raros» no título, descrição que outros órgãos repetiram obedientemente. Ora, um livreiro citado na sua própria investigação disse que estas encomendas em massa , o que aponta sobretudo para edições publicadas desde a introdução do ISBN, por volta de 1970. É o fundo das feiras de velharias e das lojas solidárias, livros a que só falta uma arrumação da cave para irem parar ao ecoponto. Antes de anunciar uma catástrofe cultural, convinha consultar o catálogo da biblioteca. São precisamente estas as publicações que as bibliotecas de depósito legal existem para preservar. É certo que um ISBN não garante que sobreviva um exemplar de depósito; mas a escassez no mercado em segunda mão também não prova o desaparecimento de um texto.

Reduzir a pasta destrói o exemplar físico, incluindo dedicatórias ou notas marginais. Os exemplares com anotações ou proveniência de valor histórico merecem ser identificados e preservados, de preferência antes de chegarem ao mercado em segunda mão. Podemos ainda inquietar-nos com a rarefação dos exemplares físicos de títulos esgotados. Mas então devemos também perguntar por que razão os detentores dos direitos nem os reimprimem nem autorizam o acesso aos fac-símiles digitais existentes. Os investigadores conhecem a frustração: o Google Books encontra a passagem de que precisamos, e depois oferece-nos três linhas de um livro que não se pode comprar novo nem ler em linha. Há aqui perdas que vale a pena discutir. Não transformam um scanner numa fogueira nazi.

O comércio livreiro, entretanto, há muito que destrói por rotina os livros que não vende. Só em França, estima-se que , cerca de 60 % da tonelagem devolvida por vender aos distribuidores. A isto chama-se gerir stock. Os exemplares excedentários e os títulos raros em segunda mão levantam questões de acesso diferentes, mas destruir papel não equivale, em si, a censura ou a tirania.

Mais livros, melhor IA?

Que as empresas de IA estejam a comprar e a digitalizar livros é, na verdade, uma boa notícia. Uma tecnologia rotineiramente criticada pela sua compreensão superficial da cultura humana está a adquirir mais dela, e seria de esperar que os académicos aplaudissem o esforço.

A web é um pobre sucedâneo do registo acumulado de uma língua. Grande parte da vida escrita de uma língua, dos romances e memórias às canções populares e às conversas transcritas, nunca passou do papel para a web. Muitos destes livros sobreviveram aos seus editores. Levá-los para os dados de treino importa sobretudo onde pouco mais existe. Uns livros a mais em inglês trarão melhorias marginais. Numa língua mal representada, esses mesmos livros podem fazer a diferença entre um sistema utilizável e um sistema inútil. Se estas ferramentas têm lugar nos nossos serviços públicos ou no nosso quotidiano é matéria de debate público. Mas, onde quer que decidamos usá-las, devíamos poder fazê-lo na nossa própria língua.

As encomendas noticiadas em Espanha e nos Países Baixos tornam concreto o que está em jogo do ponto de vista linguístico. Em maio, o descrevia um livreiro de Badalona que recebia encomendas sucessivas, sobretudo de não-ficção em catalão: livros de história, manuais técnicos e velhas atas de congressos. Em agosto, a imprensa neerlandesa noticiava um pedido dirigido à De Slegte de . A língua dos livros merece pelo menos tanta atenção como o destino das suas encadernações. Talvez seja pedir demasiado ao Daily Mail. Mas até os jornais mais sóbrios pouco tiveram a dizer sobre as línguas em causa.

Os acordos de licenciamento com as grandes editoras também podem fornecer material valioso, mas os seus catálogos digitais cobrem apenas uma fração do que foi impresso. Os livros nunca digitalizados, ou cujos direitos a editora já não detém, ficam fora da oferta. Nem o mais generoso acordo de licenciamento pode substituir a história da edição, e menos ainda a história de uma cultura. Comprar exemplares em segunda mão é uma maneira de ir buscar o que fica para lá dessas fronteiras comerciais.

«Roubo» não é argumento

Chamar-lhe «roubo» também não ajuda. Em junho de 2025, dois tribunais distritais dos Estados Unidos decidiram que, nos casos que lhes foram submetidos, usar livros para treinar modelos de linguagem constituía uso legítimo (fair use). Em , o tribunal sublinhou o caráter transformativo do treino: os livros serviram para construir um sistema capaz de produzir expressão nova. Os modelos podem memorizar passagens, mas usar um livro para treino não torna o texto inteiro recuperável a pedido. Nem a ausência de reprodução literal liquida todas as objeções. Em , o juiz avisou que as obras geradas por IA podiam inundar o mercado e que a prova de tal dano poderia derrotar uma defesa de fair use. Estes queixosos, porém, não tinham apresentado prova relevante desse dano às suas próprias obras. Nenhuma das decisões dá às empresas de IA licença ilimitada nem encerra a disputa ética. Obrigam-nos a distinguir como os livros são adquiridos, como as cópias são conservadas e o que o treino faz com elas. Chamar «roubo» a tudo isto deixa essas perguntas sem resposta.

Diga-se de passagem que a decisão Anthropic dá à guilhotina a sua razão de ser. O tribunal validou a digitalização de exemplares comprados e rejeitou a acumulação de livros pirateados numa biblioteca permanente, pela qual a empresa viria a . A digitalização passou em parte porque cada exemplar impresso era destruído na conversão: a cópia digital substituía-o e não era partilhada fora da empresa. A destruição que tanto perturba algumas pessoas ajudou a Anthropic a fazer reconhecer o seu programa de digitalização como uso legítimo. Comprar, digitalizar e deitar fora ofereceu, nesse caso, uma via lícita. A guilhotina, aqui, é um instrumento de conformidade. Comprar exemplares pode resolver o problema da aquisição. Não dá a ninguém, por si só, autorização para partilhar o corpus resultante.

Há boas razões para querer que a IA beba de mais línguas, de mais erudição e de mais desse mundo que existia antes da internet. Essas razões não desaparecem porque uma empresa de que não gostamos encontrou nisso uma oportunidade comercial.

Indignação de empréstimo

Voltemos, pois, ao Daily Mail. O seu artigo insere-se na , uma campanha de proprietários de jornais e editores que reclamam para a IA. Duas substituições convenientes fazem todo o trabalho: as grandes tecnológicas passam por IA, e os detentores de direitos passam por criatividade britânica. Convida-se o leitor a defender a cultura enquanto os editores negoceiam os termos da sua venda. Os académicos que partilham a notícia fariam bem em perguntar-se ao serviço de que causa está a sua indignação.

As grandes tecnológicas e as discutem o valor da renda, mas nenhuma delas se opõe à cerca. A história do autor solitário roubado por um gigante tecnológico esconde o que os acordos de licenciamento caros oferecem aos dois campos empresariais: as editoras recebem, e as grandes tecnológicas ganham um mercado em que os rivais mais pequenos não têm meios para competir. Peter Thiel resumiu com mais crueza a preferência de Silicon Valley: .

O licenciamento não tem de produzir esse resultado. Um acesso a preço comportável e não exclusivo poderia ajudar os pequenos programadores. Mas um sistema que obriga cada recém-chegado a negociar acordos dispendiosos com os grandes detentores de direitos transforma o poder de compra em condição de entrada. Um pagamento apresentado como concessão às indústrias culturais acaba por comprar proteção contra os rivais de amanhã.

A IA não pertence às grandes tecnológicas

Há uma questão mais funda. Demasiadas críticas da IA tomam os seus maiores fornecedores comerciais pelo campo inteiro. Os produtos dominam as manchetes; a investigação e o desenvolvimento para lá dessas empresas desaparecem de vista. As grandes tecnológicas dificilmente poderiam desejar mal-entendido mais útil. A sua ambição de possuir o campo torna-se a premissa da crítica que lhes é dirigida. O monopólio ainda não está garantido. Tratá-lo como coisa feita presta a essas empresas um favor enorme.

A IA de código aberto permite construir e adaptar sistemas que refletem uma maior diversidade de línguas, culturas e formas de expressão. Para países de toda a Europa, África e América Latina, bem como para a Coreia do Sul, o Japão e a Índia, é uma base concreta de soberania tecnológica e cultural: a capacidade de decidir como funcionam os sistemas, que línguas servem e onde são usados. Usar ou não a IA, e para que fins, deve continuar a ser uma escolha pública, e não uma decisão ditada pela dependência de um fornecedor estrangeiro.

Mas a liberdade de modificar um sistema pouco vale sem os meios para o fazer. O trabalho independente exige competências, infraestrutura de cálculo e acesso a material de treino. O que nos traz de volta aos livros. Se cada equipa de investigação ou cada instituição pública tiver de negociar os seus próprios acordos com as editoras ou de montar a sua própria biblioteca privada, a independência continuará a ser privilégio de quem a pode pagar.

Os livros já cá estão

As bibliotecas e os arquivos passaram gerações a reunir o material de que estes sistemas precisam. As suas coleções existem porque o acesso ao saber deve sobreviver ao interesse comercial em vendê-lo. Muito já está digitalizado: a guarda cerca de dezanove milhões de volumes digitalizados provenientes de bibliotecas de investigação, muitos ainda protegidos por direitos de autor. Uma biblioteca digitaliza um livro e fica com ele. Ali ninguém precisa de guilhotina. A HathiTrust vai , mas anunciou também o , um projeto de acesso a corpora para investigação e desenvolvimento não comerciais em IA. Um acesso nesses termos deixaria ainda de fora alguns programadores independentes.

Possuir os livros, contudo, não dá a uma biblioteca o direito de distribuir o seu conteúdo protegido como corpus de treino. O permite às instituições de investigação e às bibliotecas prospetar obras licitamente acessíveis para fins de investigação científica, e autoriza uma prospeção mais ampla quando os detentores de direitos não os reservaram. : a sua exceção de prospeção cobre a investigação não comercial e restringe a transferência de cópias. Nenhum dos dois quadros dá às bibliotecas um direito geral de partilhar os seus fundos protegidos para que outros construam sobre eles.

Podíamos também reconsiderar durante quanto tempo os detentores de direitos devem controlar os usos computacionais dos livros. As patentes farmacêuticas oferecem um termo de comparação: o seu prazo normal de vinte anos é muito mais curto do que a proteção dos direitos de autor, que dura a vida do autor e setenta anos depois. Não poderiam os livros ficar disponíveis para prospeção de textos e dados, sem taxas de licenciamento, ao fim de, digamos, vinte anos após a primeira publicação, mantendo-se protegidos os direitos de reedição e de venda? Proteger o direito de um autor a vender um livro não tem de significar controlar durante gerações todas as maneiras de usar o seu conteúdo.

Defendi há dois anos, no , que os dados patrimoniais deviam ser tratados como bem público. Os governos deviam financiar as bibliotecas e os arquivos para digitalizarem, transcreverem e documentarem as suas coleções, e dar-lhes autoridade legal para disponibilizar os corpora resultantes a quem queira construir sobre eles. As grandes tecnológicas poderiam ajudar a pagar a conta através de uma taxa específica.

O financiamento público deveria vir acompanhado de políticas de coleção e regras de acesso publicadas, abrangendo o trabalho académico e o comercial, sem acordos exclusivos nem acesso privilegiado para doadores. Acesso para treino não tem de significar redistribuição irrestrita de livros protegidos. Os autores deviam participar na conceção do regime público, incluindo na forma como este trata o consentimento, a remuneração e a concorrência às suas obras. O acesso gratuito para os utilizadores não exclui uma remuneração dos autores financiada por fundos públicos. O , que paga aos autores a partir de fundos públicos quando os seus livros são emprestados, oferece um precedente. A fogueira nunca foi a questão. A cerca, sim.

Caros editores: se querem a minha voz, devolvam-me a minha língua

Thu, 27 Aug 2026 00:00:00 +0000

Mais um dia, mais uma revista a apregoar a sua política de IA. Desta vez é a Progress in Human Geography, cujos editores publicaram a avisar que usar a IA como substituto da própria leitura, do próprio pensamento e da própria escrita é «uma violação da ética académica equiparável ao plágio». Os artigos apanhados em falta «poderão ser retirados»; na melhor das hipóteses, serão corrigidos, com um aviso impresso na revista. Os autores, acrescentam os editores, deveriam «ponderar com cuidado se desejam ver o seu nome associado a retiradas e a avisos de correção».

Detenhamo-nos nesta frase. A retratação é a sanção suprema da publicação académica, a pena que normalmente se reserva à fabricação de dados e à fraude. Aqui aparece ligada a uma falta que o mesmo editorial não consegue definir. Há, concedem os editores, «verdadeiras zonas cinzentas» e «nenhuma linha clara a demarcar a zona de “irresponsabilidade”». A aplicação assentará em «juízos discricionários que poderão desagradar a alguns autores, os quais alegarão não ter feito uso indevido da IA»: a declaração de cada um, por outras palavras, poderá ser desconsiderada. Segue-se o conselho de permanecer «em segurança na zona de “responsabilidade”»; ora, só se recomenda segurança onde há perigo. Punir pessoas por transporem uma linha que se confessa não saber traçar só faz sentido se o objetivo for governar pelo medo. Não percam isto de vista.

O pretexto da voz

Como se reconhece um uso responsável? Diz-se aos autores que «é preciso o maior cuidado… para conservar a sua própria voz». O abuso consiste em recorrer à IA «para escrever numa língua que os autores nunca empregariam normalmente por si mesmos». Para um falante nativo, faz sentido: não finjas ser o que não és. Mas, para o estrangeiro obrigado a escrever numa língua que não é a sua, a injunção contradiz-se a si própria. A voz que a política protege é justamente aquilo que as regras da própria revista nos negam.

Tomem-me como cobaia. O inglês é a minha quarta língua, exatamente o género de língua que eu nunca empregaria «normalmente». As universidades anglófonas treinaram-me a escrevê-lo curto, sinalizado, quase mecânico: a frase-tópico à cabeça do parágrafo, as cautelas nos sítios aprovados, as transições tiradas da lista aprovada. O treino resultou: nunca houve no meu inglês uma voz a proteger; foi a primeira coisa que teve de ir. Pela definição dos próprios editores, tudo o que escrevi em inglês seria uso indevido, com ou sem máquina.

Entre a espada e a parede

Os editores dizem ter pensado em nós: a política reconhece que os falantes não nativos beneficiam de ter o seu inglês verificado pela IA, e até dos seus «serviços de tradução, escrita e revisão». No entanto, a participação da IA na escrita «não deve exceder, no máximo, uma ajuda à revisão e à correção de provas», e tem de ficar aquém de «grandes blocos de texto escritos por IA». Ora, um artigo traduzido por máquina é escrito por IA da primeira palavra à última; não é feito senão de tais blocos. A concessão só se sustenta, portanto, se traduzir não for escrever. Por onde passa essa linha? Já no-lo disseram: «nenhuma linha clara».

Há pior, porque a suspeita não é apenas infalsificável. É viciada. Em 2023, uma equipa de Stanford testou sete detetores de IA de uso corrente em ensaios escritos por humanos: os detetores sinalizaram como gerados por máquina, em média, 61 % dos ensaios do TOEFL redigidos por falantes não nativos, ao passo que classificavam quase na perfeição os dos falantes nativos; um dos detetores condenou 97,8 % do lote do TOEFL ( ). A razão é instrutiva. Os detetores medem a previsibilidade, e o inglês de segunda língua, treinado para a média, é previsível por construção: a palavra mais provável na ordem mais provável. O mesmo estudo encontrou o sinal na produção científica propriamente dita, com menor variabilidade linguística nas comunicações de congresso cujo primeiro autor não é falante nativo. Os indícios de estilo que se leem como «IA» são os indícios de um inglês de segunda língua competente, e o juízo humano lê os mesmos indícios que a máquina. A armadilha fecha-se: escrevo o meu próprio inglês e pareço uma máquina; uso a máquina e violo a regra deles.

O imposto sobre a língua

O paradoxo seria inofensivo se não viesse acompanhado de ameaças. Ora, as ameaças revelam um problema mais fundo e mais antigo, que a política nunca nomeia: o monolinguismo. As pedem «a mais ampla cobertura internacional possível» enquanto, na mesma página, «a língua da revista é o inglês».

O custo desse arranjo não é hipotético. Inquirindo 908 cientistas do ambiente, Amano e colegas apuraram que os falantes não nativos de inglês gastam até 51 % mais tempo a escrever um artigo, veem-no rejeitado 2,5 vezes mais e são mandados revê-lo 12,5 vezes mais, apenas por motivos de língua ( ). Esse imposto é cobrado antes de qualquer política de IA chegar; o formulário de declaração e as suas ameaças são uma auditoria que lhe vem acrescentar-se.

Fin d’empire

O monolinguismo é o axioma que ninguém discute. É uma herança imperial que adquiriu, com o tempo, uma justificação prática: a tradução era lenta e cara, e nenhum conselho editorial podia avaliar o que não conseguia ler. Ora, nada disto sobrevive aos progressos da tradução automática. A tradução automática de última geração pode servir de camada fiável entre autores e editores.

A saída ideal é humana: os investigadores deviam ler mais do que uma língua. Em vez disso, as universidades anglófonas preferem fechar os departamentos de línguas modernas. Note-se que os encerramentos são um fenómeno anglo-americano: noutras paragens, os investigadores nunca tiveram o luxo do monolinguismo. E note-se o momento. Fechar um departamento de línguas é fazer uma aposta: a de que o inglês venceu de vez e de que nunca mais se escreverá noutra língua nada que valha a pena ler. Essa aposta faz-se precisamente na pior altura, e por partida dobrada. Primeiro, porque a tradução automática torna possível, pela primeira vez, dispensar de todo uma língua franca; segundo, porque a ordem que fez do inglês a língua por defeito está em refluxo: a anglosfera fecha-se sobre si mesma, a globalização recua, o comércio livre é contestado nos seus próprios berços, e desenha-se um mundo multipolar em que as línguas que vale a pena ler se multiplicarão. As universidades formam investigadores que só leem inglês para um mundo em que o inglês não bastará. Os conselhos editoriais serão os primeiros a herdar essa perda.

Uma prova para os editores

Quando um conselho editorial se lamenta de não conseguir ler a voz própria dos seus autores, talvez parte do problema esteja no próprio conselho.

É uma acusação séria, e vem acompanhada de uma prova séria. Aceitaria a Progress in Human Geography submeter a arbitragem um artigo escrito em francês, italiano ou japonês, acompanhado de uma versão inglesa traduzida automaticamente? As próprias instruções da revista reconhecem os serviços «de tradução» que o tornam possível. Um sim põe fim ao problema. Um não dir-nos-ia o que a política protege na realidade.

Seja como for, a escolha cabe aos editores. Se a voz importa, como afirmam, a revista deve aceitar artigos nas línguas em que os autores pensam. Se não importa, que desapareça o formulário de declaração, e as ameaças com ele.

Uma geografia percebida do Levante

Sat, 29 Oct 2022 10:02:52 -0500

Introdução

O Levante é um lugar esquivo. Definido em geral em relação a – ou por oposição a – outro território, o seu sentido raramente foi estável, evocando geografias diferentes consoante o lugar e a época em que o termo era usado. Ora, se é difícil articular uma definição objetiva e exata do termo, pode-se ainda assim tentar traçar um mapa subjetivo dessa região, tomando por base as correlações existentes num dado corpus de textos. Por outras palavras: que espaço podia o Levante evocar para um grupo determinado de leitores?
Neste artigo, mostro como usar os dados da do Medici Archive Project para visualizar os lugares concretos a que o topónimo estava associado.

A base de dados MIA

A MIA é uma plataforma colaborativa para investigadores que queiram carregar e partilhar as suas próprias fotografias de documentos do . Ao longo do último ano, e sob o patrocínio do , a nossa equipa fotografou, transcreveu, resumiu e classificou milhares de documentos guardados na secção dos avvisi do fundo Mediceo del Principato, em Florença. Embora a base de dados não tenha sido concebida para análise estatística, os metadados que disponibilizámos podem ser descarregados e usados como conjuntos de dados.

O conjunto de dados

Neste caso, o conjunto de dados que criei cobre todas as notícias do Levante de 1543 a 1566, isto é, do primeiro avviso registado no arquivo ao ano da morte do sultão . Eis uma amostra dos dados que extraí do servidor. Dispostos em três colunas, indicam um número único de documento, um nome de lugar e uma data.

57386 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3
57386 Modon / Messinias, Nomos / Peloponnisos / Ellas 1565-1-3
57386 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3
57386 Evvoia / Evvoias, Nomos / Sterea Ellas-Evvoia / Ellas 1565-1-3
57386 Venetian Republic / Italia / Europe / World 1565-1-3
57386 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3
57386 Black Sea / Asia / World / Top of the TGN hierarchy 1565-1-3
57389 Otranto / Lecce / Puglia / Italia 1565-1-3
57389 Nisoi Aiyaiou / Ellas / Europe / World 1565-1-3
57389 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3
57389 Buda / Budapest / Budapest / Magyarorszag 1565-1-3
57389 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3
57389 Kipros / Asia / World / Top of the TGN hierarchy 1565-1-3
57389 Rodhos / Rodos, Nisos / Sporadhes / Nisoi Aiyaiou 1565-1-3
57389 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3
57389 Çorlu / Thraki / Ellas / Europe 1565-1-3

Limpar os dados

Para visualizar estes dados, é preciso torná-los legíveis como um ficheiro csv (valores separados por vírgulas). É preciso ainda converter a informação geográfica aqui incluída num formato mais «amigo da máquina»: coordenadas GPS. Como o conjunto contém centenas de entradas, mais vale automatizar o processo. Consegue-se com bastante rapidez e precisão recorrendo a modelos de linguagem pré-treinados como o , o ou o , para citar apenas alguns. A operação exige, contudo, supervisão atenta, pois os modelos de linguagem pré-treinados têm uma ligeira tendência para alucinar.

documentId,latitude,longitude,documentDate
57386,35.899167,14.514167,1565-1-3
57386,37.05,22.116667,1565-1-3
57386,31.200028,29.918719,1565-1-3
57386,38.366667,23.666667,1565-1-3
57386,45.438333,12.331333,1565-1-3
57386,41.018611,28.984444,1565-1-3
57386,42.7,18.8,1565-1-3
57389,40.216667,18.166667,1565-1-3
57389,37.966667,23.716667,1565-1-3
57389,35.899167,14.514167,1565-1-3
57389,47.4925,19.051389,1565-1-3
57389,31.200028,29.918719,1565-1-3
57389,34.916667,33.616667,1565-1-3
57389,36.405419,28.227778,1565-1-3
57389,41.018611,28.984444,1565-1-3
57389,41.133333,27.416667,1565-1-3

O mapa de densidade.

Um mapa de densidade é um tipo de visualização que realça a frequência com que um lugar é mencionado num dado conjunto de dados. É particularmente útil para perceber não só o alcance geográfico dos dados, mas também os seus pontos focais. Que lugares do mapa são mencionados com mais frequência? Quais são mais episódicos? Onde estão os centros, e a que distância fica a periferia? Em que zona do mapa é mais provável que se concentre a atenção de um leitor?

Para efeitos desta experiência – e como estava com pressa – usei uma das APIs da . Muitas bibliotecas de visualização e muitos sistemas de informação geográfica permitem, porém, produzir o mesmo tipo de mapa de densidade.

Algumas observações

O resultado é mais um quadro impressionista do que a representação exata de um conceito claramente definível, e é precisamente isso que me agrada nesta experiência. Com efeito, a ciência de dados pode ser uma aliada poderosa das humanidades, mas não somos obrigados a seguir-lhe as regras.

Outro aspeto interessante da experiência é que o mapa revela um Levante completamente integrado no resto da Europa e do Mediterrâneo. Sublinha também a centralidade de Edirne na geografia política do Império Otomano. Além disso, a cidade espanhola mais relevante no mapa não é Madrid nem o Escorial, mas Nápoles. Por último, mas não menos importante, as ilhas e as pequenas cidades-Estado como Ragusa parecem ter desempenhado um papel importante de mediação entre as diferentes potências da região.

Como pedir dados à MIA

Embora a MIA seja uma ferramenta colaborativa notável para os investigadores, os dados que guarda nos seus servidores não são de acesso fácil. O seu back-end, por exemplo, não está publicado em repositórios públicos. Ainda assim, é possível obter os dados registando-se na MIA e fazendo pedidos ao servidor em Python.

Pedido

url = "https://mia.medici.org/Mia/json/de/advancedsearch/advancedSearchResults/0/90/docYear/asc/?isNewsFeedSearch=False"
payload = [{"searchSection":"archivalLocationSearch","type":"archivalLocationAdvancedSearch","isActiveFilter":True,"repository":None,"collection":"Mediceo del Principato","series":None,"volume":"2863","insert":None},{"searchSection":"categoryAndTypologySearch","type":"categoryAndTypologyAdvancedSearch","isActiveFilter":True,"category":"News","typology":None},{"searchSection":"transcriptionSearch","type":"transcriptionAdvancedSearch","isActiveFilter":False,"transcription":""},{"isActiveFilter":False,"searchSection":"synopsisSearch","type":"synopsisAdvancedSearch","synopsis":""},{"searchSection":"placesSearch","type":"placesAdvancedSearch","isActiveFilter":False,"places":[]},{"searchSection":"peopleSearch","type":"peopleAdvancedSearch","isActiveFilter":False,"people":[]},{"searchSection":"topicsSearch","type":"topicsAdvancedSearch","isActiveFilter":True,"topics":[{"topicTitle":"Place Index","topicId":"51","placeAllId":""}]},{"searchSection":"dateSearch","type":"dateAdvancedSearch","isActiveFilter":False,"dateFilterType":"","dateYear":"","dateMonth":"","dateDay":"","dateBYear":"","dateBMonth":"","dateBDay":""},{"searchSection":"documentOwnerSearch","type":"documentOwnerAdvancedSearch","isActiveFilter":False,"editType":"owner","account":""},{"searchSection":"languagesSearch","type":"languagesAdvancedSearch","isActiveFilter":False,"languages":[]}]
headers = {'Content-type': 'application/json', 'Accept': '*/*'}
r = requests.post(url, data=json.dumps(payload), headers=headers, auth=('LOGIN','PASSWORD'))

Não se esqueça de substituir LOGIN e PASSWORD pelas suas próprias credenciais.

Escrever a resposta num ficheiro

with open('response.json', 'wb') as fd:
 for chunk in r.iter_content(chunk_size=128):
 fd.write(chunk)

Abrir o JSON

f = open('response.json', encoding="utf8")

Devolver o objeto JSON como dicionário

json_complete = json.load(f)

Selecionar os dados do JSON e imprimi-los em formato CSV

with open('results.csv', 'w', newline='') as csvfile:
 fieldnames = ['documentId', 'placeCited', 'documentDate']
 writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
 writer.writeheader()
 for i in json_complete['data']:
 if i['topics'] != None:
 for x in i['topics']:
 documentId=x['documentId']
 placeCited=x['topicPlaceName']
 year=i['date']['docYear']
 month=i['date']['docMonth']
 day=i['date']['docDay']
 documentDate=str(year)+ "-" + str(month)+"-" + str(day)
 writer.writerow({'documentId': documentId, 'placeCited': placeCited, 'documentDate': documentDate})

Depois de descarregar o ficheiro results.csv, pode passar à limpeza dos dados, como se explicou acima.

Visualizar manuscritos 2 (atualização)

Sat, 20 Nov 2021 16:00:00 +0000

Como prometido, eis uma nova versão do treemap interativo apresentado num , desta vez com dois modos de visualização.

Nota

Para uma melhor experiência de visualização, certifique-se de que a página está em modo claro (clique no ícone da lua, no canto superior direito).

Group folios by category

Um navegador visual para o arquivo

Sun, 20 Jun 2021 16:00:00 +0000

O problema

As edições digitais sofrem de um paradoxo: se tornam documentos recônditos acessíveis a um público mais vasto, a perda de estímulos sensoriais que a sua desmaterialização acarreta tende a desorientar os leitores e até a desencorajá-los de se envolverem com o conteúdo. Tornam a navegação em vastos repositórios documentais bastante pesada e intimidante. Isto vale não apenas para os utilizadores sem experiência de investigação em arquivo, mas também para os leitores com dificuldades cognitivas.

A solução

É aqui que os metadados de arquivo nos podem ajudar. Com efeito, esses dados permitem criar abstrações visuais interativas que dão aos leitores um estímulo sensorial alternativo, melhorando assim a ergonomia e a acessibilidade. Para tornar o arquivo visualmente navegável, um treemap, ou qualquer diagrama que decomponha eficazmente dados hierárquicos, serve perfeitamente.

A experiência

A minha primeira experiência adapta o para D3.js, acrescentando-lhe hiperligações. Representa o manuscrito BnF Ms Fr 640, os seus fólios e as entradas dentro de cada fólio. As cores representam a categoria dominante. Ao passar o rato sobre cada entrada, obtêm-se mais dados, incluindo a hiperligação para o manuscrito.
Deste modo, o treemap torna-se um índice visual interativo, dando aos leitores uma panorâmica muito rápida e reativa, não apenas do conteúdo do manuscrito, mas também das dimensões de cada fólio e de cada entrada.
~~Nos próximos meses continuarei a explorar esta ideia, experimentando outros diagramas e outras hierarquias… Fiquem atentos!~~ Para uma nova versão do treemap, clique .

Nota

Para uma melhor experiência de visualização, certifique-se de que a página está em modo claro (clique no ícone da lua, no canto superior direito).

Click any cell to zoom in, or the top to zoom out.

O arquivo num relance

Mon, 24 May 2021 16:00:00 +0000

O problema

Os arquivos históricos podem ser de uma desordem intimidante. O Mediceo del Principato, no , é um caso exemplar. Com efeito, só uma pequena parte está inventariada, e muitos dos seus documentos andam dispersos por mais de 6500 volumes sem razão aparente. Para complicar as coisas, o arquivo só permite consultar um número limitado de volumes – ou filze, como lá lhes chamam: maços, diríamos nós. Em tempos normais, o limite é de 4 filze por dia; em tempo de pandemia, porém, desceu para 4 de duas em duas semanas. Na falta de inventários detalhados, a dimensão considerável do arquivo obriga os investigadores a engendrar estratégias para encontrar depressa os documentos que procuram.

A solução

Uns preferem confiar no acaso; outros tentam também fazer conjeturas informadas a partir da cronologia, dos destinatários, dos autores, da origem do fundo de arquivo, da língua, etc. Olhar para todas estas variáveis ao mesmo tempo, porém, pode revelar padrões inesperados na estrutura do arquivo e melhorar as nossas conjeturas. A minha experiência mostra que, uma vez representados graficamente, os metadados que os investigadores costumam reunir numa folha de cálculo aumentam significativamente a consciência situacional no arquivo.

A experiência

A minha investigação atual centra-se na correspondência de um espião do século XVI. As suas cartas estão espalhadas por centenas de filze. Foram escritas sob identidades diferentes, a destinatários diferentes e por vezes inesperados, de lugares diferentes, etc. Para encontrar as filze com mais probabilidade de conter as cartas esperadas, montei um dashboard, uma aplicação web de visualização interativa de dados ( ) que cruza informação de toda a espécie, geográfica e cronológica incluída, com um diagrama hierárquico ( ) do fundo de arquivo. O dashboard diz-me num relance o que já foi encontrado, quanto isso representa, e dá-me uma ideia aproximada de onde poderia procurar cartas novas. Além disso, ao clicar em variáveis específicas, todos os diagramas se atualizam para mostrar correlações particulares.

Próximos passos

Mais importante ainda, talvez: este dashboard pode ser reconvertido em índice visual. Quando a edição crítica destas cartas for publicada em linha, o dashboard funcionará como porta de entrada alternativa, a partir da qual os leitores poderão percorrer os dados. Por razões de confidencialidade, só posso mostrar por agora uma captura de ecrã com partes ocultadas, mas divulgarei o dashboard completo no próximo ano. Entretanto, um protótipo estará disponível em breve. Fiquem atentos!

Visualizar a marcação semântica do BnF Ms. Fr. 640

Sun, 20 Dec 2020 18:15:00 +0000

Panorâmica

As edições académicas ricas em dados contêm anotações editoriais valiosas que se podem extrair, analisar e visualizar para toda a espécie de fins académicos. É o caso de , lançada em 2020, que disponibiliza o seu ficheiro de metadados para descarga no seu repositório GitHub. Neste artigo, mostro como reunir todas estas variáveis numa matriz de correlação e visualizá-las de diferentes maneiras.

Os dados

O Making and Knowing Project gera uma folha de cálculo com informação atualizada sobre o conteúdo do manuscrito: entry_metadata.csv. O ficheiro pode ser obtido no do Making & Knowing. Em alternativa, podem gerar-se ficheiros .csv à medida, com mais marcação, graças ao excelente de Matthew Kumar, uma versão em Python do BnF Ms. Fr. 640.

Preparar o Python

Usaremos o Pandas para tratar os dados, o Matplotlib e o seaborn para os mapas de calor e, por fim, o NetworkX para produzir redes baseadas em correlações.
Para este tipo de variáveis, evitaremos o método de Pearson e usaremos em seu lugar o método 𝜙𝐾. Convém este método de correlação e sobre o PhiK, a biblioteca correspondente.

#install packages
pip install phik

# import modules
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import networkx as nx

Preparar os dados

Comecemos por descarregar o ficheiro de metadados mais recente da edição, na pasta metadata do seu . Selecionaremos apenas as colunas de que precisamos. Para esta demonstração, escolho todas as etiquetas semânticas da tradução inglesa tl, mas também se podem escolher as da transcrição francesa tc ou as da versão normalizada tcn. Os dados vêm em valores separados por ponto e vírgula, e precisamos que o Python os conte por nós. Usaremos para isso o método stack-unstack com a expressão regular [^;\s][^\;]*[^;\s]*. Para tornar a matriz mais legível, mudamos o nome a cada coluna. Quem tiver pressa pode saltar este passo; basta ter presente que, nesta altura, o nosso dataframe se chama tagsrn.

# load the edition's metadata
df = pd.read_csv('entry_metadata.csv')

# select the tags you want to correlate
dftags = df[['al_tl', 'bp_tl', 'cn_tl', 'df_tl', 'env_tl', 'm_tl', 'md_tl', 'ms_tl', 'mu_tl', 'pa_tl', 'pl_tl', 'pn_tl', 'pro_tl', 'sn_tl', 'tl_tl', 'tmp_tl', 'wp_tl', 'de_tl', 'el_tl', 'it_tl', 'la_tl', 'oc_tl', 'po_tl']]

# count comma separated values
tagcount = dftags.stack(dropna=False).str.count(r'[^;\s][^\;]*[^;\s]*').unstack()

# rename columns
tagsrn = tagcount.rename(columns={'al_tl': 'animals', 'bp_tl': 'body parts', 'cn_tl': 'currency', 'df_tl': 'definitions', 'env_tl': 'environment', 'm_tl': 'material', 'md_tl': 'medical', 'ms_tl': 'measurement', 'mu_tl': 'music', 'pa_tl': 'plant', 'pl_tl': 'toponym', 'pn_tl': 'person', 'pro_tl': 'profession', 'sn_tl': 'sensory', 'tl_tl': 'tool', 'tmp_tl': 'temporal', 'wp_tl': 'weapons', 'de_tl': 'German', 'el_tl': 'Greek', 'it_tl': 'Italian', 'la_tl': 'Italian', 'oc_tl': 'Occitan', 'po_tl': 'Poitevin'})

Correlacionar

Limpo o dataframe, podemos passar ao cálculo dos coeficientes de correlação entre cada par de variáveis. Nesta fase, é importante compreender os dados e garantir que se usa o método de correlação mais adequado. O pacote pandas-profiling é particularmente útil para isso.

# calculate correlation coefficient with the phi k method
cortag = tagsrn.phik_matrix()

cortag é a nossa matriz de correlação. Podemos agora experimentar diferentes tipos de visualização.

Visualizar

A primeira coisa a tentar é visualizá-la como matriz codificada por cores, com o do seaborn.

Mapa de calor de correlações

f, ax = plt.subplots(figsize=(16, 14))
ax = sns.heatmap(cortag, linewidths=.03, vmin=0, cmap="Oranges", square=True)

Quem conhece bem o texto vê logo que o mapa de calor faz muito sentido. Os nomes, por exemplo, estão fortemente correlacionados com o latim, pois era costume, sobretudo entre os humanistas do século XVI, latinizá-los.

Haverá quem diga que este mapa de calor se limita a afirmar o óbvio. Não estão inteiramente errados e, à primeira vista, as etiquetas médicas parecem confirmá-lo, pois correlacionam-se, como seria de prever, com partes do corpo, medidas e plantas.

Mas, se lermos o mapa de calor com mais atenção, linha a linha, podemos encontrar correlações interessantes e inesperadas. Que as etiquetas médicas, por exemplo, se correlacionem com palavras italianas e latinas dá-nos pistas sobre a origem das receitas médicas do Ms. Fr. 640. Do mesmo modo, a correlação entre profissões, definições e medidas mostra até que ponto a identidade profissional estrutura os discursos técnicos do século XVI.

Mapa de agrupamentos (clustermap)

Os mapas de calor são úteis em contextos «exploratórios», mas podem parecer um pouco confusos ao público, sobretudo quando se discutem – ou ainda se procuram – agrupamentos semânticos específicos no manuscrito. O módulo clustermap do seaborn pode dar resultados interessantes.

clustermap = sns.clustermap(cortag, figsize=(12, 13), dendrogram_ratio=(.1, .2), vmin=0, cmap="Oranges", cbar_pos=(-.06, .12, .03, .68))

Além de parecer um inseto pixelizado (sim, a palavra está dicionarizada), o clustermap distingue claramente as etiquetas isoladas (em cima e à esquerda) das mais interligadas. Distinguem-se também agrupamentos isolados, como música e poitevin (quem diria!), de outros mais centrais, como medidas, material, definições e armas. As profissões estão mais interligadas, mas não fazem parte, pelo menos nesta matriz de correlação, de nenhum agrupamento em particular.

Rede de correlações

Se quisermos sintetizar ainda mais as correlações contidas na matriz, os grafos de rede oferecem uma solução elegante. Isto é particularmente verdade nos contextos em que queremos comunicar sobre o conteúdo do manuscrito.
Para o fazer, é preciso transformar a matriz numa lista de arestas e nós e definir um limiar que elimine do grafo as correlações mais fracas.

# transform the data
links = cortag.stack().reset_index()
links.columns = ['var1', 'var2','value']

# threshold 
links_filtered = links.loc[(links['value'] > .6) & (links['var1'] != links['var2'])]
links_filtered

# create edges
G = nx.from_pandas_edgelist(links_filtered, 'var1', 'var2')

# draw network using Kamada & Kawai's algorithm 
plt.figure(3,figsize = (12,12))
nx.draw_kamada_kawai(G, with_labels = True, node_color = 'red', node_size = 400, edge_color = 'black', linewidths = 1, font_size = 14)

Se houver arestas e nós a mais, pode sempre alterar-se o limiar para obter um resultado mais limpo. Em alternativa, pode exportar-se o grafo para o manipular no Gephi, com a função .write_gexf().

nx.write_gexf(G, 'graph.gexf')

O resultado pode ver-se no início deste artigo.

Atualização: rede ponderada circular

Andava à procura de maneiras de representar matrizes de correlação como redes ponderadas e encontrei esta abordagem interessante , que adapto aqui ao nosso conjunto de dados.

# create graph weighted by correlation coefficients (unfiltered)
Gx = nx.from_pandas_edgelist(links, 'var1', 'var2', edge_attr=['value'])

# determine a threshold to remove some edges
threshold = 0.4

# list to store edges to remove
remove = []

# loop through edges in Gx and find correlations which are below the threshold
for var1, var2 in Gx.edges():
 corr = Gx[var1][var2]['value']
 #add to remove node list if abs(corr) < threshold
 if abs(corr) < threshold:
 remove.append((var1, var2))

# remove edges contained in the remove list
Gx.remove_edges_from(remove)

print(str(len(remove)) + ' edges removed')

Removidas algumas arestas, podemos determinar a cor e a espessura das restantes.

# determine the colors of edges
def assign_colour(correlation):
 if correlation <= 0.8:
 return '#ff872c' # orange
 else:
 return '#f11d28' # red


def assign_thickness(correlation, benchmark_thickness=3, scaling_factor=3):
 return benchmark_thickness * abs(correlation)**scaling_factor


def assign_node_size(degree, scaling_factor=50):
 return degree * scaling_factor

Damos também aos nós um tamanho proporcional ao seu número de ligações.

# assign node size depending on number of connections (degree)
node_size = []
for key, value in dict(Gx.degree).items():
 node_size.append(assign_node_size(value))

O resultado é um grafo ponderado que admite mais nós e consideravelmente mais arestas, sem deixar de ser legível e informativo.