数字人文 |

tei-mcp v0.3：编码TEI，不动源文本一字

Tue, 05 May 2026 00:00:00 +0000

我时，目标是阻止AI助手幻觉出TEI标记。模式锚定解决了一部分问题：有了对P5规范的直接、基于工具的访问，模型不必再猜一个元素是什么意思、能带哪些属性。输出能通过验证。

但在TEI编码里，幻觉有两副面孔，模式只抓得住一副。依规范验证，只能告诉您标记是否合式；至于标记包裹的文本，它一言不发。而破坏性更大的幻觉，恰恰就藏在文本本身里。v0.3的头号新功能——区间锁定合成（span-locked composition）——正是专为防范这类幻觉而设计的。

模式抓不住的幻觉

让模型编码一封十六世纪的法文信，您往往会拿到一份看上去无可挑剔的TEI文档：头部填得满满当当，<persName>标签放得恰到好处，<dateline>合式规整。用validate_document跑一遍，通过。

然后拿正文和源文本比一比。

mesme变成了même。一个逗号挪了窝。luy被悄悄现代化成了lui。手稿里一处难以辨认的分句，被“修正”成了更通顺的样子。这些改动没有一处是您要求的，也没有一处被标出来。文档在模式上有效，却错得悄无声息。

对档案工作流来说——编码后的文本将成为永久记录，下游的读者、检索索引和引用都要倚赖它——这才是最要命的失效方式。标签格式不对，不过是烦人；一处五年没人发现的现代化拼写，就是讹误。

区间锁定合成

新版本（v0.3）带来了一套直指这一失效方式的幻觉防范机制。设计目标是让正文幻觉从构造上就不可能发生，而不只是不大可能。

思路很简单：模型从不键入正文。

取而代之的工作流是这样的：

模型调用get_source("letter_001")，取得源纯文本，一个不可变的字符串。
每想施加一个标签，它就调用tag_span("letter_001", start, end, element_path, attrs)——在源文本的某个字符区间上登记一个TEI元素。
完事后，它调用compose("letter_001")。服务器把登记的标签与原始纯文本交织起来，渲染出最终的TEI，再逐字节核验：渲染文档的扁平文本内容必须与源文本相等。

字节相符，文档就返回。若不相符——哪怕模型的标签只是隐含了一个与源文本差一个字符的正文——compose()便抛出异常，绝不返回一份已经走样的文档。

在这条工作流里，不存在任何一条路径能让模型产出正文与源文本不同的TEI文档。这个不变量是机械的，不是行为的。您不必信任模型不会幻觉，只需信任两个字节串之间的一次==比较。

它是什么，不是什么

区间锁定合成是对模式锚定的补充，不是替代。模式锚定工具（validate_document、lookup_element、valid_children，以及最初十六个工具中的其余部分）帮模型产出有效的TEI；区间锁定合成则保证TEI里的正文忠于源文本。一条可以投入使用的编码工作流必须同时满足这两个维度，如今两者由同一个服务器一并覆盖。

它也不是包治百病的灵丹。compose()还不会检查登记的标签是否为已加载的ODD定制所允许——这是后续工作。登记的标签存在进程内存里，重启即失。源文件也必须能从服务器运行的地方读到。这些都有办法解决，没有一项动摇核心不变量。

为什么意义不止于TEI

这个模式可以推而广之。凡是让模型去注释、转换或包裹一段文本，而底层文本的完整性又比模型“改进”它的本事更要紧，同样形态的解法都适用：别让模型重打一遍文本；让它在文本之上生成指令，再由一个确定性的合成器在相等性不变量的约束下执行。

具体到数字版本，这改变了您可以放心交给模型去做的事。编码忽然成了一项可以委托的任务，不必再手动把每份输出与源文本逐一比对。机器走枯燥的那条路；校勘者审的是标记，不是拼写。

获取更新

已经装了tei-mcp的话：

uvx tei-mcp@latest

或者全新安装：

pip install tei-mcp

要使用区间锁定合成，请把服务器指向存放源纯文本文件的目录：

export TEI_MCP_SPAN_SOURCE_ROOT=/path/to/sources
uvx tei-mcp

每个文件的主名即为其文档ID（letter_001.txt → letter_001）。

源代码、完整文档以及该不变量的设计说明：

另一种数字版本

Tue, 24 Mar 2026 00:00:00 +0000

大多数原始史料从未出版。我们赖以补救的模式——靠经费资助的数字版本——太贵、太集中、太脆弱，根本无法推广。我刚发表了，说明我为什么要换一种方式来做Cavriana书信的校勘本：数字化的原始史料有机生长，基础设施降到最低，维护自动进行，向协作开放，而且便宜到连经费都用不着申请。这是在为一种数字人文辩护：无论有没有机构撑腰，它都能运转。

tei-mcp

Sun, 15 Mar 2026 00:00:00 +0000

tei-mcp：给AI智能体用的TEI P5

tei-mcp是一个开源服务器，让AI编程助手直接访问规范。AI不必再倚赖记忆中的训练数据——那往往产出貌似合理、实则错误的标记——而可以实时查询规范。

功能

服务器解析TEI P5的ODD，提供16个工具：

按名称查询任何元素、类、宏或模块，不区分大小写，拼错了还会给出建议
沿完整的TEI类层次解析属性（本地＋继承）
把内容模型展开成结构化的树，并解析类与宏
验证嵌套——直接的父子关系，或带路径追踪的递归可达性
依据TEI P5验证文档：内容模型、属性、封闭取值列表、引用完整性、弃用警告
验证单个元素，适用于增量编辑的工作流
加载ODD定制，把模式约束到项目特定的子集
用正则表达式在所有实体类型中搜索

安装

pip install tei-mcp

或直接运行：

uvx tei-mcp

用法

加入任何兼容MCP的客户端（Claude、Cursor、Windsurf等）：

{
 "mcpServers": {
 "tei": {
 "command": "uvx",
 "args": ["tei-mcp"]
 }
 }
}

源代码与文档见。

tei-mcp：给AI智能体用的TEI P5

Sun, 15 Mar 2026 00:00:00 +0000

如果您用AI编程助手写过TEI XML，大概已经领教过它的错误：元素放错地方，属性凭空捏造，嵌套规则视若无睹。模型对TEI长什么样有个大概印象，对规范本身却没有可靠的知识。

tei-mcp的解法，是让AI智能体通过工具直接访问TEI P5指南。

MCP是什么？

（Model Context Protocol，MCP）是一项开放标准，让AI应用能接上外部数据源和工具。不妨把它看作AI的USB接口：一套协议，任何兼容的客户端——Claude、Cursor、Windsurf等等——都能借此接入专门的服务。

MCP服务器对外提供工具，AI在对话中可以随时调用。模型不必再靠记忆里的训练数据，而可以查询一个实时的、权威的来源。

tei-mcp做什么

tei-mcp解析TEI P5的ODD规范，提供16个工具，涵盖校勘者或编码者最常问的问题：

这个元素是什么？ 按名称查询任何元素、类、宏或模块，不区分大小写，拼错了还会给出建议。
它能带哪些属性？ 沿完整的类层次解析属性——先列本地属性，再依次列出继承的属性。
它里面能放什么？ 把内容模型展开成结构化的树，或列出有效子元素的平面清单。
这个元素能放在这儿吗？ 检查父子嵌套关系，或在完整的元素层次中追踪可达性。
我的文档有效吗？ 依据规范验证TEI XML文件：内容模型、属性值、封闭取值列表、引用完整性、弃用警告。
我的项目模式呢？ 加载ODD定制文件，把上述一切约束到您项目特定的TEI子集。

为什么要紧

TEI编码离不开时时翻查指南。老手把最常见的模式记在心里，可遇到生僻元素或复杂的内容模型，照样得查规范。AI助手没有这种内化的知识，问题更严重：它们会幻觉出看似合理、实则错误的标记。

有了tei-mcp，AI就不必猜了。写下第一个尖括号之前，它可以先去规范里查答案。结果便是符合TEI P5——或符合您项目ODD定制——的标记。

上手

从PyPI安装：

pip install tei-mcp

然后加入您MCP客户端的配置：

{
 "mcpServers": {
 "tei": {
 "command": "uvx",
 "args": ["tei-mcp"]
 }
 }
}

服务器首次运行时下载TEI规范，可配合任何兼容MCP的客户端使用。

源代码与完整文档：

Multi-Saxon

Fri, 28 Mar 2025 00:00:00 +0000

Multi-Saxon：大型TEI语料库的并行XSLT处理

Multi-Saxon填补了XML处理工具的一处要害空白：LXML（一个流行的Python XML库）处理不了的XSLT 2.0和3.0转换，它能并行执行。它专为大型XML TEI文档集合而设计，凭高效的并行执行大幅缩短处理时间。

主要特性

高级XSLT支持：处理LXML力所不及的XSLT 2.0和3.0转换
并行处理：借并行化大幅缩短大型文档集合的转换时间
为TEI优化：专为文本编码倡议（TEI）XML文档打造
性能可扩展：从数百到数千份文档的语料库，均可高效处理
跨平台：可在不同操作系统和环境下运行

Multi-Saxon解决什么问题

使用TEI的数字人文学者常常面临两大难题：

LXML（常用的Python XML处理库）只支持XSLT 1.0，XSLT 2.0/3.0的高级特性无从使用
大型TEI语料库若逐份顺序处理，耗时可能长到令人却步

Multi-Saxon一举解决这两个问题：借用Saxon的高级XSLT能力，同时把处理分摊到多个核心，性能因此大增。

实现

Multi-Saxon把Python与Java的Saxon处理器结合起来，构成一条高性能的转换流水线：

用Java的Saxon库稳健地处理XSLT 2.0/3.0
以多进程把转换分摊到可用的CPU核心
高效管理处理器池，以求吞吐量最大化
为批量处理TEI文档提供简洁的接口

用法示例

from multi_saxon import MultiSaxon

# Initialize with your XSLT stylesheet
transformer = MultiSaxon("transform.xsl")

# Transform a single document
transformer.transform("input.xml", "output.xml")

# Transform an entire directory in parallel
transformer.transform_directory("input_dir", "output_dir")

对数字人文的意义

对处理大型TEI文档集合的数字人文项目，Multi-Saxon让以下成为可能：

LXML无法完成的复杂全语料库转换
大幅缩短处理时间（多核系统上常可提速5至10倍）
借助XSLT 2.0/3.0的高级特性做更精细的分析
简化整个文档集合的处理流程

源代码与文档见。

persNamer

Fri, 28 Mar 2025 00:00:00 +0000

persNamer：把TEI接上虚拟国际规范文档

persNamer是一个专门的Python工具，简化把VIAF（虚拟国际规范文档，Virtual International Authority File）中的规范人物数据整合进TEI XML文档的流程。它把VIAF标识符转成可直接使用的TEI标记，为数字学术版本创建结构化人物条目的手工劳动因此大减。

TEI中规范控制的难处

数字学术版本往往需要精确识别历史人物，包括规范化的姓名和生卒年月。要在整个项目里保持一致的规范控制，需要：

识别历史文本中的人物
查找他们的规范数据
创建格式正确的TEI条目
确保全项目引用一致

这些步骤通常靠手工，费时，还容易前后不一。

persNamer如何工作

persNamer把这套流程自动化：

获取VIAF数据：给定一个VIAF标识符，工具通过HTTP内容协商取回RDF数据
提取关键信息：解析RDF，提取首选姓名、出生日期和死亡日期
生成TEI标记：创建两段基本的XML片段：
- 一条规范文档条目（<person>元素，带生成的xml:id、<persName>、<birth>、<death>和<idno type="VIAF">）
- 一个独立的标注标签（<persName>，其ref属性指向规范条目）

这样双管齐下，校勘者既能维护一份集中的规范文档，又能把标注标签轻松插入TEI文本。

主要特性

标准化ID生成：按pers-[familyname]-[givenname initial]格式生成一致的XML ID（如pers-deteligny-c）
RDF解析：用rdflib从各种RDF属性（如rdfs:label、schema:name、viaf:mainHead）中提取信息
命令行界面：只需一个VIAF编号作为必要参数即可运行
详细输出：除最终XML外，还提供详细的处理信息

用法示例

python persNamer.py 314802260

这条命令生成：

<person xml:id="pers-deteligny-c">
 <persName>Charles deTéligny</persName>
 <birth>1535</birth>
 <death>1572-08-24</death>
 <idno type="VIAF">314802260</idno>
</person>

<persName ref="#pers-deteligny-c">Charles deTéligny</persName>

在数字人文中的应用

persNamer对以下情形尤其有用：

需要规范控制的数字学术版本
涉及历史人物的TEI编码项目
把文献与规范记录相连的关联数据项目
保证大型TEI语料库的一致性
在数字人文课程中讲授规范控制概念

实现

persNamer用Python实现，依赖：

requests：HTTP请求
rdflib：RDF解析
lxml：XML处理

源代码与文档见。

用预训练语言模型大规模解析书目

Thu, 07 Jul 2022 19:04:14 +0200

自动化是压低数字人文项目成本的关键。时至今日，学术圈里与校勘相关的重复、枯燥的工作，要么由不堪重负的学者高价完成，要么“外包”给学生。在这个中，我主张：这些吃力不讨好的活儿，大多不仅可以而且应该自动化。校勘任务自动化，能降低数字人文项目的整体成本；更要紧的是，它让低收入地区的学者也能又快又省地出版有价值的文献。

里，我举例说明了预训练语言模型如何承担数字版本中大部分XML标注工作。

这一篇讲第二个例子，这次说的是参考书目。

问题

从一篇学术文章提到的参考文献建一个书目数据库，本不算难事：到这样的目录里快速查一下，按特定格式下载，或者从本地数据库自动导入。一两篇文章，这么做没问题。可参考文献一多，这件事就变得又烦又耗时。补救办法是用之类的解析算法，但这些算法很难放大规模。我用anystyle转换我们所收的150多篇学术论文时，累积的错误多到根本收拾不了。它认不出我们的许多文献来源，比如把近代早期书籍的长标题当成别的东西；也认不出不那么典型的文献，如特定网页、在线视频等等。解析器管用的前提是作者一丝不苟地遵守芝加哥、Turabian或MLA之类的通行规范；稍有出格，便出错。

解决方案

这正是预训练语言模型的用武之地：它们能迅速看懂任何书目格式的规律 ——哪怕是您自创的格式——只需几个示例，就能把大量已排版的参考书目正确转成。

2021年初，我有幸提前用上了OpenAI的。Codex是一个在自然语言与代码之间互译的模型。据OpenAI称，它精通十几种编程语言；写这篇博文时，它的API还处于测试阶段，却已在为GitHub的等热门应用提供支持。

摆弄了一阵这个API，我发现它对BibTeX这样更简单的代码也同样得心应手。

事实上，输入提示词里只放四个示例，它就能稳定地工作。

输入提示词

References: Bayle, Ariane. “Patients exemplaires: la correspondance médicale de Fioravanti.” In Vulgariser la médecine. Du style médical en France et en Italie, edited by Andrea Carlino and Michel Jeanneret, 181–212. Geneva: Droz, 2009.

Berns, Andrew D. The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth. Cambridge: Cambridge University Press, 2015.

Gabler, Hans Walter. “Theorizing the Digital Scholarly Edition.” Literature Compass 7, no. 2 (2010): 43–56. .

Findlen, Paula. Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy. Berkeley: University of California Press, 1994.

@incollection{bayle2009,
 author = {Bayle, Ariane},
 booktitle = {Vulgariser la médecine. Du style médical en France et en Italie},
 title = {Patients exemplaires: la correspondance médicale de Fioravanti},
 editor = {Carlino, Andrea and Michel Jeanneret},
 year = {2009},
 address = {Geneva},
 publisher = {Droz},
 langid = {french}
}
@book{berns2015,
 title = {The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth},
 author = {Berns, Andrew D.},
 address = {Cambridge},
 publisher = {Cambridge University Press},
 langid = {english},
 date = {2015}
}
@article{gabler2010,
 author = {Gabler, Hans Walter},
 title = {Theorizing the Digital Scholarly Edition},
 journal = {Literature Compass},
 volume = {7},
 number = {2},
 pages = {43-56},
 doi = {10.1111/j.1741-4113.2009.00675.x},
 langid = {english},
 year = {2010}
}
@book{findlen1994,
 title = {Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy},
 author = {Findlen, Paula},
 address = {Berkeley},
 publisher = {University of California Press},
 langid = {english},
 date = {1994}
}

结果

令人瞩目：两千多条参考文献，几天之内便转换完毕。这个方法不仅准确复现了我在提示词中展示的模式，还正确地添加了提示词里没有的条目类型和字段类型。换言之，GPT-3说得一口流利的BibTeX。对一个基本靠英语训练的模型来说，更叫人惊讶的或许是：它认出了所有语言（俄语、法语、意大利语、拉丁语、希腊语、德语、西班牙语等），每次都加上了正确的langid字段。

注意

GPT-3目前的输入输出规模有限，最多只能处理2048个语言词元（token）。这一限制一旦解除，同样的任务大概只需一小时，甚至更短。

有些出乎意料的是，GPT-3还添加了原始参考文献里没有的信息。

Baillot, Anne, and Anna Busch. “Editing for Man and Machine.” In Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting, Vol. 13. Variants (Journal of the European Society for Textual Scholarship). Leicester, 2015.

比如在这条参考文献里，GPT-3加上了可以阅读该论文的开放获取仓储（）的永久链接，连HAL仓储自创的专用字段HAL_ID和HAL_VERSION也一并加上：

@inproceedings{baillot2015,
 title = {Editing for Man and Machine},
 author = {Baillot, Anne and Busch, Anna},
 year = 2015,
 booktitle = {Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting},
 address = {Leicester},
 series = {Variants (Journal of the European Society for Textual Scholarship)},
 volume = 13,
 editor = {Bruhn, Siglinde and Schreiber, Manfred},
 langid = {english},
 hal_id = {halshs-01233380},
 hal_version = {v1}
}

这些补充说明， GPT-3不只是解析参考文献，还会根据它当初学到的东西把参考文献补全。就此而言，看看它对GPT-3训练之后才出现的文献是否也这般表现，会很有意思……

局限

不过GPT-3并不完美，得有人盯着。它的已知局限之一是：有时会凭空捏造，做出一些不太靠谱的假设。

在我的实验中，GPT-3的不连贯有一次表现得很明显：它擅自把一位作者的姓氏从“Ruscelli”改成了“Ruscello”。严格说这不算错，因为近代早期意大利姓氏的单复数可以混用。可如今的惯例是，姓氏原本是单数还是复数，就照原样保留。今天没有人会把Machiavelli叫成Machiavello，正如我们该写Rossello而不是Rosselli。GPT-3无视这条惯例，是因为缺少年代意识？还是因为它根据邻近的姓氏做了推断——书目这一段的姓氏碰巧都是单数（Bariletto、Cesano、Rossello）？谁知道呢。

@book{rossello1565,
 title = {Della summa de’ secreti universali},
 author = {Rossello, Timoteo},
 address = {Venice},
 publisher = {Giovanni Bariletto},
 langid = {italian},
 date = {1565}
}
@book{ruscello1559,
 title = {La seconda parte de’ secreti del Reverendo Donno Alessio Piemontese},
 author = {Ruscello, Girolamo},
 address = {Pesaro},
 publisher = {Bartolomeo Cesano},
 langid = {italian},
 date = {1559}
}

结论

150多篇论文，是四年密集合作的结晶；它们不仅提供了有关我们所编辑、翻译的手稿的关键信息，还蕴含着宝贵的书目信息。

把这些参考文献汇入一个数据库，校勘者便能转眼之间更换书目格式，想怎么呈现就怎么呈现。这个数据库还提供了关于该版本及其背后项目的宝贵信息，为学者打开了新的分析视角。而这样的数据库，可以在创纪录的时间内以极高的准确率建成。

诚然，会有一些错误混进来，尤其是因为GPT-3爱产生幻觉。但预训练语言模型的后续版本将会缓解这个问题。

Avviso | 出版让我们走向现代的新闻（1537—1743）

Sun, 12 Dec 2021 00:00:00 +0000

Avviso项目的主要目标，是对35000份近代早期手抄新闻信（即avvisi）进行数字化、保存、编目、校勘、语境化和传播；这些新闻信原属美第奇家族收藏，现藏于佛罗伦萨国家档案馆。借助美第奇档案计划的Medici Interactive Archive平台，对约35000份avvisi（近代早期手抄新闻信）进行编目、数字化与传播。

高效校勘

Sun, 12 Dec 2021 00:00:00 +0000

数字校勘本代价高昂。转录、翻译、注释，须由高素质人员完成，动辄数千小时；除了长期的机构支持，还需要大笔经费。

数字人文领域那些引人注目的项目能拿到运作所需的巨额经费，从某种意义上说是一种福气。

可是，过度倚赖富有基金会、大学和政府机构的慷慨，长年需要大量人力，终究不是一种能面向未来的经济模式。就算越来越多的学者做得起雄心勃勃的原始史料数字版本，这种做法依然是少数富裕国家的特权，反倒强化了它们的文化霸权。

要让世界各地的历史文献走向更广大的公众，数字校勘本的成本就得降低几个数量级。

在这一组博文里，我评估世界各地学者可以用来更快、更省地出版原始史料的各种办法和技术模块。

我将着重评估机器学习、区块链和去中心化存储等技术。

数字学术版本的标记自动化

Mon, 22 Nov 2021 18:15:00 +0000

引言

如何做数字学术版本而不至于倾家荡产？本文是“高效校勘”系列的第一篇；我在这里评估预训练语言模型在编辑任务自动化——譬如语义标记——中能扮演什么角色。

问题

爱的劳作

情之所钟，不计代价……俗话是这么说的。数字学术版本尤其如此：转录、翻译、注释，动辄数千小时的工作，而且—— （《文艺复兴时期法国的工艺与自然之秘》）便是一例——要靠数百位高素质的合作者来完成。

数字人文领域那些引人注目的项目能拿到运作所需的巨额经费，从某种意义上说是一种福气。可是，过度倚赖富有基金会、大学和政府机构的慷慨，长年需要大量人力，终究不是一种能面向未来的经济模式。

说到底，如果我们希望世界各地的学者都能把历史文献带到更广大的公众面前，数字校勘本的成本就得降低几个数量级。

高门槛

有点吊诡的是，出路也许正来自这类劳动密集的项目：它们本身就是宝贵的训练集，可以用来把数字校勘中最叫人厌烦、最重复的活儿——比如标记——交给机器。

这不是说标记无关紧要。恰恰相反，标记已经成为任何严肃的数字学术项目都少不了的组成部分。经标准化之后，它让我们得以记录文献及其所承载文本的方方面面：结构、页边批注、删改、异文、纸张种类、污渍、字体……凡你能想到的，都能记下来。

下面这个例子取自，展示了标记如何给文本附加信息（类别、结构、语义场、删改等等），最终使数字版本比起纸本前身有了显著的优势。

纯文本 XML标记

纯文本	XML标记
`Pour rompre grenades et donner violence aux artifices de foeu Mects parmy la pouldre et la sixiesme partye dicelle de vif argent`	`<div id="p008r_2" categories="arms and armor"> <head>Pour rompre <wp>grenades</wp> et donner<lb/> violence aux <wp>artifices de foeu</wp></head> <ab>Mects parmy la <m>pouldre</m> <del><ms>six fois autant</ms> de <m>vif argent</m></del><lb/> <del>et</del> <ms>la sixiesme partye</ms> dicelle de <m>vif argent</m></ab> </div>`

Pour rompre grenades et donner
violence aux artifices de foeu

Mects parmy la pouldre et la sixiesme
partye dicelle de vif argent

<div id="p008r_2" categories="arms and armor">
<head>Pour rompre <wp>grenades</wp> et donner<lb/>
violence aux <wp>artifices de foeu</wp></head>
<ab>Mects parmy la <m>pouldre</m>
<del><ms>six fois autant</ms> de
<m>vif argent</m></del><lb/>
<del>et</del> <ms>la sixiesme partye</ms>
 dicelle de <m>vif argent</m></ab>
</div>

这些信息不仅有存档价值，而且——我此前已多次展示——对综合与分析同样有用。不过，这类注释极其耗时，因为同一段文本往往要以多种面貌出现：译文、转录、现代化拼写本，等等。

解决方案

Transformer：通往自动化的最短路径？

2020年，大张旗鼓地推出了新一代通用大规模语言模型GPT-3，全称“Generative Pre-trained Transformer 3”（生成式预训练Transformer第三代）。Transformer是人工智能领域相当新近的突破：学新任务快得惊人，只需读一段提示词、看寥寥几个例子。也可以用专门的数据集再训练一番（微调），以改善延迟与准确率。正因如此，GPT-3和同类Transformer被称为。

据OpenAI称，GPT-3拥有创纪录的1750亿参数，训练文本超过570GB，其中大部分是英文文档，想必取自。凭着这份体量，GPT-3为该领域立下了新标杆：开箱即用，便能完成各式各样的任务，逼真得叫人不安。它能写像模像样的，能在聊天室里，能、、翻译文档、解释行话，不一而足。

自2021年5月起，我提前拿到了OpenAI的API使用权，得以试验这个模型解决若干公认难题的本事：把法语诗歌和新拉丁语文本译成英语，解释类比，甚至把康德《道德形而上学奠基》第四卷讲给七岁小孩听（虽说讲得不怎么令人信服）。

Codex

GPT-3最近的一项进展专攻计算机语言。这个名为Codex的模型能在自然语言与计算机语言之间互译。比方说，我想要一个正则表达式，用来“只查找以大写字母开头的单词”，GPT-3立刻把这句话译成一条可用的正则表达式：[A-Z]+\w+。

据OpenAI称，Codex能处理十几种计算机语言，包括Python、JavaScript、Go、Perl、PHP、Ruby和Swift。它把伪代码顺畅地转成代码，人们便不必再为计算机语言繁琐的语法费神，可以专心于让应用程序解决问题的逻辑步骤与策略。

OpenAI之外

当然，OpenAI并非独一家。前面提过，北京智源人工智能研究院2021年宣布了一个更大、更强的模型，名为悟道2.0（Wu Dao 2）。Nvidia与微软联手推出了名副其实的Megatron-Turing NLG 530B。和这样的小型初创公司也向公众提供API。等开源项目同样值得一提。人工智能这个圈子变化极快；要追踪新动向，不妨看看。

实验

注意

这些实验的目的，是找到一条通往编辑任务可靠自动化的最经济的路。有人会说，其中一些任务用监督学习算法也能自动化。这个假设留待以后的文章探讨。

像GPT-3这样的Transformer，能不能学会给一份十六世纪的技术与科学手稿加注释？

实验1——文本分类

先从相对简单的开始。既然是“少样本学习者”，GPT-3理应能很快摸清我们编辑团队给Ms Fr 640各条目分类的路数。

提示词工程

训练时，我只用了一段极简的提示词，另选四个简短的纯文本条目作示例，其中有关于“医学”“武器与盔甲”和“绘画”的条目。

测试

然后，我另抄了一段不在初始序列里的文字：

Working neatly
Never put down, if you can, two colors one on top of the other.
But next, having made your design carefully, keep the place of shadows for them alone,
& also separately that of lights & highlights, without layering one color all over & then highlighting or else shading on it.
And in this way, you further your work, economize your colors & work neatly.
Which is the reason that, the colors not being muddled nor mixed together, they do not die & you soften the colors better, since they are not so thick.

输出与内容完全吻合：

<categories="painting">

再试一个条目，其类别压根不在最初选来训练GPT-3的文本之列，结果令人吃惊。

<categories="jewelry">

结果

我们的Ms. Fr. 640版本里并没有“jewelry”（珠宝）这个类别；编辑团队用更宽泛的“Stones”（石料）。不过GPT-3的直觉不错，这说明只要再多训练一点，它就能学会给Ms. Fr. 640的任何条目分类，或许连类似的十六世纪技术文本也不在话下。

实验2——语义标记

把门槛再抬高一些。既然GPT-3这样的Transformer能按特定的编辑标准给文本分类，它们能不能也识别出文本中的部分标记？

注意

Secrets of Craft and Nature采用语义标签与结构标签的。可惜，与等项目不同，GPT-3不处理图像。GPT日后的版本很可能会补上这项能力——识别文献的大多数结构和物质特征都离不开它。这些标签我们暂且跳过，只看不需要图像识别的标记。

提示词工程

语义标签涉及动物、植物、地名、感官信息等等。训练提示词里，我从版本中挑了几个例子：

<!--Input prompt-->
The following is a list of words and their corresponding semantic tags

cannons: <wp>cannons</wp>
powder: <m>powder</m>
flasks: <tl>flasks</tl>
wooden: <m>wooden</m>
iron: <m>iron</m>
parchment: <m>parchment</m>
goats: <al>goats</al>
lambs: <al>lambs</al>
leather: <m>leather</m>
earth: <m>earth</m>
fine fatty earth: <m>fine fatty earth</m>
Venice: <pl>Venice</pl>
Flemish: <pl>Flemish</pl>
almond: <pa>almond</pa>
almond oil: <m><pa>almond</pa> oil</m>
walnuts skin: <m><pa>walnuts</pa> skin</m>
molten lead: <m>molten lead</m>
today: <tmp>today</tmp>
In the past: <tmp>In the past</tmp>
Clockmakers: <pro>Clockmakers</pro>
red copper: <m>red copper</m>
crucible: <tl>crucible</tl>
bellows: <tl>bellows</tl>
charcoal: <m>charcoal</m>
founders: <pro>founders</pro>

测试

先用Davinci-codex模型试几个容易的词：Apothecary（药剂师）、smoke（烟）、glassmakers（玻璃匠）、latten（黄铜合金）、snake（蛇）。结果立等可取，毫无差错：

<!--Output-->
Apothecary: <pro>Apothecary</pro>
smoke: <m>smoke<m>
glassmakers: <pro>glassmakers</pro>
latten: <m>latten</m>
snake: <al>snake</al>

更难的一关是复合词，如copper plates（铜板）、walnut oil（核桃油）、wood block（木块）。这一关考的是GPT-3能否正确处理嵌套标签。

<!--Output-->
copper plates: <m>copper plates</m>
walnut oil: <m><pa>walnut</pa> oil</m>
wood block: <m>wood block</m>

结果好坏参半：Davinci-codex只标对了walnut oil，没能识别出copper plates和wood block里的tl与m嵌套标签。不过，下面的测试表明，这类错误可以靠更好的训练提示词来补救。再加上五个嵌套标签的例子之后，Davinci-codex交出了近乎完美的答卷，只错了一处（oil paintbrushes）：

<!--Output-->
cannon powder: <m><wp>cannon</wp> powder</m>
arquebus powder: <m><wp>arquebus</wp> powder</m>
oil paintbrushes: <m><al>oil</al> paintbrushes</m>
sheep footbones: <m><al>sheep</al> footbones</m>
bronze mortar: <tl><m>bronze</m> mortar</tl>

结论

须记住，这些测试用的都是很小的文本片段。我猜想，若在示例和提示词里提供更多上下文，GPT-3模型的表现还会更好。再用专门的训练数据集微调一番，标注的准确率无疑会更上一层楼。
这些实验固然还需扩大规模，才能证明预训练语言模型的可靠性；但我们已经可以下结论：这种方法让校勘者只需几个简单的步骤，就能把多项注释任务交给机器，从而可能省下大量的时间和金钱。

手稿可视化2（更新）

Sat, 20 Nov 2021 16:00:00 +0000

如约而至：介绍的交互式树状图出了新版本，这回有两种查看模式。

注意

为获得更佳的浏览效果，请确保网页设置为浅色模式（点击右上角的月亮图标）。

Group folios by category

档案的可视化浏览器

Sun, 20 Jun 2021 16:00:00 +0000

问题

数字版本身上有个悖论：它们让艰深的文献走向更广大的公众，可去物质化带来的感官信息的流失，又往往让读者摸不着头脑，甚至打消了深入其内容的念头。在庞大的文献库里穿行，于是变得相当繁琐，令人却步。不只是缺乏档案研究经验的用户如此，有认知障碍的读者也是如此。

解决方案

这正是档案元数据能帮上忙的地方。的确，这类数据让我们能做出交互式的视觉抽象，为读者提供另一种感官输入，从而既提升易用性，也提升可及性。要让档案在视觉上可以穿行，树状图（treemap），或任何能有效分解层级数据的图表，都能派上用场。

实验

我的第一个实验改编了D3.js的，并加上超链接。它呈现的是BnF Ms Fr 640手稿、其各对开页，以及每一对开页内的条目。颜色代表主导类别。鼠标悬停在条目上可以看到更多数据，包括指向手稿的超链接。
这样一来，树状图便成了一个交互式的视觉索引，让读者一眼扫过，便对手稿内容——以及每一对开页、每一条目的篇幅——有个快速而灵敏的概览。
~~接下来几个月，我会继续试验这个想法，尝试别的图表和别的层级……敬请期待！~~ 树状图的新版本请点击。

注意

为获得更佳的浏览效果，请确保网页设置为浅色模式（点击右上角的月亮图标）。

Click any cell to zoom in, or the top to zoom out.

档案一览

Mon, 24 May 2021 16:00:00 +0000

问题

历史档案的杂乱可以叫人望而生畏。的Mediceo del Principato全宗就是个典型：编有目录的只是一小部分，许多文献不知何故散落在6500多卷之中。更麻烦的是，档案馆每次只让你调阅有限数量的卷（他们称之为filze）。平时限额是每天4卷filze；到了疫情期间，降到每两周4卷。没有详细目录，档案又如此庞大，研究者只好自己想办法，好尽快找到要找的文献。

解决方案

有人靠运气，也有人会根据年代、收信人、作者、全宗来源、语言等等，做出有根据的猜测。然而，把这些变量同时看在眼里，或许能揭示档案结构中意想不到的规律，让我们猜得更准。依我的经验，研究者平常记在电子表格里的元数据，一旦画成图，就能大大提高在档案馆里的态势感知。

实验

我目前的研究围绕一位十六世纪间谍的书信。他的信散布在数百卷filze里：以不同的身份写成，寄给不同的、有时出人意料的收信人，发自不同的地点，如此等等。为了找出更可能藏有目标信件的filze，我搭了一个仪表盘——一个交互式数据可视化网页应用（），把各类数据（包括地理和年代信息）与全宗的层级图（）连在一起。仪表盘让我一眼看出已经找到了什么、占多大比例，并大致知道还可以到哪里去找新信。点击某个变量，所有图表还会随之更新，显示特定的关联。

下一步

也许更要紧的是，这个仪表盘可以改作视觉索引。等这些书信的校勘本上线，仪表盘将成为另一个入口，读者可以从这里浏览数据。出于保密考虑，眼下我只能展示一张打了码的截图，完整的仪表盘明年发布。在此之前，很快会先放出一个原型。敬请期待！

Making & Knowing Project

Sun, 27 Dec 2020 00:00:00 +0000

由Pamela H. Smith创立于2014年，有数百位合作者参与，是哥伦比亚大学的一项研究与教学计划。

我以博士后研究员的身份参与该项目，工作之一是BnF Ms. Fr. 640的。这份独一无二的十六世纪法文手稿，让我们得以第一手地窥见一个艺术家即科学家的时代如何制作、如何用料。

该数字版本在上免费提供了大量数据。来年我打算写一组博文，谈这个版本及其数据，展示用Python或R下载、分析文本何等容易。敬请期待！

BnF Ms. Fr. 640语义标记的可视化

Sun, 20 Dec 2020 18:15:00 +0000

概述

数据丰富的学术版本里藏着宝贵的编辑注释，可以提取、分析、可视化，服务于各种学术目的。2020年发布的（《文艺复兴时期法国的工艺与自然之秘》）便是如此：它的元数据文件可从GitHub仓库下载。本文展示如何把这些变量汇成一个相关矩阵，再以不同方式画出来。

数据

Making and Knowing Project生成了一份电子表格，载有手稿内容的最新信息：entry_metadata.csv。该文件可从Making & Knowing的取得。另外，也可以借助Matthew Kumar出色的 ——BnF Ms. Fr. 640的Python版本——生成定制的.csv文件，加入更多标记。

设置Python

数据整理用Pandas，热图用Matplotlib和seaborn，最后用NetworkX生成基于相关的网络。
对这类变量，我们避开Pearson法，改用𝜙𝐾法。请务必先这种相关方法及其对应的库PhiK。

#install packages
pip install phik

# import modules
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import networkx as nx

准备数据

首先，从该版本的metadata文件夹下载最新的元数据文件。我们只选需要的列。本演示中，我选了英文译文tl里的全部语义标签；您也可以选法文转录tc或规范化版本tcn里的标签。数据是分号分隔的值，得让Python替我们数。于是用stack-unstack方法，配合正则表达式[^;\s][^\;]*[^;\s]*来数。为了让矩阵更好读，我们把每一列重新命名。赶时间的话，这一步可以跳过，只需记住此时的数据框叫tagsrn。

# load the edition's metadata
df = pd.read_csv('entry_metadata.csv')

# select the tags you want to correlate
dftags = df[['al_tl', 'bp_tl', 'cn_tl', 'df_tl', 'env_tl', 'm_tl', 'md_tl', 'ms_tl', 'mu_tl', 'pa_tl', 'pl_tl', 'pn_tl', 'pro_tl', 'sn_tl', 'tl_tl', 'tmp_tl', 'wp_tl', 'de_tl', 'el_tl', 'it_tl', 'la_tl', 'oc_tl', 'po_tl']]

# count comma separated values
tagcount = dftags.stack(dropna=False).str.count(r'[^;\s][^\;]*[^;\s]*').unstack()

# rename columns
tagsrn = tagcount.rename(columns={'al_tl': 'animals', 'bp_tl': 'body parts', 'cn_tl': 'currency', 'df_tl': 'definitions', 'env_tl': 'environment', 'm_tl': 'material', 'md_tl': 'medical', 'ms_tl': 'measurement', 'mu_tl': 'music', 'pa_tl': 'plant', 'pl_tl': 'toponym', 'pn_tl': 'person', 'pro_tl': 'profession', 'sn_tl': 'sensory', 'tl_tl': 'tool', 'tmp_tl': 'temporal', 'wp_tl': 'weapons', 'de_tl': 'German', 'el_tl': 'Greek', 'it_tl': 'Italian', 'la_tl': 'Italian', 'oc_tl': 'Occitan', 'po_tl': 'Poitevin'})

计算相关

数据框清理干净，就可以计算各变量之间的相关系数了。这一步要紧的是吃透您的数据，确保用的是最合适的相关方法。pandas-profiling包对此特别有帮助。

# calculate correlation coefficient with the phi k method
cortag = tagsrn.phik_matrix()

cortag就是我们的相关矩阵。现在可以试试不同类型的可视化了。

可视化

首先可以试的，是用seaborn的把它画成一个颜色编码的矩阵。

更新：环形加权网络

我一直在找把相关矩阵显示为加权网络的办法，找到了这个有趣的思路，在此改编到我们的数据集上。

# create graph weighted by correlation coefficients (unfiltered)
Gx = nx.from_pandas_edgelist(links, 'var1', 'var2', edge_attr=['value'])

# determine a threshold to remove some edges
threshold = 0.4

# list to store edges to remove
remove = []

# loop through edges in Gx and find correlations which are below the threshold
for var1, var2 in Gx.edges():
 corr = Gx[var1][var2]['value']
 #add to remove node list if abs(corr) < threshold
 if abs(corr) < threshold:
 remove.append((var1, var2))

# remove edges contained in the remove list
Gx.remove_edges_from(remove)

print(str(len(remove)) + ' edges removed')

去掉几条边之后，就可以决定边的颜色和粗细了。

# determine the colors of edges
def assign_colour(correlation):
 if correlation <= 0.8:
 return '#ff872c' # orange
 else:
 return '#f11d28' # red


def assign_thickness(correlation, benchmark_thickness=3, scaling_factor=3):
 return benchmark_thickness * abs(correlation)**scaling_factor


def assign_node_size(degree, scaling_factor=50):
 return degree * scaling_factor

我们还让节点的大小与其连接数成正比。

# assign node size depending on number of connections (degree)
node_size = []
for key, value in dict(Gx.degree).items():
 node_size.append(assign_node_size(value))

结果是一张加权图：容纳了更多节点和多得多的边，却依然清晰可读、信息丰富。

Filippo Cavriana的秘密通信，1568—1589

Fri, 27 Dec 2019 00:00:00 +0000

Filippo Cavriana的秘密书信，是法国宗教战争独一无二的见证：二十余年间，法国宫廷内外由阴谋、战役、谈判与密谋所主宰的生活，尽在其中。

这些信藏于，大多散落在数百卷未编目的卷宗里——佛罗伦萨人管这叫filze。过去几年，我发现了数十封新信，但这类档案研究正变得越来越难：远离佛罗伦萨，意大利某些公共服务的退化，再加上新冠疫情，都让这类出版项目成了一场漫长而没有把握的工程。

困难虽与日俱增，出版原始史料仍应是历史学家分内之事。不过，这类出版物的形态或许该变一变了：原始史料的出版不仅要适应上述处境，还应更好地体现这类研究的渐进性质，同时让别人有可能接着做下去。

由此便有了这个想法：开发一种新型的数字出版项目，要可扩展、可持续、可信、不依赖平台，并且有可能协作。

版本现已上线：。它汇集了迄今转录的信件——来自佛罗伦萨、曼托瓦的国家档案馆以及法国国家图书馆（BnF）——并随着新信的浮现而不断增长。设计背后的思路，我在里作了说明。

数字人文 |

tei-mcp v0.3：编码TEI，不动源文本一字

模式抓不住的幻觉

区间锁定合成

它是什么，不是什么

为什么意义不止于TEI

获取更新

另一种数字版本

tei-mcp

tei-mcp：给AI智能体用的TEI P5

功能

安装

用法

tei-mcp：给AI智能体用的TEI P5

MCP是什么？

tei-mcp做什么

为什么要紧

上手

Multi-Saxon

Multi-Saxon：大型TEI语料库的并行XSLT处理

主要特性

Multi-Saxon解决什么问题

实现

用法示例

对数字人文的意义

persNamer

persNamer：把TEI接上虚拟国际规范文档

TEI中规范控制的难处

persNamer如何工作

主要特性

用法示例

在数字人文中的应用

实现

用预训练语言模型大规模解析书目

问题

解决方案

输入提示词

结果

局限

结论

Avviso | 出版让我们走向现代的新闻（1537—1743）

高效校勘

数字学术版本的标记自动化

引言

问题

爱的劳作

高门槛

解决方案

Transformer：通往自动化的最短路径？

Codex

OpenAI之外

实验

实验1——文本分类

提示词工程

测试

结果

实验2——语义标记

提示词工程

测试

结论

手稿可视化2（更新）

档案的可视化浏览器

问题

解决方案

实验

档案一览

问题

解决方案

实验

下一步

Making & Knowing Project

BnF Ms. Fr. 640语义标记的可视化

概述

数据

设置Python

准备数据

计算相关

可视化

相关热图

相关聚类图