https://clementgodbarge.com/zh/HugoBlox Kit (https://hugoblox.com)zh-cnSun, 06 Sep 2026 00:00:00 +0000https://clementgodbarge.com/media/icon_hu_64a6c3bec25b3d7b.png<link>https://clementgodbarge.com/zh/</link></image><item><title>篱笆，不是火堆</h1> <article> <h1>篱笆，不是火堆</h1> Sun, 06 Sep 2026 00:00:00 +0000 在北拉斯维加斯的一座仓库里，亚马逊开着一台机器，专门切掉二手书的书脊。散页过一遍扫描仪，纸张便送去打浆。把这桩事比作当代焚书，套话一个不落：影射萨伏那洛拉，配上几张看似珍本的图库照片，当然还少不了柏林的焚书堆。不出所料，大报们口气冷静些，却把同一个类比悬在半空，没有收回。这些文章义愤填膺，可字里行间，人工智能产业竟被轻轻放过，放得出奇。谁来掌控正在被扫描的知识？这个问题得先等一等——我们先把焚书这套胡话清扫干净。 <h2 id="扫描仪不是火刑堆">扫描仪不是火刑堆</h2> 销毁一个实体本，并不能凭这一点就让破坏性扫描成为萨伏那洛拉的篝火或纳粹焚书的当代翻版。那些行为的意义，来自被谴责的对象和谴责的缘由。可怜的修士萨伏那洛拉，一有焚书争议就被拖出来示众；他号召人们焚烧自己的一部分财物，作为公开的忏悔。纳粹的火堆上演的是另一种否弃：当众焚书，宣告这些作者在德国文化生活中没有立足之地。两者的销毁都是表演。破坏性扫描则是数字化中常用的手段，用意截然不同：牺牲书本，是为了保住内容。书毁了，文本却脱离了纸张。谁要是想搬出《华氏451度》，不妨想想：布拉德伯里笔下的消防员，可没打算把文本留到以后用。 把“珍本”写进标题，火上浇油，其他媒体也照抄不误。然而，它自己的调查里引述的一位书商就说，这些大宗订单 ——也就是说，主要是1970年前后ISBN问世以来出版的版本。这是后备箱旧货摊和慈善商店里的货色，往往一次大扫除就进了垃圾场。在宣告文化浩劫之前，不妨先查查图书馆目录：法定送存图书馆的存在，正是为了保存这类出版物。诚然，有ISBN不等于必有送存本存世；可二手市场上难寻，也不能证明一个文本就此消失。 打浆毁掉的是实体本，连同上面的题赠和页边批注。批注或流传经历具有历史价值的本子，理应先行识别、妥为保存，最好赶在流入二手市场之前。绝版书的实体本日渐稀少，我们也大可为此担忧。但既然担忧，就该同时问一句：权利人为何既不重印，又不授权读者查阅现有的数字复制件？学者们对这种憋屈再熟悉不过：Google图书替你找到了要的那段话，然后只给你看一小片，而这本书既买不到新的，也无法在线阅读。这里有值得争论的损失。但它们并不能把扫描仪变成纳粹的火堆。 再说，图书业早就把化浆当作日常。单在法国，，约占退还经销商的滞销书吨数的60%。这叫库存管理。滞销的多余本子和稀缺的二手书，各自引出的是不同的获取问题；但销毁纸张本身，算不上审查，也算不上暴政。 <h2 id="书越多人工智能越好">书越多，人工智能越好？</h2> 人工智能公司买书、扫书，其实是好消息。一种常因对人类文化理解肤浅而挨批的技术，正在多吸收一些文化——照理说，学者本该乐见其成。 一种语言积累下来的记录，网络远远替代不了。一种语言有据可查的生命——从小说、回忆录到流行歌曲、对话记录——很大一部分从未从纸面走上网络。这些书中，不少已经比出版它们的出版社活得更长。把它们纳入训练数据，在别无他物可用的地方最为紧要。英语多几本书，也许只带来些微改善；而在一种资料稀少的语言里，这些书可能决定一个系统是可用还是废物。这些工具该不该进入我们的公共服务和日常生活，是一个留给公共讨论的问题。但无论我们决定在哪里用它们，都应当能用自己的语言来用。 西班牙和荷兰报道的订单，让语言上的利害有了具体的样子。五月，报道，巴达洛纳的一位书商反复接到订单，要的主要是加泰罗尼亚语的非虚构书：史书、技术手册、旧会议论文集。到了八月，荷兰媒体报道，有人向De Slegte书店求购。这些书的语言，至少值得与它们书脊的命运同等的关注。对《每日邮报》，这或许要求过高；可就连较为持重的报纸，对所涉语言也几乎无话可说。 与大出版商签许可协议，同样能提供有价值的材料，但它们的数字书目只覆盖印刷品中的一小部分。从未数字化的书，或出版商已不再持有版权的书，都不在供给之列。再慷慨的许可协议，也顶替不了出版史，更顶替不了一种文化的历史。收购二手书，正是绕过这些商业边界的一条路。 <h2 id="盗窃不是论证">“盗窃”不是论证</h2> 把这叫作“盗窃”，同样无济于事。2025年6月，美国两家地区法院在各自审理的案件中裁定，用图书训练语言模型属于合理使用。在中，法院强调训练的转换性：这些书被用来构建一个能产生新表达的系统。模型固然会记住段落，但用一本书训练，并不等于整本书随时可以按需调取。反过来，没有逐字复制，也不足以打消一切异议。在中，法官警告说，人工智能生成的作品可能淹没市场，此类损害若有证据，或可击破合理使用的抗辩；只是这些原告没能拿出有分量的证据，证明自己的作品受到了这种损害。两项裁决都没有给人工智能公司开出无限制的许可，也没有了结伦理之争。它们要求我们分清三件事：书是怎么获取的，复制件是怎么保存的，训练又拿它们做了什么。一句“盗窃”，把这些问题全搁下了。 顺带一提，Anthropic案的裁决恰恰为裁切机提供了理由。法院认可对购得本子的数字化，却否决了在永久馆藏中囤积盗版书的做法——为此，该公司后来。数字化之所以过关，一部分原因正是每一本纸质书都在转换中销毁：数字副本取而代之，且不曾外传。让某些人如此不安的销毁，反倒帮Anthropic坐实了其数字化项目属于合理使用。在那个案子里，买、扫、弃，提供了一条合法路径。裁切机在这里是合规的工具。买书能解决获取问题，却不能凭此授予任何人分享所得语料库的权利。 希望人工智能汲取更多语言、更多学术、更多互联网之前的世界，有充分的理由。这些理由不会因为一家我们不喜欢的公司从中看到了商机就烟消云散。 <h2 id="借来的义愤">借来的义愤</h2> 那么，回到《每日邮报》。它这篇文章隶属于运动——报业老板与出版商联手发起，目的是为人工智能建立。两个顺手的偷换在起作用：大科技公司顶替了人工智能，权利人顶替了英国的创造力。读者受邀捍卫文化，而出版商正在谈判出售文化的价码。转发这则报道的学者不妨自问：自己的义愤在替谁效劳？ 大科技公司与争的是租金，却没有谁反对篱笆。“孤身作者被科技巨头掠夺”的故事，遮住了昂贵许可协议给两大企业阵营各自带来的好处：出版商拿到钱，大科技公司得到一个小对手付不起入场费的市场。彼得·蒂尔把硅谷的偏好说得更露骨：。 许可制度未必非得走到这一步。价格可承受、非排他的访问，本可以帮到小开发者。但一个逼着每个新进入者都去和大权利人谈昂贵协议的制度，把购买力变成了入场条件。一笔被包装成对文化产业让步的付款，最终买到的是对未来对手的防护。 <h2 id="人工智能不属于大科技公司">人工智能不属于大科技公司</h2> 还有一层更深的问题。太多对人工智能的批评，把最大的几家商业供应商当成了整个领域。产品霸占头条，这些公司之外的研究与开发便从视野里消失。对大科技公司来说，再没有比这更称心的误解了：它们独占这一领域的野心，成了批评它们的前提。垄断尚未坐实；把它当作既成事实，等于帮了这些公司一个大忙。 开源人工智能让人们能够构建和改造系统，使之容纳更多样的语言、文化和表达方式。对欧洲、非洲、拉丁美洲各国，以及韩国、日本和印度而言，这是技术与文化主权的现实根基：自己决定系统如何运作、服务哪些语言、用在何处。用不用人工智能、用来做什么，应当始终是公共的选择，而不是被对外国供应商的依赖所左右。 但若没有修改系统的手段，修改的自由便无从谈起。独立的工作需要专业知识、算力基础设施，以及训练材料的获取渠道。这就又回到了书。如果每个研究团队、每家公共机构都得自己去谈出版协议，或者自建私人书库，那么独立仍旧只是付得起钱的人的特权。 <h2 id="书早就在那里">书早就在那里</h2> 图书馆和档案馆几代人下来，一直在收集这些系统所需的材料。它们的馆藏之所以存在，是因为知识的获取理应比销售知识的商业利益更长久。许多书早已扫描完毕：收藏了来自研究图书馆的约一千九百万册数字化图书，其中不少仍在版权期内。图书馆扫一本书，书还留着——那里没人需要裁切机。HathiTrust将于，但也宣布了项目，为非商业性的人工智能研发提供语料库访问。以这样的条件开放，仍会把一些独立开发者挡在门外。 然而，拥有这些书，并不赋予图书馆把受版权保护的内容当作训练语料库分发的权利。允许研究机构和图书馆为科学研究挖掘可合法访问的作品，在权利人未保留权利的情况下，还允许更广泛的挖掘。：其挖掘例外仅限非商业研究，并限制复制件的转移。两个框架都没有赋予图书馆一项一般性的权利，让它们把受版权保护的馆藏分享出去供他人再利用。 我们也不妨重新考虑，权利人对图书的计算性使用应当掌控多久。药品专利提供了一个参照：通常二十年的期限，远短于版权对作者终身加身后七十年的保护。书籍能否在首次出版（比方说）二十年后，无需许可费即可用于文本与数据挖掘，而再版与销售的权利依旧受到保护？保护作者卖书的权利，不必等于世世代代管住其内容的每一种用途。 两年前我在上主张，文化遗产数据应视为公共品。政府应资助图书馆和档案馆对馆藏进行数字化、转录和著录，并赋予它们法律权限，让由此产生的语料库可供他人再利用。大科技公司可以通过一项专项征费分担开销。 公共资助应当附带公开的馆藏政策和访问规则，涵盖学术和商业用途，不设排他协议，也不给捐资者特权。开放训练访问，不必意味着不受限制地再分发受版权保护的书。作者应当参与设计这套公共方案，包括它如何处理同意、报酬，以及与作者作品的竞争。用户免费访问，并不排斥由公共资金向作者支付报酬。 ——读者借阅时由公共资金向作者付费——就是一个先例。火从来不是重点。篱笆才是。 </article> <article> <h1>致各位编辑：要我的声音，先还我的语言</h1> Thu, 27 Aug 2026 00:00:00 +0000 又是一天，又一家期刊敲锣打鼓地宣布人工智能政策。这回轮到《人文地理学进展》（Progress in Human Geography）：编辑部发表了，警告说，拿人工智能来代替自己的阅读、思考和写作，“是一种近乎剽窃的学术伦理违规”。查出违规的论文“可能被撤稿”；从轻发落，也要更正，并在期刊上刊登更正启事。编辑们还补上一句：作者应当“仔细掂量，是否愿意让自己的名字与撤稿和更正启事挂钩”。 这句话值得停下来玩味。撤稿是学术出版的极刑，向来只留给造假与舞弊。可在这里，它被绑在一桩连这篇社论自己都定义不了的过错上。编辑们承认，此事“确有灰色地带”，“没有清晰的界线可以划出‘不负责任’的区域”。执行只能仰仗“判断，而这些判断可能惹恼某些作者，他们会声称自己并未不当使用人工智能”——换句话说，作者本人的声明也可以被推翻。接下来的忠告是，请“稳稳待在‘负责任’的区域内”；须知，只有险地才需要劝人稳妥。你自己承认划不出那条线，却要惩罚越线的人——这只有一种情况说得通：意在以恐惧治人。这一点先按下不表，稍后再说。 <h2 id="声音这个借口">声音这个借口</h2> 那么，什么才算负责任的使用？作者被告知：“必须格外小心……保留自己的声音”。而滥用，则是借人工智能“以作者本人平素绝不会使用的语言写作”。对母语者，这话说得通：别装成你不是的那个人。可对那些不得不用外语写作的外国人来说，这道训令自己就打了自己的嘴。政策要保护的那个声音，恰恰是期刊自家规矩不肯给我们的东西。 拿我来做试验品好了。英语是我的第四语言，正是那种我“平素”绝不会用的语言。英语世界的大学把我训练成这样写英文：短句，路标分明，近乎机械——主题句打头，限定语放在规定的位置，衔接词从规定的清单里挑。训练很成功：我的英文里从来就没有什么声音可保护；声音是第一个被舍弃的东西。按编辑们自己的定义，我用英语写下的每一个字都属于不当使用——有没有机器，都一样。 <h2 id="进退维谷">进退维谷</h2> 编辑们说，他们想到我们了：政策承认，非母语者可以受益于人工智能对英文的检查，甚至受益于它的“翻译、写作和编辑服务”。然而，人工智能对写作的介入“至多只能是编辑与校对性质的协助”，绝不能出现“大段由人工智能撰写的文字”。一篇机器翻译的论文，从头一个词到末一个词都是人工智能写的，通篇全是这样的“大段文字”。于是，这项让步唯有在“翻译不算写作”的前提下才能成立。那么，这条线划在哪里？他们早就告诉我们了：“没有清晰的界线”。 更糟的还在后头：这种怀疑不只是无法证伪，它还带着偏见。2023年，斯坦福的一个团队拿七种常用的人工智能检测器去测人写的作文：非母语者写的托福作文，平均有61%被判为机器生成，而母语者的作文几乎无一误判；有一种检测器甚至把托福作文的97.8%都标了出来（）。原因颇能说明问题。检测器量的是可预测性，而朝着均值训练出来的二语英文，天生就是可预测的：最可能的词，按最可能的顺序排列。同一项研究在真正的学术写作中也找到了这个信号：非母语第一作者的会议论文，语言变异性更低。那些读起来“像人工智能”的文体特征，正是合格二语英文的特征；而人做判断时，看的线索与机器无异。至此，两难合拢：写我自己的英文，就像机器；用机器，就犯了他们的规矩。 <h2 id="语言税">语言税</h2> 若无威胁相随，这个悖论本可以无伤大雅。可这些威胁暴露出一个更深、更老的问题，而政策对它只字不提：单语主义。一面要求“尽可能广泛的国际覆盖”，一面在同一页上写着“本刊语言为英语”。 这种安排的代价并非凭空假设。Amano及其同事调查了908位环境科学家，发现仅仅因为语言，非英语母语者写一篇论文要多花至多51%的时间，被拒的几率是母语者的2.5倍，被要求修改的几率是12.5倍（）。这笔税，早在任何人工智能政策出台之前就已开征；声明表及其威胁，不过是在税上再加一道稽查。 <h2 id="fin-dempire">Fin d’empire</h2> 单语主义是无人讨论的公理。它是一份帝国遗产，日久天长，又找到了一个实用的理由：翻译又慢又贵，而没有哪个编委会评审得了自己读不懂的东西。可是这套理由在机器翻译的进展面前已经站不住了。当今最先进的机器翻译，完全可以充当作者与编辑之间一道可靠的中间层。 理想的出路在人：学者本该读得懂不止一种语言。可英语国家的大学偏偏反其道而行，宁愿关闭现代语言学院。请注意，这种关闭是英美独有的现象：别处的学者从来没享受过单语的奢侈。再请注意时机。关掉一所语言学院，等于押下一注：赌英语已经永远赢了，赌今后再不会有值得一读的东西以别的语言写成。这注偏偏押在最不该押的时刻，而且错了两重。其一，机器翻译正让人类第一次有可能彻底不靠通用语；其二，把英语推上默认位置的那个秩序正在退潮：英语世界日益内向，全球化消退，自由贸易在它的发源地遭到质疑，一个多极世界正在成形，其中值得阅读的语言只会越来越多。大学正在培养只读英语的学者，去面对一个英语不再够用的世界。这份损失，编委会将首先继承。 <h2 id="给编辑们出一道题">给编辑们出一道题</h2> 当编委会哀叹读不到作者本人的声音时，问题恐怕有一部分就出在编委会自己身上。 这是一项严重的指控，所以配一道严肃的测试。《人文地理学进展》愿不愿意评审一篇用法语、意大利语或日语写成、附机器翻译英文版的投稿？期刊自家的指南已经承认了让这件事成为可能的“翻译”服务。答“愿意”，问题就此了结。答“不愿意”，则说明了这项政策究竟在保护什么。 无论怎样，选择权在编辑手里。如果声音真像他们说的那么要紧，期刊就该接受用作者思考时所用的语言写成的论文。如果不要紧，那么声明表就该废掉，威胁也一并废掉。 </article> <article> <h1>tei-mcp v0.3：编码TEI，不动源文本一字</h1> Tue, 05 May 2026 00:00:00 +0000 我时，目标是阻止AI助手幻觉出TEI标记。模式锚定解决了一部分问题：有了对P5规范的直接、基于工具的访问，模型不必再猜一个元素是什么意思、能带哪些属性。输出能通过验证。 但在TEI编码里，幻觉有两副面孔，模式只抓得住一副。依规范验证，只能告诉您标记是否合式；至于标记包裹的文本，它一言不发。而破坏性更大的幻觉，恰恰就藏在文本本身里。v0.3的头号新功能——区间锁定合成（span-locked composition）——正是专为防范这类幻觉而设计的。 <details class="print:hidden xl:hidden" > <summary>目录</summary> <div class="text-sm"> <nav id="TableOfContents"> <ul> <li><a href="#模式抓不住的幻觉">模式抓不住的幻觉</a></li> <li><a href="#区间锁定合成">区间锁定合成</a></li> <li><a href="#它是什么不是什么">它是什么，不是什么</a></li> <li><a href="#为什么意义不止于tei">为什么意义不止于TEI</a></li> <li><a href="#获取更新">获取更新</a></li> </ul> </nav> </div> </details> <h2 id="模式抓不住的幻觉">模式抓不住的幻觉</h2> 让模型编码一封十六世纪的法文信，您往往会拿到一份看上去无可挑剔的TEI文档：头部填得满满当当，<code><persName></code>标签放得恰到好处，<code><dateline></code>合式规整。用<code>validate_document</code>跑一遍，通过。 然后拿正文和源文本比一比。 <code>mesme</code>变成了<code>même</code>。一个逗号挪了窝。<code>luy</code>被悄悄现代化成了<code>lui</code>。手稿里一处难以辨认的分句，被“修正”成了更通顺的样子。这些改动没有一处是您要求的，也没有一处被标出来。文档在模式上有效，却错得悄无声息。 对档案工作流来说——编码后的文本将成为永久记录，下游的读者、检索索引和引用都要倚赖它——这才是最要命的失效方式。标签格式不对，不过是烦人；一处五年没人发现的现代化拼写，就是讹误。 <h2 id="区间锁定合成">区间锁定合成</h2> 新版本（v0.3）带来了一套直指这一失效方式的幻觉防范机制。设计目标是让正文幻觉从构造上就不可能发生，而不只是不大可能。 思路很简单：模型从不键入正文。 取而代之的工作流是这样的： <ol> <li>模型调用<code>get_source("letter_001")</code>，取得源纯文本，一个不可变的字符串。</li> <li>每想施加一个标签，它就调用<code>tag_span("letter_001", start, end, element_path, attrs)</code>——在源文本的某个字符区间上登记一个TEI元素。</li> <li>完事后，它调用<code>compose("letter_001")</code>。服务器把登记的标签与原始纯文本交织起来，渲染出最终的TEI，再逐字节核验：渲染文档的扁平文本内容必须与源文本相等。</li> </ol> 字节相符，文档就返回。若不相符——哪怕模型的标签只是隐含了一个与源文本差一个字符的正文——<code>compose()</code>便抛出异常，绝不返回一份已经走样的文档。 在这条工作流里，不存在任何一条路径能让模型产出正文与源文本不同的TEI文档。这个不变量是机械的，不是行为的。您不必信任模型不会幻觉，只需信任两个字节串之间的一次<code>==</code>比较。 <h2 id="它是什么不是什么">它是什么，不是什么</h2> 区间锁定合成是对模式锚定的补充，不是替代。模式锚定工具（<code>validate_document</code>、<code>lookup_element</code>、<code>valid_children</code>，以及最初十六个工具中的其余部分）帮模型产出有效的TEI；区间锁定合成则保证TEI里的正文忠于源文本。一条可以投入使用的编码工作流必须同时满足这两个维度，如今两者由同一个服务器一并覆盖。 它也不是包治百病的灵丹。<code>compose()</code>还不会检查登记的标签是否为已加载的ODD定制所允许——这是后续工作。登记的标签存在进程内存里，重启即失。源文件也必须能从服务器运行的地方读到。这些都有办法解决，没有一项动摇核心不变量。 <h2 id="为什么意义不止于tei">为什么意义不止于TEI</h2> 这个模式可以推而广之。凡是让模型去注释、转换或包裹一段文本，而底层文本的完整性又比模型“改进”它的本事更要紧，同样形态的解法都适用：别让模型重打一遍文本；让它在文本之上生成指令，再由一个确定性的合成器在相等性不变量的约束下执行。 具体到数字版本，这改变了您可以放心交给模型去做的事。编码忽然成了一项可以委托的任务，不必再手动把每份输出与源文本逐一比对。机器走枯燥的那条路；校勘者审的是标记，不是拼写。 <h2 id="获取更新">获取更新</h2> 已经装了tei-mcp的话： <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash">uvx tei-mcp@latest </code></pre></div>或者全新安装： <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash">pip install tei-mcp </code></pre></div>要使用区间锁定合成，请把服务器指向存放源纯文本文件的目录： <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash">export TEI_MCP_SPAN_SOURCE_ROOT=/path/to/sources uvx tei-mcp </code></pre></div>每个文件的主名即为其文档ID（<code>letter_001.txt</code> → <code>letter_001</code>）。 源代码、完整文档以及该不变量的设计说明： </article> <article> <h1>另一种数字版本</h1> Tue, 24 Mar 2026 00:00:00 +0000 大多数原始史料从未出版。我们赖以补救的模式——靠经费资助的数字版本——太贵、太集中、太脆弱，根本无法推广。我刚发表了，说明我为什么要换一种方式来做Cavriana书信的校勘本：数字化的原始史料有机生长，基础设施降到最低，维护自动进行，向协作开放，而且便宜到连经费都用不着申请。这是在为一种数字人文辩护：无论有没有机构撑腰，它都能运转。 </article> <article> <h1>tei-mcp</h1> Sun, 15 Mar 2026 00:00:00 +0000 <h2 id="tei-mcp给ai智能体用的tei-p5">tei-mcp：给AI智能体用的TEI P5</h2> tei-mcp是一个开源服务器，让AI编程助手直接访问规范。AI不必再倚赖记忆中的训练数据——那往往产出貌似合理、实则错误的标记——而可以实时查询规范。 <h2 id="功能">功能</h2> 服务器解析TEI P5的ODD，提供16个工具： <ul> <li>按名称查询任何元素、类、宏或模块，不区分大小写，拼错了还会给出建议</li> <li>沿完整的TEI类层次解析属性（本地＋继承）</li> <li>把内容模型展开成结构化的树，并解析类与宏</li> <li>验证嵌套——直接的父子关系，或带路径追踪的递归可达性</li> <li>依据TEI P5验证文档：内容模型、属性、封闭取值列表、引用完整性、弃用警告</li> <li>验证单个元素，适用于增量编辑的工作流</li> <li>加载ODD定制，把模式约束到项目特定的子集</li> <li>用正则表达式在所有实体类型中搜索</li> </ul> <h2 id="安装">安装</h2> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash">pip install tei-mcp </code></pre></div>或直接运行： <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash">uvx tei-mcp </code></pre></div><h2 id="用法">用法</h2> 加入任何兼容MCP的客户端（Claude、Cursor、Windsurf等）： <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-json" data-lang="json">{ "mcpServers": { "tei": { "command": "uvx", "args": ["tei-mcp"] } } } </code></pre></div>源代码与文档见。 </article> <article> <h1>tei-mcp：给AI智能体用的TEI P5</h1> Sun, 15 Mar 2026 00:00:00 +0000 如果您用AI编程助手写过TEI XML，大概已经领教过它的错误：元素放错地方，属性凭空捏造，嵌套规则视若无睹。模型对TEI长什么样有个大概印象，对规范本身却没有可靠的知识。 tei-mcp的解法，是让AI智能体通过工具直接访问TEI P5指南。 <details class="print:hidden xl:hidden" > <summary>目录</summary> <div class="text-sm"> <nav id="TableOfContents"> <ul> <li><a href="#mcp是什么">MCP是什么？</a></li> <li><a href="#tei-mcp做什么">tei-mcp做什么</a></li> <li><a href="#为什么要紧">为什么要紧</a></li> <li><a href="#上手">上手</a></li> </ul> </nav> </div> </details> <h2 id="mcp是什么">MCP是什么？</h2> （Model Context Protocol，MCP）是一项开放标准，让AI应用能接上外部数据源和工具。不妨把它看作AI的USB接口：一套协议，任何兼容的客户端——Claude、Cursor、Windsurf等等——都能借此接入专门的服务。 MCP服务器对外提供工具，AI在对话中可以随时调用。模型不必再靠记忆里的训练数据，而可以查询一个实时的、权威的来源。 <h2 id="tei-mcp做什么">tei-mcp做什么</h2> tei-mcp解析TEI P5的ODD规范，提供16个工具，涵盖校勘者或编码者最常问的问题： <ul> <li>这个元素是什么？ 按名称查询任何元素、类、宏或模块，不区分大小写，拼错了还会给出建议。</li> <li>它能带哪些属性？ 沿完整的类层次解析属性——先列本地属性，再依次列出继承的属性。</li> <li>它里面能放什么？ 把内容模型展开成结构化的树，或列出有效子元素的平面清单。</li> <li>这个元素能放在这儿吗？ 检查父子嵌套关系，或在完整的元素层次中追踪可达性。</li> <li>我的文档有效吗？ 依据规范验证TEI XML文件：内容模型、属性值、封闭取值列表、引用完整性、弃用警告。</li> <li>我的项目模式呢？ 加载ODD定制文件，把上述一切约束到您项目特定的TEI子集。</li> </ul> <h2 id="为什么要紧">为什么要紧</h2> TEI编码离不开时时翻查指南。老手把最常见的模式记在心里，可遇到生僻元素或复杂的内容模型，照样得查规范。AI助手没有这种内化的知识，问题更严重：它们会幻觉出看似合理、实则错误的标记。 有了tei-mcp，AI就不必猜了。写下第一个尖括号之前，它可以先去规范里查答案。结果便是符合TEI P5——或符合您项目ODD定制——的标记。 <h2 id="上手">上手</h2> 从PyPI安装： <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash">pip install tei-mcp </code></pre></div>然后加入您MCP客户端的配置： <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-json" data-lang="json">{ "mcpServers": { "tei": { "command": "uvx", "args": ["tei-mcp"] } } } </code></pre></div>服务器首次运行时下载TEI规范，可配合任何兼容MCP的客户端使用。 源代码与完整文档： </article> <article> <h1>Multi-Saxon</h1> Fri, 28 Mar 2025 00:00:00 +0000 <h2 id="multi-saxon大型tei语料库的并行xslt处理">Multi-Saxon：大型TEI语料库的并行XSLT处理</h2> Multi-Saxon填补了XML处理工具的一处要害空白：LXML（一个流行的Python XML库）处理不了的XSLT 2.0和3.0转换，它能并行执行。它专为大型XML TEI文档集合而设计，凭高效的并行执行大幅缩短处理时间。 <h2 id="主要特性">主要特性</h2> <ul> <li>高级XSLT支持：处理LXML力所不及的XSLT 2.0和3.0转换</li> <li>并行处理：借并行化大幅缩短大型文档集合的转换时间</li> <li>为TEI优化：专为文本编码倡议（TEI）XML文档打造</li> <li>性能可扩展：从数百到数千份文档的语料库，均可高效处理</li> <li>跨平台：可在不同操作系统和环境下运行</li> </ul> <h2 id="multi-saxon解决什么问题">Multi-Saxon解决什么问题</h2> 使用TEI的数字人文学者常常面临两大难题： <ol> <li>LXML（常用的Python XML处理库）只支持XSLT 1.0，XSLT 2.0/3.0的高级特性无从使用</li> <li>大型TEI语料库若逐份顺序处理，耗时可能长到令人却步</li> </ol> Multi-Saxon一举解决这两个问题：借用Saxon的高级XSLT能力，同时把处理分摊到多个核心，性能因此大增。 <h2 id="实现">实现</h2> Multi-Saxon把Python与Java的Saxon处理器结合起来，构成一条高性能的转换流水线： <ul> <li>用Java的Saxon库稳健地处理XSLT 2.0/3.0</li> <li>以多进程把转换分摊到可用的CPU核心</li> <li>高效管理处理器池，以求吞吐量最大化</li> <li>为批量处理TEI文档提供简洁的接口</li> </ul> <h2 id="用法示例">用法示例</h2> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python">from multi_saxon import MultiSaxon # Initialize with your XSLT stylesheet transformer = MultiSaxon("transform.xsl") # Transform a single document transformer.transform("input.xml", "output.xml") # Transform an entire directory in parallel transformer.transform_directory("input_dir", "output_dir") </code></pre></div><h2 id="对数字人文的意义">对数字人文的意义</h2> 对处理大型TEI文档集合的数字人文项目，Multi-Saxon让以下成为可能： <ul> <li>LXML无法完成的复杂全语料库转换</li> <li>大幅缩短处理时间（多核系统上常可提速5至10倍）</li> <li>借助XSLT 2.0/3.0的高级特性做更精细的分析</li> <li>简化整个文档集合的处理流程</li> </ul> 源代码与文档见。 </article> <article> <h1>persNamer</h1> Fri, 28 Mar 2025 00:00:00 +0000 <h2 id="persnamer把tei接上虚拟国际规范文档">persNamer：把TEI接上虚拟国际规范文档</h2> persNamer是一个专门的Python工具，简化把VIAF（虚拟国际规范文档，Virtual International Authority File）中的规范人物数据整合进TEI XML文档的流程。它把VIAF标识符转成可直接使用的TEI标记，为数字学术版本创建结构化人物条目的手工劳动因此大减。 <h2 id="tei中规范控制的难处">TEI中规范控制的难处</h2> 数字学术版本往往需要精确识别历史人物，包括规范化的姓名和生卒年月。要在整个项目里保持一致的规范控制，需要： <ol> <li>识别历史文本中的人物</li> <li>查找他们的规范数据</li> <li>创建格式正确的TEI条目</li> <li>确保全项目引用一致</li> </ol> 这些步骤通常靠手工，费时，还容易前后不一。 <h2 id="persnamer如何工作">persNamer如何工作</h2> persNamer把这套流程自动化： <ol> <li>获取VIAF数据：给定一个VIAF标识符，工具通过HTTP内容协商取回RDF数据</li> <li>提取关键信息：解析RDF，提取首选姓名、出生日期和死亡日期</li> <li>生成TEI标记：创建两段基本的XML片段： <ul> <li>一条规范文档条目（<code><person></code>元素，带生成的<code>xml:id</code>、<code><persName></code>、<code><birth></code>、<code><death></code>和<code><idno type="VIAF"></code>）</li> <li>一个独立的标注标签（<code><persName></code>，其<code>ref</code>属性指向规范条目）</li> </ul> </li> </ol> 这样双管齐下，校勘者既能维护一份集中的规范文档，又能把标注标签轻松插入TEI文本。 <h2 id="主要特性">主要特性</h2> <ul> <li>标准化ID生成：按<code>pers-[familyname]-[givenname initial]</code>格式生成一致的XML ID（如<code>pers-deteligny-c</code>）</li> <li>RDF解析：用<code>rdflib</code>从各种RDF属性（如<code>rdfs:label</code>、<code>schema:name</code>、<code>viaf:mainHead</code>）中提取信息</li> <li>命令行界面：只需一个VIAF编号作为必要参数即可运行</li> <li>详细输出：除最终XML外，还提供详细的处理信息</li> </ul> <h2 id="用法示例">用法示例</h2> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash">python persNamer.py 314802260 </code></pre></div>这条命令生成： <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-xml" data-lang="xml"><person xml:id="pers-deteligny-c"> <persName>Charles deTéligny</persName> <birth>1535</birth> <death>1572-08-24</death> <idno type="VIAF">314802260</idno> </person> <persName ref="#pers-deteligny-c">Charles deTéligny</persName> </code></pre></div><h2 id="在数字人文中的应用">在数字人文中的应用</h2> persNamer对以下情形尤其有用： <ul> <li>需要规范控制的数字学术版本</li> <li>涉及历史人物的TEI编码项目</li> <li>把文献与规范记录相连的关联数据项目</li> <li>保证大型TEI语料库的一致性</li> <li>在数字人文课程中讲授规范控制概念</li> </ul> <h2 id="实现">实现</h2> persNamer用Python实现，依赖： <ul> <li><code>requests</code>：HTTP请求</li> <li><code>rdflib</code>：RDF解析</li> <li><code>lxml</code>：XML处理</li> </ul> 源代码与文档见。 </article> <article> <h1>ITA2电报模拟器</h1> Thu, 13 Feb 2025 00:00:00 +0000 这个ITA2模拟器把抽象的编码概念变得看得见、摸得着，是一件实用的教具。学生敲入文字，眼看着它立刻变成孔洞图案——这一过程中，他们学到的是计算与电信的几个关键概念。 <h2 id="教学价值">教学价值</h2> 首先，它演示了二进制表示——文字如何变成一串串1和0。这一点我们通常讲得很抽象；而亲眼看着纸带上打出一个个孔，学生便更容易明白，物理系统是怎样表示数字信息的。 <div class="baudot-emulator"> <h2>ITA2 (Baudot-Murray) Telegraph Type Emulator</h2> Type a word in the input below to see its representation on the ITA2 tape. <div class="baudot-controls"> <label for="baudot-input">Type word:</label> <input id="baudot-input" class="text-input" size="50" maxlength="50" /> <button type="button" id="baudot-ltr-button" class="control-button active">LTR</button> <button type="button" id="baudot-fig-button" class="control-button">FIG</button> </div> <div class="tape-outer-container"> <div class="tape-container"> <table> <tbody id="baudot-tape"></tbody> </table> </div> </div> <style> .baudot-emulator { --light-color: #f3f4f6; --dark-color: #1f2937; --light-alt-color: #e5e7eb; --dark-alt-color: #374151; font-family: -apple-system, BlinkMacSystemFont, 'Segoe UI', Roboto, Oxygen-Sans, Ubuntu, Cantarell, 'Helvetica Neue', sans-serif; max-width: 100%; margin: 2rem 0; padding: 0; box-sizing: border-box; } .baudot-emulator { --tape-bg: var(--light-color); --hole-bg: var(--light-color); --hole-border: #d1d5db; --punched-bg: var(--dark-color); --punched-border: var(--dark-color); --sprocket-bg: var(--light-color); --sprocket-border: #9ca3af; --button-bg: var(--light-color); --button-bg-active: #d1d5db; --button-text: var(--dark-color); --button-border: #d1d5db; --input-bg: white; --input-border: #d1d5db; --input-text: var(--dark-color); --line-number: #6b7280; } html.dark .baudot-emulator, html[data-theme='dark'] .baudot-emulator, body.dark .baudot-emulator { --tape-bg: var(--dark-alt-color); --hole-bg: var(--dark-alt-color); --hole-border: #4b5563; --punched-bg: var(--light-color); --punched-border: var(--light-color); --sprocket-bg: var(--dark-alt-color); --sprocket-border: #9ca3af; --button-bg: var(--dark-alt-color); --button-bg-active: #4b5563; --button-text: var(--light-color); --button-border: #4b5563; --input-bg: var(--dark-alt-color); --input-border: #4b5563; --input-text: var(--light-color); --line-number: #9ca3af; } .baudot-controls { margin-bottom: 1.5rem; display: flex; flex-wrap: wrap; align-items: center; gap: 0.5rem; } .baudot-emulator .text-input { flex: 1; min-width: 200px; padding: 0.5rem; font-size: 1rem; border: 1px solid var(--input-border); border-radius: 4px; background: var(--input-bg); color: var(--input-text); } .baudot-emulator .control-button { padding: 0.5rem 1rem; background: var(--button-bg); color: var(--button-text); border: 1px solid var(--button-border); border-radius: 4px; cursor: pointer; font-size: 0.9rem; } .baudot-emulator .control-button.active { background: var(--button-bg-active); font-weight: bold; } .tape-outer-container { padding: 0; margin-bottom: 1.5rem; border-radius: 4px; overflow: hidden; } .tape-container { width: 100%; overflow-x: auto; background: var(--tape-bg); padding: 1rem 0.5rem; } .baudot-emulator table { border-collapse: collapse; width: 100%; table-layout: fixed; border: none; } .baudot-emulator tr { height: 24px; border: none; } .baudot-emulator td { border: none; padding: 0; } .baudot-emulator .line-number { width: 20px; text-align: center; color: var(--line-number); font-size: 0.8rem; padding: 0 8px 0 0; font-weight: bold; } .baudot-emulator .cell { position: relative; width: 20px; height: 20px; } .baudot-emulator .cell-content { position: absolute; top: 50%; left: 50%; transform: translate(-50%, -50%); width: 12px; height: 12px; border-radius: 50%; background: var(--hole-bg); border: 1px solid var(--hole-border); } .baudot-emulator .punched .cell-content { background: var(--punched-bg); border: 1px solid var(--punched-border); } .baudot-emulator .sprocket-hole { position: absolute; left: 50%; top: 100%; transform: translate(-50%, -50%); width: 4px; height: 4px; border-radius: 50%; background: var(--sprocket-bg); border: 1px solid var(--sprocket-border); z-index: 2; } </style> <script> document.addEventListener('DOMContentLoaded', function() { initBaudotEmulator(); }); function initBaudotEmulator() { if (!document.getElementById('baudot-input')) return; const textInput = document.getElementById('baudot-input'); const tape = document.getElementById('baudot-tape'); const ltrButton = document.getElementById('baudot-ltr-button'); const figButton = document.getElementById('baudot-fig-button'); const ita2Code = { 'A': '00011', 'B': '11001', 'C': '01110', 'D': '01001', 'E': '00001', 'F': '01101', 'G': '11010', 'H': '10100', 'I': '00110', 'J': '01011', 'K': '01111', 'L': '10010', 'M': '11100', 'N': '01100', 'O': '11000', 'P': '10110', 'Q': '10111', 'R': '01010', 'S': '00101', 'T': '10000', 'U': '00111', 'V': '11110', 'W': '10011', 'X': '11101', 'Y': '10101', 'Z': '10001', '1': '00011', '2': '11001', '3': '01110', '4': '01001', '5': '00001', '6': '01101', '7': '11010', '8': '10100', '9': '01011', '0': '11000', '-': '00011', '?': '00100', ':': '01010', '(': '11000', ')': '11101', '.': '01000', ',': '00010', "'": '10001', '=': '01111', '/': '10011', '+': '11011', ' ': '00100', 'FIG': '11011', 'LTR': '11111', }; function generateTape() { let rows = ''; for (let row = 0; row < 5; row++) { rows += '<tr>'; rows += `<td class="line-number">${row + 1}</td>`; for (let col = 0; col < 50; col++) { rows += `<td id="baudot_${row}_${col}" class="cell unpunched"> <div class="cell-content"></div> ${row === 2 ? '<div class="sprocket-hole"></div>' : ''} </td>`; } rows += '</tr>'; } tape.innerHTML = rows; } function updateITA2Code(word) { clearTape(); word = word.toUpperCase(); let tapePosition = 0; let currentCharType = 'LTR'; ltrButton.classList.add('active'); figButton.classList.remove('active'); for (let i = 0; i < word.length; i++) { const char = word[i]; let code = ita2Code[char] || ita2Code[' ']; let requiredCharType = /[A-Z ]/.test(char) ? 'LTR' : 'FIG'; if (requiredCharType !== currentCharType) { const shiftCode = requiredCharType === 'LTR' ? ita2Code['LTR'] : ita2Code['FIG']; punchTape(shiftCode, tapePosition++); currentCharType = requiredCharType; ltrButton.classList.toggle('active', currentCharType === 'LTR'); figButton.classList.toggle('active', currentCharType === 'FIG'); } punchTape(code, tapePosition++); } } function punchTape(code, tapePosition) { if (tapePosition >= 50) return; for (let bit = 0; bit < 5; bit++) { const cell = document.getElementById(`baudot_${bit}_${tapePosition}`); if (cell) { cell.className = code[bit] === '1' ? 'cell punched' : 'cell unpunched'; } } } function clearTape() { for (let i = 0; i < 50; i++) { for (let bit = 0; bit < 5; bit++) { const cell = document.getElementById(`baudot_${bit}_${i}`); if (cell) { cell.className = 'cell unpunched'; } } } } generateTape(); textInput.addEventListener('input', function() { updateITA2Code(this.value); }); ltrButton.addEventListener('click', function() { this.classList.add('active'); figButton.classList.remove('active'); if (textInput.value) { updateITA2Code(textInput.value); } }); figButton.addEventListener('click', function() { this.classList.add('active'); ltrButton.classList.remove('active'); if (textInput.value) { updateITA2Code(textInput.value); } }); if (textInput.value) { updateITA2Code(textInput.value); } } </script> </div> LETTERS/FIGURES（字母/数字）换挡机制顺理成章地引出了状态机。学生一试便知：同一个图案，模式不同，代表的字符也不同。有了这种基于状态的编码的亲身体验，往后学更复杂的计算概念便有了根基。 <h2 id="实现细节">实现细节</h2> 模拟器用JavaScript和HTML/CSS写成，可轻松嵌入任何网页。代码模块化，可按不同教学情境调整。 源代码和在线试用见。 </article> <article> <h1>用ITA2电报模拟器讲二进制</h1> Thu, 13 Feb 2025 00:00:00 +0000 <h2 id="让抽象变得可触">让抽象变得可触</h2> 这个ITA2模拟器是一件实用的教具。它把抽象的编码概念变得看得见、摸得着，借此向学生引入计算与电信的一个核心概念：二进制表示——文字如何变成一串串1和0。这一点我们通常讲得很抽象；而亲眼看着纸带上打出一个个孔，学生便更容易明白，物理系统是怎样表示数字信息的。 <div class="baudot-emulator"> <h2>ITA2 (Baudot-Murray) Telegraph Type Emulator</h2> Type a word in the input below to see its representation on the ITA2 tape. <div class="baudot-controls"> <label for="baudot-input">Type word:</label> <input id="baudot-input" class="text-input" size="50" maxlength="50" /> <button type="button" id="baudot-ltr-button" class="control-button active">LTR</button> <button type="button" id="baudot-fig-button" class="control-button">FIG</button> </div> <div class="tape-outer-container"> <div class="tape-container"> <table> <tbody id="baudot-tape"></tbody> </table> </div> </div> <style> .baudot-emulator { --light-color: #f3f4f6; --dark-color: #1f2937; --light-alt-color: #e5e7eb; --dark-alt-color: #374151; font-family: -apple-system, BlinkMacSystemFont, 'Segoe UI', Roboto, Oxygen-Sans, Ubuntu, Cantarell, 'Helvetica Neue', sans-serif; max-width: 100%; margin: 2rem 0; padding: 0; box-sizing: border-box; } .baudot-emulator { --tape-bg: var(--light-color); --hole-bg: var(--light-color); --hole-border: #d1d5db; --punched-bg: var(--dark-color); --punched-border: var(--dark-color); --sprocket-bg: var(--light-color); --sprocket-border: #9ca3af; --button-bg: var(--light-color); --button-bg-active: #d1d5db; --button-text: var(--dark-color); --button-border: #d1d5db; --input-bg: white; --input-border: #d1d5db; --input-text: var(--dark-color); --line-number: #6b7280; } html.dark .baudot-emulator, html[data-theme='dark'] .baudot-emulator, body.dark .baudot-emulator { --tape-bg: var(--dark-alt-color); --hole-bg: var(--dark-alt-color); --hole-border: #4b5563; --punched-bg: var(--light-color); --punched-border: var(--light-color); --sprocket-bg: var(--dark-alt-color); --sprocket-border: #9ca3af; --button-bg: var(--dark-alt-color); --button-bg-active: #4b5563; --button-text: var(--light-color); --button-border: #4b5563; --input-bg: var(--dark-alt-color); --input-border: #4b5563; --input-text: var(--light-color); --line-number: #9ca3af; } .baudot-controls { margin-bottom: 1.5rem; display: flex; flex-wrap: wrap; align-items: center; gap: 0.5rem; } .baudot-emulator .text-input { flex: 1; min-width: 200px; padding: 0.5rem; font-size: 1rem; border: 1px solid var(--input-border); border-radius: 4px; background: var(--input-bg); color: var(--input-text); } .baudot-emulator .control-button { padding: 0.5rem 1rem; background: var(--button-bg); color: var(--button-text); border: 1px solid var(--button-border); border-radius: 4px; cursor: pointer; font-size: 0.9rem; } .baudot-emulator .control-button.active { background: var(--button-bg-active); font-weight: bold; } .tape-outer-container { padding: 0; margin-bottom: 1.5rem; border-radius: 4px; overflow: hidden; } .tape-container { width: 100%; overflow-x: auto; background: var(--tape-bg); padding: 1rem 0.5rem; } .baudot-emulator table { border-collapse: collapse; width: 100%; table-layout: fixed; border: none; } .baudot-emulator tr { height: 24px; border: none; } .baudot-emulator td { border: none; padding: 0; } .baudot-emulator .line-number { width: 20px; text-align: center; color: var(--line-number); font-size: 0.8rem; padding: 0 8px 0 0; font-weight: bold; } .baudot-emulator .cell { position: relative; width: 20px; height: 20px; } .baudot-emulator .cell-content { position: absolute; top: 50%; left: 50%; transform: translate(-50%, -50%); width: 12px; height: 12px; border-radius: 50%; background: var(--hole-bg); border: 1px solid var(--hole-border); } .baudot-emulator .punched .cell-content { background: var(--punched-bg); border: 1px solid var(--punched-border); } .baudot-emulator .sprocket-hole { position: absolute; left: 50%; top: 100%; transform: translate(-50%, -50%); width: 4px; height: 4px; border-radius: 50%; background: var(--sprocket-bg); border: 1px solid var(--sprocket-border); z-index: 2; } </style> <script> document.addEventListener('DOMContentLoaded', function() { initBaudotEmulator(); }); function initBaudotEmulator() { if (!document.getElementById('baudot-input')) return; const textInput = document.getElementById('baudot-input'); const tape = document.getElementById('baudot-tape'); const ltrButton = document.getElementById('baudot-ltr-button'); const figButton = document.getElementById('baudot-fig-button'); const ita2Code = { 'A': '00011', 'B': '11001', 'C': '01110', 'D': '01001', 'E': '00001', 'F': '01101', 'G': '11010', 'H': '10100', 'I': '00110', 'J': '01011', 'K': '01111', 'L': '10010', 'M': '11100', 'N': '01100', 'O': '11000', 'P': '10110', 'Q': '10111', 'R': '01010', 'S': '00101', 'T': '10000', 'U': '00111', 'V': '11110', 'W': '10011', 'X': '11101', 'Y': '10101', 'Z': '10001', '1': '00011', '2': '11001', '3': '01110', '4': '01001', '5': '00001', '6': '01101', '7': '11010', '8': '10100', '9': '01011', '0': '11000', '-': '00011', '?': '00100', ':': '01010', '(': '11000', ')': '11101', '.': '01000', ',': '00010', "'": '10001', '=': '01111', '/': '10011', '+': '11011', ' ': '00100', 'FIG': '11011', 'LTR': '11111', }; function generateTape() { let rows = ''; for (let row = 0; row < 5; row++) { rows += '<tr>'; rows += `<td class="line-number">${row + 1}</td>`; for (let col = 0; col < 50; col++) { rows += `<td id="baudot_${row}_${col}" class="cell unpunched"> <div class="cell-content"></div> ${row === 2 ? '<div class="sprocket-hole"></div>' : ''} </td>`; } rows += '</tr>'; } tape.innerHTML = rows; } function updateITA2Code(word) { clearTape(); word = word.toUpperCase(); let tapePosition = 0; let currentCharType = 'LTR'; ltrButton.classList.add('active'); figButton.classList.remove('active'); for (let i = 0; i < word.length; i++) { const char = word[i]; let code = ita2Code[char] || ita2Code[' ']; let requiredCharType = /[A-Z ]/.test(char) ? 'LTR' : 'FIG'; if (requiredCharType !== currentCharType) { const shiftCode = requiredCharType === 'LTR' ? ita2Code['LTR'] : ita2Code['FIG']; punchTape(shiftCode, tapePosition++); currentCharType = requiredCharType; ltrButton.classList.toggle('active', currentCharType === 'LTR'); figButton.classList.toggle('active', currentCharType === 'FIG'); } punchTape(code, tapePosition++); } } function punchTape(code, tapePosition) { if (tapePosition >= 50) return; for (let bit = 0; bit < 5; bit++) { const cell = document.getElementById(`baudot_${bit}_${tapePosition}`); if (cell) { cell.className = code[bit] === '1' ? 'cell punched' : 'cell unpunched'; } } } function clearTape() { for (let i = 0; i < 50; i++) { for (let bit = 0; bit < 5; bit++) { const cell = document.getElementById(`baudot_${bit}_${i}`); if (cell) { cell.className = 'cell unpunched'; } } } } generateTape(); textInput.addEventListener('input', function() { updateITA2Code(this.value); }); ltrButton.addEventListener('click', function() { this.classList.add('active'); figButton.classList.remove('active'); if (textInput.value) { updateITA2Code(textInput.value); } }); figButton.addEventListener('click', function() { this.classList.add('active'); ltrButton.classList.remove('active'); if (textInput.value) { updateITA2Code(textInput.value); } }); if (textInput.value) { updateITA2Code(textInput.value); } } </script> </div> <h2 id="历史背景从电报到计算">历史背景：从电报到计算</h2> ITA2（国际电报字母表第2号），又称Baudot-Murray码，问世于二十世纪二十年代，是对埃米尔·博多（Émile Baudot）十九世纪七十年代原始电报码的改良。这些早期电信系统直接影响了后来计算技术的发展： <ul> <li>5位编码方案是字符编码的早期范例</li> <li>字符集受限（5位只有32种组合），催生了巧妙的LETTERS/FIGURES（字母/数字）换挡机制</li> <li>这套系统在电传打字机上一直沿用到二十世纪很晚的时候</li> </ul> <h2 id="在玩中学状态机">在玩中学状态机</h2> LETTERS/FIGURES换挡机制顺理成章地引出了状态机。学生一试便知：同一个图案，模式不同，代表的字符也不同。有了这种基于状态的编码的亲身体验，往后学更复杂的计算概念便有了根基。譬如，位模式<code>00011</code>表示： <ul> <li>LETTERS（字母）模式下是字母“A”</li> <li>FIGURES（数字）模式下是数字“1” 依状态而定的双重解读，正是计算机处理数据的根本原理。</li> </ul> <h2 id="课堂活动">课堂活动</h2> 把ITA2模拟器融入教学，可以有这几种方式： <ol> <li>破译挑战：让学生解码以ITA2图案编写的信息</li> <li>高效编码：讨论换挡机制为何对节省带宽至关重要</li> <li>编码的演变：把ITA2的5位码与ASCII（7位）和Unicode作比较</li> <li>物理计算：把这套历史系统与Arduino等现代微控制器联系起来</li> </ol> <h2 id="无障碍方面的好处">无障碍方面的好处</h2> 除了历史趣味，这种方法也照顾到不同学习风格的学生： <ul> <li>视觉型学习者看图案</li> <li>动觉型学习者直接上手操作编码过程</li> <li>概念型思考者可以探究信息论的数学层面</li> </ul> <h2 id="实现细节">实现细节</h2> 模拟器用JavaScript写成，可轻松嵌入任何网页学习平台。代码模块化，可按不同教学情境定制。源代码和在线试用见： </article> <article> <h1>黎凡特的感知地理</h1> Sat, 29 Oct 2022 10:02:52 -0500 <h1 id="引言">引言</h1> Levante（黎凡特）是个捉摸不定的地方。它通常要相对于——或者对立于——另一片地域才有定义，含义很少稳定：用这个词的地点和时代不同，唤起的地理图景也不同。不过，客观、精确的定义固然难下，我们仍可以指望画出这片地区的一幅主观地图，依据便是某个文本语料库内部的关联。换句话说：对特定的一群读者，Levante唤起的是怎样一片空间？ 本文将向您展示，如何利用美第奇档案计划（Medici Archive Project）中的数据，把与这个地名相关联的具体地点画出来。 <h1 id="mia数据库">MIA数据库</h1> MIA数据库是一个协作平台，供学者上传、分享自己在拍摄的档案照片。过去一年，在的资助下，我们的团队对佛罗伦萨Mediceo del Principato全宗中avvisi部分的数千份文献做了拍摄、转录、摘要和分类。数据库当初并非为统计分析而设，但我们公开的元数据照样可以下载，当作数据集来用。 <h1 id="数据集">数据集</h1> 这次我建的数据集，涵盖1543年至1566年所有来自Levante的新闻——也就是从档案中记录的第一份avviso，直到苏丹去世的那一年。下面是我从服务器提取的数据样本，共三列：唯一的文献编号、地名、日期。 <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-csv" data-lang="csv">57386 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3 57386 Modon / Messinias, Nomos / Peloponnisos / Ellas 1565-1-3 57386 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3 57386 Evvoia / Evvoias, Nomos / Sterea Ellas-Evvoia / Ellas 1565-1-3 57386 Venetian Republic / Italia / Europe / World 1565-1-3 57386 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3 57386 Black Sea / Asia / World / Top of the TGN hierarchy 1565-1-3 57389 Otranto / Lecce / Puglia / Italia 1565-1-3 57389 Nisoi Aiyaiou / Ellas / Europe / World 1565-1-3 57389 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3 57389 Buda / Budapest / Budapest / Magyarorszag 1565-1-3 57389 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3 57389 Kipros / Asia / World / Top of the TGN hierarchy 1565-1-3 57389 Rodhos / Rodos, Nisos / Sporadhes / Nisoi Aiyaiou 1565-1-3 57389 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3 57389 Çorlu / Thraki / Ellas / Europe 1565-1-3 </code></pre></div><h2 id="清理数据">清理数据</h2> 要把这些数据画出来，先得让它们能以csv（逗号分隔值）格式读取。其中的地理信息也要转换成更“机器友好”的形式：GPS坐标。数据集有数百条，这一步自然希望交给机器。借助、或之类的预训练语言模型（仅举数例），这件事可以做得又快又准。不过必须盯紧了，因为预训练语言模型多少有点爱产生幻觉。 <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-csv" data-lang="csv">documentId,latitude,longitude,documentDate 57386,35.899167,14.514167,1565-1-3 57386,37.05,22.116667,1565-1-3 57386,31.200028,29.918719,1565-1-3 57386,38.366667,23.666667,1565-1-3 57386,45.438333,12.331333,1565-1-3 57386,41.018611,28.984444,1565-1-3 57386,42.7,18.8,1565-1-3 57389,40.216667,18.166667,1565-1-3 57389,37.966667,23.716667,1565-1-3 57389,35.899167,14.514167,1565-1-3 57389,47.4925,19.051389,1565-1-3 57389,31.200028,29.918719,1565-1-3 57389,34.916667,33.616667,1565-1-3 57389,36.405419,28.227778,1565-1-3 57389,41.018611,28.984444,1565-1-3 57389,41.133333,27.416667,1565-1-3 </code></pre></div><h1 id="密度图">密度图</h1> 密度图是一种可视化，用来突出某个地点在给定数据集中被提及的频率。它不仅有助于把握数据的地理范围，更能显出数据的焦点所在。地图上哪些地方提得最勤？哪些只是偶一露面？中心在哪里，边缘又有多远？读者的注意力最可能落在地图的哪一处？ 为了这次实验——也因为当时赶时间——我用了的一个API。不过，许多可视化库和地理信息系统都能做出同类的密度图。 <h1 id="几点观察">几点观察</h1> 结果与其说是对一个界限分明的概念的精确呈现，不如说是一幅印象派的画；而我喜欢这个实验的，恰恰是这一点。的确， 数据科学可以是人文学科的有力盟友，但我们不一定非得照它的规矩行事。 这个实验还有一处有趣：地图上的Levante，与欧洲其余部分和地中海完全打成一片。地图还凸显了埃迪尔内在奥斯曼帝国政治地理中的核心地位。再者，图上西班牙最要紧的城市既非马德里，也非埃斯科里亚尔，而是那不勒斯。最后同样重要的是，岛屿以及拉古萨这样的小城邦，似乎在该地区各方势力之间充当着重要的中介。 <h1 id="如何向mia请求数据">如何向MIA请求数据</h1> MIA是一件出色的研究协作工具，可它服务器里存的数据并不容易拿到手：比如，它的后端并未发布在公共仓库里。不过，您仍可以注册MIA，然后用Python向服务器发请求，取得数据。 <h3 id="请求">请求</h3> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python">url = "https://mia.medici.org/Mia/json/de/advancedsearch/advancedSearchResults/0/90/docYear/asc/?isNewsFeedSearch=False" payload = [{"searchSection":"archivalLocationSearch","type":"archivalLocationAdvancedSearch","isActiveFilter":True,"repository":None,"collection":"Mediceo del Principato","series":None,"volume":"2863","insert":None},{"searchSection":"categoryAndTypologySearch","type":"categoryAndTypologyAdvancedSearch","isActiveFilter":True,"category":"News","typology":None},{"searchSection":"transcriptionSearch","type":"transcriptionAdvancedSearch","isActiveFilter":False,"transcription":""},{"isActiveFilter":False,"searchSection":"synopsisSearch","type":"synopsisAdvancedSearch","synopsis":""},{"searchSection":"placesSearch","type":"placesAdvancedSearch","isActiveFilter":False,"places":[]},{"searchSection":"peopleSearch","type":"peopleAdvancedSearch","isActiveFilter":False,"people":[]},{"searchSection":"topicsSearch","type":"topicsAdvancedSearch","isActiveFilter":True,"topics":[{"topicTitle":"Place Index","topicId":"51","placeAllId":""}]},{"searchSection":"dateSearch","type":"dateAdvancedSearch","isActiveFilter":False,"dateFilterType":"","dateYear":"","dateMonth":"","dateDay":"","dateBYear":"","dateBMonth":"","dateBDay":""},{"searchSection":"documentOwnerSearch","type":"documentOwnerAdvancedSearch","isActiveFilter":False,"editType":"owner","account":""},{"searchSection":"languagesSearch","type":"languagesAdvancedSearch","isActiveFilter":False,"languages":[]}] headers = {'Content-type': 'application/json', 'Accept': '*/*'} r = requests.post(url, data=json.dumps(payload), headers=headers, auth=('LOGIN','PASSWORD')) </code></pre></div>请务必把LOGIN和PASSWORD换成您自己的凭据。 <h3 id="将响应写入文件">将响应写入文件</h3> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python">with open('response.json', 'wb') as fd: for chunk in r.iter_content(chunk_size=128): fd.write(chunk) </code></pre></div><h3 id="打开json">打开JSON</h3> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python">f = open('response.json', encoding="utf8") </code></pre></div><h3 id="将json对象作为字典返回">将JSON对象作为字典返回</h3> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python">json_complete = json.load(f) </code></pre></div><h3 id="从json中选取数据并以csv格式打印">从JSON中选取数据并以CSV格式打印</h3> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python">with open('results.csv', 'w', newline='') as csvfile: fieldnames = ['documentId', 'placeCited', 'documentDate'] writer = csv.DictWriter(csvfile, fieldnames=fieldnames) writer.writeheader() for i in json_complete['data']: if i['topics'] != None: for x in i['topics']: documentId=x['documentId'] placeCited=x['topicPlaceName'] year=i['date']['docYear'] month=i['date']['docMonth'] day=i['date']['docDay'] documentDate=str(year)+ "-" + str(month)+"-" + str(day) writer.writerow({'documentId': documentId, 'placeCited': placeCited, 'documentDate': documentDate}) </code></pre></div>下载<code>results.csv</code>之后，就可以按上文所说清理数据了。 </article> <article> <h1>用预训练语言模型大规模解析书目</h1> Thu, 07 Jul 2022 19:04:14 +0200 自动化是压低数字人文项目成本的关键。时至今日，学术圈里与校勘相关的重复、枯燥的工作，要么由不堪重负的学者高价完成，要么“外包”给学生。在这个中，我主张：这些吃力不讨好的活儿，大多不仅可以而且应该自动化。校勘任务自动化，能降低数字人文项目的整体成本；更要紧的是，它让低收入地区的学者也能又快又省地出版有价值的文献。 里，我举例说明了预训练语言模型如何承担数字版本中大部分XML标注工作。 这一篇讲第二个例子，这次说的是参考书目。 <h2 id="问题">问题</h2> 从一篇学术文章提到的参考文献建一个书目数据库，本不算难事：到这样的目录里快速查一下，按特定格式下载，或者从本地数据库自动导入。一两篇文章，这么做没问题。可参考文献一多，这件事就变得又烦又耗时。补救办法是用之类的解析算法，但这些算法很难放大规模。我用anystyle转换我们所收的150多篇学术论文时，累积的错误多到根本收拾不了。它认不出我们的许多文献来源，比如把近代早期书籍的长标题当成别的东西；也认不出不那么典型的文献，如特定网页、在线视频等等。解析器管用的前提是作者一丝不苟地遵守芝加哥、Turabian或MLA之类的通行规范；稍有出格，便出错。 <h2 id="解决方案">解决方案</h2> 这正是 预训练语言模型 的用武之地：它们能 迅速看懂任何书目格式的规律 ——哪怕是您自创的格式——只需几个示例，就能把大量已排版的参考书目正确转成。 2021年初，我有幸提前用上了OpenAI的。Codex是一个在自然语言与代码之间互译的模型。据OpenAI称，它精通十几种编程语言；写这篇博文时，它的API还处于测试阶段，却已在为GitHub的等热门应用提供支持。 摆弄了一阵这个API，我发现它对<code>BibTeX</code>这样更简单的代码也同样得心应手。 事实上，输入提示词里只放四个示例，它就能稳定地工作。 <h3 id="输入提示词">输入提示词</h3> References: Bayle, Ariane. “Patients exemplaires: la correspondance médicale de Fioravanti.” In Vulgariser la médecine. Du style médical en France et en Italie, edited by Andrea Carlino and Michel Jeanneret, 181–212. Geneva: Droz, 2009. Berns, Andrew D. The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth. Cambridge: Cambridge University Press, 2015. Gabler, Hans Walter. “Theorizing the Digital Scholarly Edition.” Literature Compass 7, no. 2 (2010): 43–56. . Findlen, Paula. Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy. Berkeley: University of California Press, 1994. <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-BibTeX" data-lang="BibTeX">@incollection{bayle2009, author = {Bayle, Ariane}, booktitle = {Vulgariser la médecine. Du style médical en France et en Italie}, title = {Patients exemplaires: la correspondance médicale de Fioravanti}, editor = {Carlino, Andrea and Michel Jeanneret}, year = {2009}, address = {Geneva}, publisher = {Droz}, langid = {french} } @book{berns2015, title = {The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth}, author = {Berns, Andrew D.}, address = {Cambridge}, publisher = {Cambridge University Press}, langid = {english}, date = {2015} } @article{gabler2010, author = {Gabler, Hans Walter}, title = {Theorizing the Digital Scholarly Edition}, journal = {Literature Compass}, volume = {7}, number = {2}, pages = {43-56}, doi = {10.1111/j.1741-4113.2009.00675.x}, langid = {english}, year = {2010} } @book{findlen1994, title = {Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy}, author = {Findlen, Paula}, address = {Berkeley}, publisher = {University of California Press}, langid = {english}, date = {1994} } </code></pre></div><h3 id="结果">结果</h3> 令人瞩目：两千多条参考文献，几天之内便转换完毕。 这个方法不仅准确复现了我在提示词中展示的模式，还正确地添加了提示词里没有的条目类型和字段类型。换言之，<code>GPT-3</code>说得一口流利的<code>BibTeX</code>。对一个基本靠英语训练的模型来说，更叫人惊讶的或许是：它认出了所有语言（俄语、法语、意大利语、拉丁语、希腊语、德语、西班牙语等），每次都加上了正确的<code>langid</code>字段。 <div class="callout flex px-4 py-3 mb-6 rounded-md border-l-4 bg-blue-100 dark:bg-blue-900 border-blue-500" data-callout="note" data-callout-metadata=""> <svg height="24" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="1.5" d="m16.862 4.487l1.687-1.688a1.875 1.875 0 1 1 2.652 2.652L6.832 19.82a4.5 4.5 0 0 1-1.897 1.13l-2.685.8l.8-2.685a4.5 4.5 0 0 1 1.13-1.897zm0 0L19.5 7.125"/></svg> <div class="callout-content dark:text-neutral-300"> <div class="callout-title font-semibold mb-1">注意</div> <div class="callout-body">GPT-3目前的输入输出规模有限，最多只能处理2048个语言词元（token）。这一限制一旦解除，同样的任务大概只需一小时，甚至更短。</div> </div> </div> 有些出乎意料的是，GPT-3还添加了原始参考文献里没有的信息。 <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> Baillot, Anne, and Anna Busch. “Editing for Man and Machine.” In Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting, Vol. 13. Variants (Journal of the European Society for Textual Scholarship). Leicester, 2015. </blockquote> 比如在这条参考文献里，GPT-3加上了可以阅读该论文的开放获取仓储（）的永久链接，连HAL仓储自创的专用字段<code>HAL_ID</code>和<code>HAL_VERSION</code>也一并加上： <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-BibTeX" data-lang="BibTeX">@inproceedings{baillot2015, title = {Editing for Man and Machine}, author = {Baillot, Anne and Busch, Anna}, year = 2015, booktitle = {Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting}, address = {Leicester}, series = {Variants (Journal of the European Society for Textual Scholarship)}, volume = 13, editor = {Bruhn, Siglinde and Schreiber, Manfred}, langid = {english}, hal_id = {halshs-01233380}, hal_version = {v1} } </code></pre></div>这些补充说明， GPT-3不只是解析参考文献，还会根据它当初学到的东西把参考文献补全。 就此而言，看看它对GPT-3训练之后才出现的文献是否也这般表现，会很有意思…… <h2 id="局限">局限</h2> 不过GPT-3并不完美，得有人盯着。它的已知局限之一是：有时会凭空捏造，做出一些不太靠谱的假设。 在我的实验中，GPT-3的不连贯有一次表现得很明显：它擅自把一位作者的姓氏从“Ruscelli”改成了“Ruscello”。严格说这不算错，因为近代早期意大利姓氏的单复数可以混用。可如今的惯例是，姓氏原本是单数还是复数，就照原样保留。今天没有人会把Machiavelli叫成Machiavello，正如我们该写Rossello而不是Rosselli。GPT-3无视这条惯例，是因为缺少年代意识？还是因为它根据邻近的姓氏做了推断——书目这一段的姓氏碰巧都是单数（Bariletto、Cesano、Rossello）？谁知道呢。 <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-Bibtex" data-lang="Bibtex">@book{rossello1565, title = {Della summa de’ secreti universali}, author = {Rossello, Timoteo}, address = {Venice}, publisher = {Giovanni Bariletto}, langid = {italian}, date = {1565} } @book{ruscello1559, title = {La seconda parte de’ secreti del Reverendo Donno Alessio Piemontese}, author = {Ruscello, Girolamo}, address = {Pesaro}, publisher = {Bartolomeo Cesano}, langid = {italian}, date = {1559} } </code></pre></div><h2 id="结论">结论</h2> 150多篇论文，是四年密集合作的结晶；它们不仅提供了有关我们所编辑、翻译的手稿的关键信息，还蕴含着宝贵的书目信息。 把这些参考文献汇入一个数据库，校勘者便能转眼之间更换书目格式，想怎么呈现就怎么呈现。这个数据库还提供了关于该版本及其背后项目的宝贵信息，为学者打开了新的分析视角。而这样的数据库，可以在创纪录的时间内以极高的准确率建成。 诚然，会有一些错误混进来，尤其是因为GPT-3爱产生幻觉。但预训练语言模型的后续版本将会缓解这个问题。 </article> <article> <h1>Avviso | 出版让我们走向现代的新闻（1537—1743）</h1> Sun, 12 Dec 2021 00:00:00 +0000 Avviso项目的主要目标，是对35000份近代早期手抄新闻信（即avvisi）进行数字化、保存、编目、校勘、语境化和传播；这些新闻信原属美第奇家族收藏，现藏于佛罗伦萨国家档案馆。借助美第奇档案计划的Medici Interactive Archive平台，对约35000份avvisi（近代早期手抄新闻信）进行编目、数字化与传播。 </article> <article> <h1>The Spy Who Wished Them Well</h1> Sun, 12 Dec 2021 00:00:00 +0000 更多信息，敬请期待。 </article> <article> <h1>高效校勘</h1> Sun, 12 Dec 2021 00:00:00 +0000 数字校勘本代价高昂。转录、翻译、注释，须由高素质人员完成，动辄数千小时；除了长期的机构支持，还需要大笔经费。 数字人文领域那些引人注目的项目能拿到运作所需的巨额经费，从某种意义上说是一种福气。 可是，过度倚赖富有基金会、大学和政府机构的慷慨，长年需要大量人力，终究不是一种能面向未来的经济模式。就算越来越多的学者做得起雄心勃勃的原始史料数字版本，这种做法依然是少数富裕国家的特权，反倒强化了它们的文化霸权。 要让世界各地的历史文献走向更广大的公众， 数字校勘本的成本就得降低几个数量级 。 在这一组博文里，我评估世界各地学者可以用来更快、更省地出版原始史料的各种办法和技术模块。 我将着重评估机器学习、区块链和去中心化存储等技术。 </article> <article> <h1>数字学术版本的标记自动化</h1> Mon, 22 Nov 2021 18:15:00 +0000 <h1 id="引言">引言</h1> 如何做数字学术版本而不至于倾家荡产？本文是“高效校勘”系列的第一篇；我在这里评估预训练语言模型在编辑任务自动化——譬如语义标记——中能扮演什么角色。 <details class="print:hidden xl:hidden" > <summary>目录</summary> <div class="text-sm"> <nav id="TableOfContents"> <ul> <li><a href="#爱的劳作">爱的劳作</a></li> <li><a href="#高门槛">高门槛</a></li> </ul> <ul> <li><a href="#transformer通往自动化的最短路径">Transformer：通往自动化的最短路径？</a> <ul> <li><a href="#codex">Codex</a></li> <li><a href="#openai之外">OpenAI之外</a></li> </ul> </li> </ul> <ul> <li><a href="#实验1文本分类">实验1——文本分类</a> <ul> <li><a href="#提示词工程">提示词工程</a></li> <li><a href="#测试">测试</a></li> <li><a href="#结果">结果</a></li> </ul> </li> <li><a href="#实验2语义标记">实验2——语义标记</a> <ul> <li><a href="#提示词工程-1">提示词工程</a></li> <li><a href="#测试-1">测试</a></li> </ul> </li> </ul> </nav> </div> </details> <h1 id="问题">问题</h1> <h2 id="爱的劳作">爱的劳作</h2> 情之所钟，不计代价……俗话是这么说的。数字学术版本尤其如此：转录、翻译、注释，动辄数千小时的工作，而且—— （《文艺复兴时期法国的工艺与自然之秘》）便是一例——要靠数百位高素质的合作者来完成。 数字人文领域那些引人注目的项目能拿到运作所需的巨额经费，从某种意义上说是一种福气。可是，过度倚赖富有基金会、大学和政府机构的慷慨，长年需要大量人力，终究不是一种能面向未来的经济模式。 说到底，如果我们希望世界各地的学者都能把历史文献带到更广大的公众面前， 数字校勘本的成本就得降低几个数量级 。 <h2 id="高门槛">高门槛</h2> 有点吊诡的是， 出路也许正来自这类劳动密集的项目：它们本身就是宝贵的训练集 ，可以用来把数字校勘中最叫人厌烦、最重复的活儿——比如标记——交给机器。 这不是说标记无关紧要。恰恰相反， 标记已经成为任何严肃的数字学术项目都少不了的组成部分。 经标准化之后，它让我们得以记录文献及其所承载文本的方方面面：结构、页边批注、删改、异文、纸张种类、污渍、字体……凡你能想到的，都能记下来。 下面这个例子取自，展示了标记如何给文本附加信息（类别、结构、语义场、删改等等），最终使数字版本比起纸本前身有了显著的优势。 <table> <tr> <th> 纯文本 </th> <th> XML标记</th> </tr> <tr> <td> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text">Pour rompre grenades et donner violence aux artifices de foeu Mects parmy la pouldre et la sixiesme partye dicelle de vif argent </code></pre></div></td> <td> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-xml" data-lang="xml"><div id="p008r_2" categories="arms and armor"> <head>Pour rompre <wp>grenades</wp> et donner<lb/> violence aux <wp>artifices de foeu</wp></head> <ab>Mects parmy la <m>pouldre</m> <del><ms>six fois autant</ms> de <m>vif argent</m></del><lb/> <del>et</del> <ms>la sixiesme partye</ms> dicelle de <m>vif argent</m></ab> </div> </code></pre></div></td> </tr> </table> 这些信息不仅有存档价值，而且——我此前已多次展示——对综合与分析同样有用。不过，这类注释极其耗时，因为同一段文本往往要以多种面貌出现：译文、转录、现代化拼写本，等等。 <h1 id="解决方案">解决方案</h1> <h2 id="transformer通往自动化的最短路径">Transformer：通往自动化的最短路径？</h2> 2020年，大张旗鼓地推出了新一代通用大规模语言模型GPT-3，全称“Generative Pre-trained Transformer 3”（生成式预训练Transformer第三代）。Transformer是人工智能领域相当新近的突破：学新任务快得惊人，只需读一段提示词、看寥寥几个例子。也可以用专门的数据集再训练一番（微调），以改善延迟与准确率。正因如此，GPT-3和同类Transformer被称为。 据OpenAI称，GPT-3拥有创纪录的1750亿参数，训练文本超过570GB，其中大部分是英文文档，想必取自。凭着这份体量，GPT-3为该领域立下了新标杆：开箱即用，便能完成各式各样的任务，逼真得叫人不安。它能写像模像样的，能在聊天室里，能、、翻译文档、解释行话，不一而足。 自2021年5月起，我提前拿到了OpenAI的API使用权，得以试验这个模型解决若干公认难题的本事：把法语诗歌和新拉丁语文本译成英语，解释类比，甚至把康德《道德形而上学奠基》第四卷讲给七岁小孩听（虽说讲得不怎么令人信服）。 <h3 id="codex">Codex</h3> GPT-3最近的一项进展专攻计算机语言。这个名为Codex的模型能在自然语言与计算机语言之间互译。比方说，我想要一个正则表达式，用来“只查找以大写字母开头的单词”，GPT-3立刻把这句话译成一条可用的正则表达式：<code>[A-Z]+\w+</code>。 据OpenAI称，Codex能处理十几种计算机语言，包括Python、JavaScript、Go、Perl、PHP、Ruby和Swift。它把伪代码顺畅地转成代码，人们便不必再为计算机语言繁琐的语法费神，可以专心于让应用程序解决问题的逻辑步骤与策略。 <h3 id="openai之外">OpenAI之外</h3> 当然，OpenAI并非独一家。前面提过，北京智源人工智能研究院2021年宣布了一个更大、更强的模型，名为悟道2.0（Wu Dao 2）。Nvidia与微软联手推出了名副其实的Megatron-Turing NLG 530B。和这样的小型初创公司也向公众提供API。等开源项目同样值得一提。人工智能这个圈子变化极快；要追踪新动向，不妨看看。 <h1 id="实验">实验</h1> <div class="callout flex px-4 py-3 mb-6 rounded-md border-l-4 bg-blue-100 dark:bg-blue-900 border-blue-500" data-callout="note" data-callout-metadata=""> <svg height="24" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="1.5" d="m16.862 4.487l1.687-1.688a1.875 1.875 0 1 1 2.652 2.652L6.832 19.82a4.5 4.5 0 0 1-1.897 1.13l-2.685.8l.8-2.685a4.5 4.5 0 0 1 1.13-1.897zm0 0L19.5 7.125"/></svg> <div class="callout-content dark:text-neutral-300"> <div class="callout-title font-semibold mb-1">注意</div> <div class="callout-body">这些实验的目的，是找到一条通往编辑任务可靠自动化的最经济的路。有人会说，其中一些任务用监督学习算法也能自动化。这个假设留待以后的文章探讨。</div> </div> </div> 像GPT-3这样的Transformer，能不能学会给一份十六世纪的技术与科学手稿加注释？ <h2 id="实验1文本分类">实验1——文本分类</h2> 先从相对简单的开始。既然是“少样本学习者”，GPT-3理应能很快摸清我们编辑团队给Ms Fr 640各条目分类的路数。 <h3 id="提示词工程">提示词工程</h3> 训练时，我只用了一段极简的提示词，另选四个简短的纯文本条目作示例，其中有关于“医学”“武器与盔甲”和“绘画”的条目。 <h3 id="测试">测试</h3> 然后，我另抄了一段不在初始序列里的文字： <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text">Working neatly Never put down, if you can, two colors one on top of the other. But next, having made your design carefully, keep the place of shadows for them alone, & also separately that of lights & highlights, without layering one color all over & then highlighting or else shading on it. And in this way, you further your work, economize your colors & work neatly. Which is the reason that, the colors not being muddled nor mixed together, they do not die & you soften the colors better, since they are not so thick. </code></pre></div>输出与内容完全吻合： <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-xml" data-lang="xml"><categories="painting"> </code></pre></div>再试一个条目，其类别压根不在最初选来训练GPT-3的文本之列，结果令人吃惊。 <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-xml" data-lang="xml"><categories="jewelry"> </code></pre></div><h3 id="结果">结果</h3> 我们的Ms. Fr. 640版本里并没有“jewelry”（珠宝）这个类别；编辑团队用更宽泛的“Stones”（石料）。不过GPT-3的直觉不错，这说明只要再多训练一点，它就能学会给Ms. Fr. 640的任何条目分类，或许连类似的十六世纪技术文本也不在话下。 <h2 id="实验2语义标记">实验2——语义标记</h2> 把门槛再抬高一些。既然GPT-3这样的Transformer能按特定的编辑标准给文本分类，它们能不能也识别出文本中的部分标记？ <div class="callout flex px-4 py-3 mb-6 rounded-md border-l-4 bg-blue-100 dark:bg-blue-900 border-blue-500" data-callout="note" data-callout-metadata=""> <svg height="24" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="1.5" d="m16.862 4.487l1.687-1.688a1.875 1.875 0 1 1 2.652 2.652L6.832 19.82a4.5 4.5 0 0 1-1.897 1.13l-2.685.8l.8-2.685a4.5 4.5 0 0 1 1.13-1.897zm0 0L19.5 7.125"/></svg> <div class="callout-content dark:text-neutral-300"> <div class="callout-title font-semibold mb-1">注意</div> <div class="callout-body">Secrets of Craft and Nature采用语义标签与结构标签的。可惜，与等项目不同，GPT-3不处理图像。GPT日后的版本很可能会补上这项能力——识别文献的大多数结构和物质特征都离不开它。这些标签我们暂且跳过，只看不需要图像识别的标记。</div> </div> </div> <h3 id="提示词工程-1">提示词工程</h3> 语义标签涉及动物、植物、地名、感官信息等等。训练提示词里，我从版本中挑了几个例子： <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-xml" data-lang="xml"> The following is a list of words and their corresponding semantic tags cannons: <wp>cannons</wp> powder: <m>powder</m> flasks: <tl>flasks</tl> wooden: <m>wooden</m> iron: <m>iron</m> parchment: <m>parchment</m> goats: <al>goats</al> lambs: <al>lambs</al> leather: <m>leather</m> earth: <m>earth</m> fine fatty earth: <m>fine fatty earth</m> Venice: <pl>Venice</pl> Flemish: <pl>Flemish</pl> almond: <pa>almond</pa> almond oil: <m><pa>almond</pa> oil</m> walnuts skin: <m><pa>walnuts</pa> skin</m> molten lead: <m>molten lead</m> today: <tmp>today</tmp> In the past: <tmp>In the past</tmp> Clockmakers: <pro>Clockmakers</pro> red copper: <m>red copper</m> crucible: <tl>crucible</tl> bellows: <tl>bellows</tl> charcoal: <m>charcoal</m> founders: <pro>founders</pro> </code></pre></div><h3 id="测试-1">测试</h3> 先用<code>Davinci-codex</code>模型试几个容易的词：Apothecary（药剂师）、smoke（烟）、glassmakers（玻璃匠）、latten（黄铜合金）、snake（蛇）。结果立等可取，毫无差错： <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-xml" data-lang="xml"> Apothecary: <pro>Apothecary</pro> smoke: <m>smoke<m> glassmakers: <pro>glassmakers</pro> latten: <m>latten</m> snake: <al>snake</al> </code></pre></div>更难的一关是复合词，如copper plates（铜板）、walnut oil（核桃油）、wood block（木块）。这一关考的是GPT-3能否正确处理嵌套标签。 <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-xml" data-lang="xml"> copper plates: <m>copper plates</m> walnut oil: <m><pa>walnut</pa> oil</m> wood block: <m>wood block</m> </code></pre></div>结果好坏参半：<code>Davinci-codex</code>只标对了walnut oil，没能识别出copper plates和wood block里的<code>tl</code>与<code>m</code>嵌套标签。不过，下面的测试表明，这类错误可以靠更好的训练提示词来补救。再加上五个嵌套标签的例子之后，<code>Davinci-codex</code>交出了近乎完美的答卷，只错了一处（oil paintbrushes）： <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-xml" data-lang="xml"> cannon powder: <m><wp>cannon</wp> powder</m> arquebus powder: <m><wp>arquebus</wp> powder</m> oil paintbrushes: <m><al>oil</al> paintbrushes</m> sheep footbones: <m><al>sheep</al> footbones</m> bronze mortar: <tl><m>bronze</m> mortar</tl> </code></pre></div><h1 id="结论">结论</h1> 须记住，这些测试用的都是很小的文本片段。我猜想，若在示例和提示词里提供更多上下文，GPT-3模型的表现还会更好。再用专门的训练数据集微调一番，标注的准确率无疑会更上一层楼。 这些实验固然还需扩大规模，才能证明预训练语言模型的可靠性；但我们已经可以下结论： 这种方法让校勘者只需几个简单的步骤，就能把多项注释任务交给机器，从而可能省下大量的时间和金钱。 </article> <article> <h1>手稿可视化2（更新）</h1> Sat, 20 Nov 2021 16:00:00 +0000 如约而至：介绍的交互式树状图出了新版本，这回有两种查看模式。 <div class="callout flex px-4 py-3 mb-6 rounded-md border-l-4 bg-blue-100 dark:bg-blue-900 border-blue-500" data-callout="note" data-callout-metadata=""> <svg height="24" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="1.5" d="m16.862 4.487l1.687-1.688a1.875 1.875 0 1 1 2.652 2.652L6.832 19.82a4.5 4.5 0 0 1-1.897 1.13l-2.685.8l.8-2.685a4.5 4.5 0 0 1 1.13-1.897zm0 0L19.5 7.125"/></svg> <div class="callout-content dark:text-neutral-300"> <div class="callout-title font-semibold mb-1">注意</div> <div class="callout-body">为获得更佳的浏览效果，请确保网页设置为浅色模式（点击右上角的月亮图标）。</div> </div> </div> <head> <meta charset="UTF-8" /> <meta http-equiv="X-UA-Compatible" content="IE=edge" /> <meta name="viewport" content="width=device-width, initial-scale=1.0" /> <title>

Group folios by category

档案的可视化浏览器

Sun, 20 Jun 2021 16:00:00 +0000

问题

数字版本身上有个悖论：它们让艰深的文献走向更广大的公众，可去物质化带来的感官信息的流失，又往往让读者摸不着头脑，甚至打消了深入其内容的念头。在庞大的文献库里穿行，于是变得相当繁琐，令人却步。不只是缺乏档案研究经验的用户如此，有认知障碍的读者也是如此。

解决方案

这正是档案元数据能帮上忙的地方。的确，这类数据让我们能做出交互式的视觉抽象，为读者提供另一种感官输入，从而既提升易用性，也提升可及性。要让档案在视觉上可以穿行，树状图（treemap），或任何能有效分解层级数据的图表，都能派上用场。

实验

我的第一个实验改编了D3.js的，并加上超链接。它呈现的是BnF Ms Fr 640手稿、其各对开页，以及每一对开页内的条目。颜色代表主导类别。鼠标悬停在条目上可以看到更多数据，包括指向手稿的超链接。
这样一来，树状图便成了一个交互式的视觉索引，让读者一眼扫过，便对手稿内容——以及每一对开页、每一条目的篇幅——有个快速而灵敏的概览。
~~接下来几个月，我会继续试验这个想法，尝试别的图表和别的层级……敬请期待！~~ 树状图的新版本请点击。

注意

为获得更佳的浏览效果，请确保网页设置为浅色模式（点击右上角的月亮图标）。

Click any cell to zoom in, or the top to zoom out.

档案一览

Mon, 24 May 2021 16:00:00 +0000

问题

历史档案的杂乱可以叫人望而生畏。的Mediceo del Principato全宗就是个典型：编有目录的只是一小部分，许多文献不知何故散落在6500多卷之中。更麻烦的是，档案馆每次只让你调阅有限数量的卷（他们称之为filze）。平时限额是每天4卷filze；到了疫情期间，降到每两周4卷。没有详细目录，档案又如此庞大，研究者只好自己想办法，好尽快找到要找的文献。

解决方案

有人靠运气，也有人会根据年代、收信人、作者、全宗来源、语言等等，做出有根据的猜测。然而，把这些变量同时看在眼里，或许能揭示档案结构中意想不到的规律，让我们猜得更准。依我的经验，研究者平常记在电子表格里的元数据，一旦画成图，就能大大提高在档案馆里的态势感知。

实验

我目前的研究围绕一位十六世纪间谍的书信。他的信散布在数百卷filze里：以不同的身份写成，寄给不同的、有时出人意料的收信人，发自不同的地点，如此等等。为了找出更可能藏有目标信件的filze，我搭了一个仪表盘——一个交互式数据可视化网页应用（），把各类数据（包括地理和年代信息）与全宗的层级图（）连在一起。仪表盘让我一眼看出已经找到了什么、占多大比例，并大致知道还可以到哪里去找新信。点击某个变量，所有图表还会随之更新，显示特定的关联。

下一步

也许更要紧的是，这个仪表盘可以改作视觉索引。等这些书信的校勘本上线，仪表盘将成为另一个入口，读者可以从这里浏览数据。出于保密考虑，眼下我只能展示一张打了码的截图，完整的仪表盘明年发布。在此之前，很快会先放出一个原型。敬请期待！

Making & Knowing Project

Sun, 27 Dec 2020 00:00:00 +0000

由Pamela H. Smith创立于2014年，有数百位合作者参与，是哥伦比亚大学的一项研究与教学计划。

我以博士后研究员的身份参与该项目，工作之一是BnF Ms. Fr. 640的。这份独一无二的十六世纪法文手稿，让我们得以第一手地窥见一个艺术家即科学家的时代如何制作、如何用料。

该数字版本在上免费提供了大量数据。来年我打算写一组博文，谈这个版本及其数据，展示用Python或R下载、分析文本何等容易。敬请期待！

BnF Ms. Fr. 640语义标记的可视化

Sun, 20 Dec 2020 18:15:00 +0000

概述

数据丰富的学术版本里藏着宝贵的编辑注释，可以提取、分析、可视化，服务于各种学术目的。2020年发布的（《文艺复兴时期法国的工艺与自然之秘》）便是如此：它的元数据文件可从GitHub仓库下载。本文展示如何把这些变量汇成一个相关矩阵，再以不同方式画出来。

数据

Making and Knowing Project生成了一份电子表格，载有手稿内容的最新信息：entry_metadata.csv。该文件可从Making & Knowing的取得。另外，也可以借助Matthew Kumar出色的 ——BnF Ms. Fr. 640的Python版本——生成定制的.csv文件，加入更多标记。

设置Python

数据整理用Pandas，热图用Matplotlib和seaborn，最后用NetworkX生成基于相关的网络。
对这类变量，我们避开Pearson法，改用𝜙𝐾法。请务必先这种相关方法及其对应的库PhiK。

#install packages
pip install phik

# import modules
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import networkx as nx

准备数据

首先，从该版本的metadata文件夹下载最新的元数据文件。我们只选需要的列。本演示中，我选了英文译文tl里的全部语义标签；您也可以选法文转录tc或规范化版本tcn里的标签。数据是分号分隔的值，得让Python替我们数。于是用stack-unstack方法，配合正则表达式[^;\s][^\;]*[^;\s]*来数。为了让矩阵更好读，我们把每一列重新命名。赶时间的话，这一步可以跳过，只需记住此时的数据框叫tagsrn。

# load the edition's metadata
df = pd.read_csv('entry_metadata.csv')

# select the tags you want to correlate
dftags = df[['al_tl', 'bp_tl', 'cn_tl', 'df_tl', 'env_tl', 'm_tl', 'md_tl', 'ms_tl', 'mu_tl', 'pa_tl', 'pl_tl', 'pn_tl', 'pro_tl', 'sn_tl', 'tl_tl', 'tmp_tl', 'wp_tl', 'de_tl', 'el_tl', 'it_tl', 'la_tl', 'oc_tl', 'po_tl']]

# count comma separated values
tagcount = dftags.stack(dropna=False).str.count(r'[^;\s][^\;]*[^;\s]*').unstack()

# rename columns
tagsrn = tagcount.rename(columns={'al_tl': 'animals', 'bp_tl': 'body parts', 'cn_tl': 'currency', 'df_tl': 'definitions', 'env_tl': 'environment', 'm_tl': 'material', 'md_tl': 'medical', 'ms_tl': 'measurement', 'mu_tl': 'music', 'pa_tl': 'plant', 'pl_tl': 'toponym', 'pn_tl': 'person', 'pro_tl': 'profession', 'sn_tl': 'sensory', 'tl_tl': 'tool', 'tmp_tl': 'temporal', 'wp_tl': 'weapons', 'de_tl': 'German', 'el_tl': 'Greek', 'it_tl': 'Italian', 'la_tl': 'Italian', 'oc_tl': 'Occitan', 'po_tl': 'Poitevin'})

计算相关

数据框清理干净，就可以计算各变量之间的相关系数了。这一步要紧的是吃透您的数据，确保用的是最合适的相关方法。pandas-profiling包对此特别有帮助。

# calculate correlation coefficient with the phi k method
cortag = tagsrn.phik_matrix()

cortag就是我们的相关矩阵。现在可以试试不同类型的可视化了。

可视化

首先可以试的，是用seaborn的把它画成一个颜色编码的矩阵。

更新：环形加权网络

我一直在找把相关矩阵显示为加权网络的办法，找到了这个有趣的思路，在此改编到我们的数据集上。

# create graph weighted by correlation coefficients (unfiltered)
Gx = nx.from_pandas_edgelist(links, 'var1', 'var2', edge_attr=['value'])

# determine a threshold to remove some edges
threshold = 0.4

# list to store edges to remove
remove = []

# loop through edges in Gx and find correlations which are below the threshold
for var1, var2 in Gx.edges():
 corr = Gx[var1][var2]['value']
 #add to remove node list if abs(corr) < threshold
 if abs(corr) < threshold:
 remove.append((var1, var2))

# remove edges contained in the remove list
Gx.remove_edges_from(remove)

print(str(len(remove)) + ' edges removed')

去掉几条边之后，就可以决定边的颜色和粗细了。

# determine the colors of edges
def assign_colour(correlation):
 if correlation <= 0.8:
 return '#ff872c' # orange
 else:
 return '#f11d28' # red


def assign_thickness(correlation, benchmark_thickness=3, scaling_factor=3):
 return benchmark_thickness * abs(correlation)**scaling_factor


def assign_node_size(degree, scaling_factor=50):
 return degree * scaling_factor

我们还让节点的大小与其连接数成正比。

# assign node size depending on number of connections (degree)
node_size = []
for key, value in dict(Gx.degree).items():
 node_size.append(assign_node_size(value))

结果是一张加权图：容纳了更多节点和多得多的边，却依然清晰可读、信息丰富。

Filippo Cavriana的秘密通信，1568—1589

Fri, 27 Dec 2019 00:00:00 +0000

Filippo Cavriana的秘密书信，是法国宗教战争独一无二的见证：二十余年间，法国宫廷内外由阴谋、战役、谈判与密谋所主宰的生活，尽在其中。

这些信藏于，大多散落在数百卷未编目的卷宗里——佛罗伦萨人管这叫filze。过去几年，我发现了数十封新信，但这类档案研究正变得越来越难：远离佛罗伦萨，意大利某些公共服务的退化，再加上新冠疫情，都让这类出版项目成了一场漫长而没有把握的工程。

困难虽与日俱增，出版原始史料仍应是历史学家分内之事。不过，这类出版物的形态或许该变一变了：原始史料的出版不仅要适应上述处境，还应更好地体现这类研究的渐进性质，同时让别人有可能接着做下去。

由此便有了这个想法：开发一种新型的数字出版项目，要可扩展、可持续、可信、不依赖平台，并且有可能协作。

版本现已上线：。它汇集了迄今转录的信件——来自佛罗伦萨、曼托瓦的国家档案馆以及法国国家图书馆（BnF）——并随着新信的浮现而不断增长。设计背后的思路，我在里作了说明。

档案的可视化浏览器

问题

解决方案

实验

档案一览

问题

解决方案

实验

下一步

Making & Knowing Project

BnF Ms. Fr. 640语义标记的可视化

概述

数据

设置Python

准备数据

计算相关

可视化

相关热图

相关聚类图

相关网络

更新：环形加权网络

Filippo Cavriana的秘密通信，1568—1589