Clement |

Hàng rào, chứ không phải ngọn lửa

Sun, 06 Sep 2026 00:00:00 +0000

Trong một nhà kho ở North Las Vegas, Amazon vận hành một cỗ máy chuyên chặt gáy sách cũ. Những trang rời đi qua máy quét, rồi giấy được đem đi nghiền thành bột. ví việc này với đốt sách thời hiện đại, và không tiếc một sáo ngữ nào: bóng gió Savonarola, ảnh minh họa những cuốn sách trông có vẻ quý hiếm, và dĩ nhiên, giàn thiêu Berlin. Đúng như dự đoán, các báo lớn điềm đạm hơn, nhưng vẫn để phép so sánh ấy lơ lửng trong không khí. Phẫn nộ là thế, nhưng những bài báo này lại giơ cao đánh khẽ với ngành AI một cách đáng ngạc nhiên. Ai được quyền kiểm soát tri thức đang bị quét? Câu hỏi đó phải chờ, trong lúc ta dẹp cái chuyện đốt sách vớ vẩn này đã.

Máy quét không phải giàn thiêu

Hủy một bản in, tự nó, không biến việc quét hủy bản thành phiên bản hiện đại của giàn thiêu Savonarola hay đốt sách Quốc xã. Những hành động ấy có nghĩa là nhờ vào thứ bị lên án và lý do lên án. Vị tu sĩ khốn khổ Savonarola, bị lôi vào mọi cuộc tranh cãi về đốt sách, đã kêu gọi dân chúng đốt một phần của cải của mình như một hành vi sám hối công khai. Giàn thiêu Quốc xã dựng nên một kiểu chối bỏ khác: đốt sách trước công chúng để tuyên bố rằng tác giả của chúng không có chỗ trong đời sống văn hóa Đức. Trong cả hai trường hợp, sự hủy hoại mang tính trình diễn. Quét hủy bản, một phương pháp số hóa được dùng rộng rãi, nhắm đến mục đích khác: bản in bị hy sinh để giữ lại nội dung. Cuốn sách bị hủy; văn bản được phi vật chất hóa. Ai định viện đến Fahrenheit 451 thì nên nhớ rằng những người lính cứu hỏa của Bradbury đâu có lưu văn bản lại để dùng sau.

đổ thêm dầu vào lửa khi đưa “sách quý hiếm” lên tiêu đề, và các báo khác cứ thế lặp lại. Thế nhưng chính một nhà sách được trích trong cuộc điều tra ấy cho biết những đơn hàng số lượng lớn này , tức phần lớn là những ấn bản ra đời sau khi ISBN được áp dụng, khoảng 1970. Đây là thứ hàng của chợ trời và tiệm từ thiện, chỉ một lần dọn nhà là ra bãi rác. Trước khi hô hoán thảm họa văn hóa, có lẽ nên tra mục lục thư viện. Đó chính là loại ấn phẩm mà các thư viện lưu chiểu tồn tại để bảo tồn. Đành rằng một ISBN không bảo đảm còn bản lưu chiểu, nhưng sự khan hiếm trên thị trường sách cũ cũng chẳng chứng minh được một văn bản đã biến mất.

Nghiền bột hủy bản in, kể cả mọi lời đề tặng hay ghi chú bên lề. Những bản có chú thích hoặc lai lịch có ý nghĩa lịch sử xứng đáng được nhận diện và bảo tồn, tốt nhất là trước khi chúng rơi vào thị trường sách cũ. Ta vẫn có thể lo về nguồn bản in ngày một cạn của những đầu sách đã tuyệt bản. Nhưng nếu vậy, ta cũng nên hỏi vì sao chủ sở hữu bản quyền của chúng chẳng tái bản, mà cũng chẳng cho phép truy cập những bản sao kỹ thuật số sẵn có. Giới nghiên cứu quá quen với nỗi bực này: Google Books tìm ra đúng đoạn bạn cần, rồi chìa ra một mẩu trích của cuốn sách mà bạn vừa không mua mới được, vừa không đọc trực tuyến được. Có những mất mát ở đây đáng đem ra bàn. Chúng không biến máy quét thành giàn thiêu Quốc xã.

Trong khi đó, ngành sách từ lâu vẫn nghiền sách ế như chuyện thường ngày. Riêng ở Pháp, ước tính , tương đương khoảng 60% khối lượng sách ế trả về nhà phân phối. Người ta gọi đó là quản lý tồn kho. Bản in dư thừa và sách cũ khan hiếm đặt ra những câu hỏi khác nhau về quyền tiếp cận, nhưng hủy giấy tự nó không phải là kiểm duyệt hay bạo quyền.

Nhiều sách hơn, AI tốt hơn?

Việc các công ty AI mua và quét sách thực ra là tin tốt. Một công nghệ thường bị chê là hiểu văn hóa nhân loại hời hợt đang thu nạp thêm văn hóa ấy, và lẽ ra giới học giả phải hoan nghênh nỗ lực đó.

Web là thứ thay thế tồi cho kho tích lũy của một ngôn ngữ. Phần lớn đời sống thành văn của một ngôn ngữ, từ tiểu thuyết và hồi ký đến ca khúc phổ thông và hội thoại được ghi lại, chưa bao giờ đi từ trang in lên web. Nhiều cuốn sách đã sống lâu hơn nhà xuất bản của chúng. Đưa chúng vào dữ liệu huấn luyện quan trọng nhất ở những nơi hầu như chẳng có gì khác. Thêm vài cuốn sách tiếng Anh có thể đem lại đôi chút cải thiện bên lề. Với một ngôn ngữ ít được đại diện, những cuốn sách ấy có thể là khác biệt giữa một hệ thống dùng được và một hệ thống vô dụng. Những công cụ này có chỗ trong dịch vụ công hay đời sống hằng ngày của ta hay không là câu hỏi cho tranh luận công khai. Nhưng ở bất cứ đâu ta chọn dùng chúng, ta phải dùng được bằng tiếng của mình.

Những đơn hàng được đưa tin ở Tây Ban Nha và Hà Lan cho thấy cụ thể điều gì đang bị đặt cược về ngôn ngữ. Hồi tháng 5, kể về một nhà sách ở Badalona liên tục nhận đơn hàng, chủ yếu là sách phi hư cấu tiếng Catalan: sách sử, sách hướng dẫn kỹ thuật và kỷ yếu hội thảo cũ. Đến tháng 8, báo chí Hà Lan mô tả một yêu cầu gửi tới De Slegte đặt mua . Ngôn ngữ của những cuốn sách đáng được chú ý ít nhất ngang với số phận của gáy sách. Có lẽ đòi hỏi thế là quá sức với Daily Mail. Ngay cả những tờ báo điềm đạm hơn cũng chẳng nói được mấy về các ngôn ngữ trong cuộc.

Thỏa thuận cấp phép với các nhà xuất bản lớn cũng có thể cung cấp tư liệu quý, nhưng danh mục số của họ chỉ phủ một phần nhỏ những gì từng được in. Sách chưa từng số hóa, hay sách mà nhà xuất bản không còn giữ bản quyền, nằm ngoài lời chào hàng. Ngay cả một thỏa thuận cấp phép hào phóng cũng không thay được lịch sử xuất bản, huống chi lịch sử của một nền văn hóa. Mua sách cũ là cách vươn qua những ranh giới thương mại ấy.

“Ăn cắp” không phải là lập luận

Gọi đó là “ăn cắp” cũng chẳng ích gì. Tháng 6 năm 2025, hai tòa án quận ở Mỹ phán quyết rằng dùng sách để huấn luyện mô hình ngôn ngữ là sử dụng hợp lý (fair use) trong các vụ được đưa ra trước tòa. Trong vụ , tòa nhấn mạnh tính chuyển hóa của việc huấn luyện: sách được dùng để xây dựng một hệ thống có khả năng tạo ra biểu đạt mới. Mô hình có thể thuộc lòng một số đoạn, nhưng dùng một cuốn sách để huấn luyện không khiến toàn bộ văn bản có thể truy xuất theo yêu cầu. Việc không tái tạo nguyên văn cũng không dẹp hết mọi phản đối. Trong vụ , thẩm phán cảnh báo rằng tác phẩm do AI tạo ra có thể tràn ngập thị trường, và bằng chứng về tổn hại như thế có thể đánh bại lập luận sử dụng hợp lý. Song các nguyên đơn này đã không đưa ra được bằng chứng đáng kể về tổn hại ấy đối với tác phẩm của chính họ. Không phán quyết nào cấp cho các công ty AI giấy phép vô hạn hay khép lại cuộc tranh cãi đạo đức. Chúng buộc ta phân biệt sách được mua thế nào, bản sao được lưu giữ ra sao và việc huấn luyện làm gì với chúng. Gọi tất cả là “ăn cắp” thì để ngỏ mọi câu hỏi ấy.

Nhân tiện, phán quyết vụ Anthropic cung cấp một lý do cho cái máy chém. Tòa chấp nhận việc số hóa những bản đã mua và bác bỏ việc tích trữ sách lậu thành một thư viện vĩnh viễn, mà về sau công ty đã . Việc số hóa được chấp nhận một phần vì mỗi bản in đã bị hủy trong quá trình chuyển đổi: bản số thay thế nó và không được chia sẻ ra ngoài công ty. Sự hủy hoại khiến một số người bức xúc đến thế lại giúp Anthropic chứng minh chương trình số hóa của mình là sử dụng hợp lý. Mua, quét, vứt: trong vụ này, đó là một con đường hợp pháp. Máy chém, ở đây, là công cụ tuân thủ. Mua sách có thể giải quyết bài toán thu nạp. Tự nó không cho ai quyền chia sẻ kho ngữ liệu thu được.

Có nhiều lý do chính đáng để muốn AI khai thác nhiều ngôn ngữ hơn, nhiều học thuật hơn và nhiều hơn nữa cái thế giới từng tồn tại trước internet. Những lý do ấy không biến mất chỉ vì một công ty ta không ưa đã tìm thấy cơ hội thương mại trong việc đó.

Phẫn nộ đi mượn

Vậy hãy trở lại với Daily Mail. Bài báo của họ là một phần của , một chiến dịch của các chủ báo và nhà xuất bản đòi cho AI. Hai phép đánh tráo tiện lợi làm hết phần việc: Big Tech đứng thay cho AI, và chủ sở hữu bản quyền đứng thay cho sức sáng tạo của nước Anh. Độc giả được mời bảo vệ văn hóa trong lúc các nhà xuất bản thương lượng điều khoản bán nó. Học giả nào chia sẻ câu chuyện ấy nên tự hỏi nỗi phẫn nộ của mình đang phục vụ cho sự nghiệp của ai.

Big Tech và đang cãi nhau về tiền thuê, nhưng không bên nào phản đối hàng rào. Câu chuyện tác giả đơn độc bị gã khổng lồ công nghệ cướp bóc che khuất điều mà những thỏa thuận cấp phép đắt đỏ đem lại cho cả hai phe doanh nghiệp: nhà xuất bản được trả tiền, còn Big Tech có được một thị trường mà các đối thủ nhỏ hơn không đủ sức cạnh tranh. Peter Thiel nói thẳng hơn về sở thích của Thung lũng Silicon: .

Cấp phép không nhất thiết dẫn đến kết cục ấy. Quyền truy cập giá phải chăng, không độc quyền, có thể giúp các nhà phát triển nhỏ. Nhưng một hệ thống buộc mỗi người mới nhập cuộc phải thương lượng những thỏa thuận tốn kém với các chủ bản quyền lớn thì biến sức mua thành điều kiện gia nhập. Một khoản chi được trình bày như nhượng bộ cho các ngành văn hóa rốt cuộc lại mua được sự che chắn trước những đối thủ tương lai.

AI không thuộc về Big Tech

Còn một vấn đề sâu hơn. Quá nhiều lời phê phán AI lấy những nhà cung cấp thương mại lớn nhất làm toàn bộ lĩnh vực. Sản phẩm chiếm hết tiêu đề; nghiên cứu và phát triển bên ngoài các công ty ấy biến mất khỏi tầm nhìn. Big Tech khó lòng mong một sự hiểu lầm nào có ích hơn. Tham vọng sở hữu cả lĩnh vực của họ trở thành tiền đề của chính những lời phê phán nhắm vào họ. Thế độc quyền chưa được bảo đảm. Coi nó như chuyện đã rồi là làm ơn rất lớn cho những công ty ấy.

AI mã nguồn mở cho phép người ta xây dựng và điều chỉnh những hệ thống phản ánh sự đa dạng lớn hơn về ngôn ngữ, văn hóa và hình thức biểu đạt. Với các nước ở châu Âu, châu Phi và Mỹ Latinh, cũng như Hàn Quốc, Nhật Bản và Ấn Độ, đó là nền tảng thực tiễn cho chủ quyền công nghệ và văn hóa: khả năng quyết định hệ thống vận hành thế nào, phục vụ ngôn ngữ nào và được dùng ở đâu. Có dùng AI hay không, và dùng vào việc gì, phải là lựa chọn của công chúng, chứ không phải quyết định do sự lệ thuộc vào một nhà cung cấp nước ngoài áp đặt.

Nhưng quyền tự do sửa đổi một hệ thống chẳng có mấy ý nghĩa nếu không có phương tiện để làm điều đó. Công việc độc lập cần chuyên môn, hạ tầng tính toán và quyền truy cập tư liệu huấn luyện. Điều này đưa ta trở lại với sách. Nếu mỗi nhóm nghiên cứu hay thiết chế công đều phải tự thương lượng thỏa thuận với nhà xuất bản hay tự gom một thư viện riêng, thì độc lập vẫn là đặc quyền của kẻ có tiền.

Sách đã ở đây rồi

Thư viện và kho lưu trữ đã bỏ ra nhiều thế hệ để sưu tầm chính thứ tư liệu mà các hệ thống này cần. Bộ sưu tập của họ tồn tại vì quyền tiếp cận tri thức phải sống lâu hơn lợi ích thương mại của việc bán nó. Nhiều thứ đã được quét: giữ khoảng mười chín triệu tập đã số hóa từ các thư viện nghiên cứu, nhiều tập vẫn còn bản quyền. Thư viện quét một cuốn sách rồi giữ nó lại. Chẳng ai ở đó cần đến máy chém. HathiTrust sẽ , nhưng cũng đã công bố , một dự án cung cấp quyền truy cập kho ngữ liệu cho nghiên cứu và phát triển AI phi thương mại. Truy cập theo những điều kiện ấy vẫn để một số nhà phát triển độc lập đứng ngoài.

Tuy nhiên, sở hữu sách không cho thư viện quyền phân phối nội dung có bản quyền của chúng dưới dạng kho ngữ liệu huấn luyện. cho phép các cơ sở nghiên cứu và thư viện khai thác các tác phẩm được tiếp cận hợp pháp cho nghiên cứu khoa học, và cho phép khai thác rộng hơn khi chủ sở hữu bản quyền không bảo lưu quyền của mình. : ngoại lệ khai thác của họ chỉ bao gồm nghiên cứu phi thương mại và hạn chế việc chuyển giao bản sao. Không khung pháp lý nào cho thư viện quyền chung để chia sẻ kho tài liệu có bản quyền của mình cho người khác xây dựng trên đó.

Ta cũng có thể xem lại chủ sở hữu bản quyền nên kiểm soát các hình thức sử dụng sách bằng máy tính trong bao lâu. Bằng sáng chế dược phẩm là một điểm so sánh: thời hạn thông thường hai mươi năm của chúng ngắn hơn nhiều so với bản quyền, vốn kéo dài suốt đời tác giả cộng thêm bảy mươi năm. Liệu sách có thể được mở cho khai thác văn bản và dữ liệu mà không mất phí cấp phép sau, chẳng hạn, hai mươi năm kể từ lần xuất bản đầu tiên, trong khi quyền tái bản và bán vẫn được bảo hộ? Bảo vệ quyền bán sách của tác giả không nhất thiết đồng nghĩa với kiểm soát mọi cách dùng nội dung của nó trong nhiều thế hệ.

Hai năm trước, tôi đã lập luận trên rằng dữ liệu di sản nên được coi là của công. Chính phủ nên tài trợ cho thư viện và kho lưu trữ để số hóa, chuyển tự và lập hồ sơ các bộ sưu tập của mình, và trao cho họ thẩm quyền pháp lý để mở kho ngữ liệu thu được cho người khác xây dựng trên đó. Big Tech có thể góp phần chi trả qua một khoản thuế chuyên biệt.

Tài trợ công phải đi kèm chính sách sưu tầm và quy tắc truy cập được công bố, áp dụng cho cả công việc học thuật lẫn thương mại, không có thỏa thuận độc quyền hay quyền ưu tiên cho nhà tài trợ. Truy cập để huấn luyện không nhất thiết đồng nghĩa với tái phân phối vô hạn sách có bản quyền. Tác giả nên tham gia thiết kế chương trình công này, kể cả cách nó xử lý sự đồng thuận, thù lao và sự cạnh tranh với tác phẩm của họ. Truy cập miễn phí cho người dùng không loại trừ thù lao cho tác giả từ ngân sách công. , vốn trả tiền cho tác giả từ công quỹ mỗi khi sách của họ được mượn, là một tiền lệ. Ngọn lửa chưa bao giờ là câu chuyện. Hàng rào mới là.

Thưa quý ban biên tập: muốn nghe giọng tôi, xin trả lại tôi ngôn ngữ của mình

Thu, 27 Aug 2026 00:00:00 +0000

Lại thêm một ngày, thêm một tạp chí trống giong cờ mở về chính sách AI của mình. Lần này là Progress in Human Geography: ban biên tập vừa công bố cảnh báo rằng dùng AI thay cho việc tự đọc, tự nghĩ, tự viết là “một vi phạm đạo đức học thuật tương tự đạo văn”. Bài nào bị phát hiện vi phạm “có thể bị rút”; may lắm thì được đính chính, kèm một thông báo in trên tạp chí. Ban biên tập còn nhắn nhủ: tác giả nên “cân nhắc kỹ xem có muốn tên mình gắn với những thông báo rút bài và đính chính hay không”.

Câu ấy đáng để dừng lại một chút. Rút bài là hình phạt nặng nhất trong xuất bản học thuật, thường chỉ dành cho ngụy tạo và gian lận. Ở đây, nó được gắn vào một lỗi mà chính bài xã luận không định nghĩa nổi. Ban biên tập thừa nhận có “những vùng xám thực sự” và “không có ranh giới rõ ràng nào phân định vùng ‘vô trách nhiệm’”. Việc thực thi sẽ dựa trên “những phán đoán có thể khiến một số tác giả phật lòng, những người sẽ khẳng định mình không lạm dụng AI”: nói cách khác, lời tự khai của chính tác giả có thể bị gạt bỏ. Lời khuyên tiếp theo là hãy ở yên “trong vùng ‘trách nhiệm’ cho an toàn”, mà người ta chỉ khuyên an toàn ở nơi có hiểm nguy. Trừng phạt người ta vì vượt qua một lằn ranh mà chính mình thú nhận không vạch nổi, điều đó chỉ có nghĩa khi mục đích là cai trị bằng nỗi sợ. Xin ghi nhớ điểm này.

Cái cớ “giọng văn”

Dùng AI có trách nhiệm là như thế nào? Tác giả được dặn: “phải hết sức cẩn trọng… để giữ được giọng văn của chính mình”. Lạm dụng là dùng AI “để viết bằng một thứ ngôn ngữ mà bình thường các tác giả sẽ không bao giờ tự mình dùng đến”. Với người bản ngữ, điều này có lý: đừng giả vờ là người mình không phải. Nhưng với người nước ngoài buộc phải viết bằng thứ tiếng không phải của mình, mệnh lệnh ấy tự mâu thuẫn. Giọng văn mà chính sách này bảo vệ chính là thứ duy nhất mà quy định của tạp chí từ chối chúng tôi.

Hãy lấy tôi làm ví dụ. Tiếng Anh là ngôn ngữ thứ tư của tôi, đúng loại tôi sẽ không bao giờ dùng đến “bình thường”. Các đại học Anh ngữ đã rèn tôi viết nó ngắn gọn, có biển chỉ đường, gần như máy móc: câu chủ đề đặt lên đầu, rào đón ở những chỗ được phép, từ nối lấy từ danh sách được duyệt. Việc rèn luyện ấy đã thành công: trong tiếng Anh của tôi chưa bao giờ có một giọng văn để mà bảo vệ; đó là thứ đầu tiên phải vứt đi. Theo chính định nghĩa của ban biên tập, mọi thứ tôi từng viết bằng tiếng Anh đều là lạm dụng, có máy hay không có máy.

Tiến thoái lưỡng nan

Ban biên tập bảo họ đã nghĩ đến chúng tôi: chính sách thừa nhận người không phải bản ngữ được lợi khi AI kiểm tra tiếng Anh cho họ, thậm chí từ các “dịch vụ dịch thuật, viết và biên tập” của nó. Thế nhưng sự tham gia của AI vào việc viết “cùng lắm chỉ nên dừng ở mức hỗ trợ biên tập và soát lỗi”, và không được đi đến “những mảng lớn văn bản do AI viết”. Một bài báo dịch máy thì do AI viết từ chữ đầu đến chữ cuối; nó chẳng là gì ngoài những mảng như thế. Vậy nên sự nhượng bộ ấy chỉ đứng vững nếu dịch không phải là viết. Lằn ranh đó nằm ở đâu? Họ đã nói rồi: “không có ranh giới rõ ràng”.

Còn tệ hơn nữa, bởi mối nghi ngờ này không chỉ là thứ không thể bác bỏ. Nó còn thiên lệch từ gốc. Năm 2023, một nhóm nghiên cứu ở Stanford thử bảy bộ phát hiện AI thông dụng trên các bài luận do người viết: trung bình, các bộ phát hiện gắn cờ “do máy tạo” cho 61% bài luận TOEFL của người không phải bản ngữ, trong khi phân loại gần như hoàn hảo bài của người bản ngữ; một bộ phát hiện gắn cờ tới 97,8% bộ bài TOEFL ( ). Lý do rất đáng suy ngẫm. Bộ phát hiện đo độ dễ đoán, mà tiếng Anh của người học ngoại ngữ, vốn được rèn để hướng về mức trung bình, thì dễ đoán ngay từ thiết kế: từ nhiều khả năng nhất, theo trật tự nhiều khả năng nhất. Cùng nghiên cứu ấy tìm thấy tín hiệu này trong học thuật thực thụ, với độ biến thiên ngôn ngữ thấp hơn ở các bài hội thảo mà tác giả chính không phải bản ngữ. Những dấu hiệu văn phong bị đọc là “AI” chính là dấu hiệu của tiếng Anh ngoại ngữ thành thạo, và một phán đoán của con người cũng đọc những dấu hiệu ấy y như máy. Thế tiến thoái lưỡng nan đã khép kín: viết bằng tiếng Anh của chính mình thì trông như máy; dùng máy thì phạm luật của họ.

Thuế ngôn ngữ

Nghịch lý này sẽ vô hại nếu không đi kèm những lời đe dọa. Nhưng lời đe dọa lại để lộ một vấn đề sâu hơn, cũ hơn, mà chính sách chẳng bao giờ gọi tên: chủ nghĩa đơn ngữ. đòi hỏi “độ bao phủ quốc tế rộng nhất có thể”, trong khi ngay trên cùng trang ấy, “ngôn ngữ của tạp chí là tiếng Anh”.

Cái giá của sự sắp đặt này không hề là giả định. Khảo sát 908 nhà khoa học môi trường, Amano và các cộng sự nhận thấy người không nói tiếng Anh bản ngữ mất nhiều hơn tới 51% thời gian để viết một bài báo, bị từ chối nhiều gấp 2,5 lần và bị yêu cầu sửa nhiều gấp 12,5 lần, chỉ vì lý do ngôn ngữ ( ). Thứ thuế ấy được thu trước khi bất kỳ chính sách AI nào ra đời; tờ khai và những lời đe dọa kèm theo là một cuộc kiểm toán chồng thêm lên trên.

Fin d’empire

Chủ nghĩa đơn ngữ là tiên đề không ai đem ra bàn. Đó là một di sản đế quốc, theo thời gian khoác thêm một lý do thực tiễn: dịch thuật chậm và tốn kém, và không ban biên tập nào thẩm định nổi thứ mình không đọc được. Thế nhưng chẳng lý lẽ nào trong số đó trụ được trước những tiến bộ của dịch máy. Dịch máy tiên tiến nhất hiện nay có thể dùng làm một tầng trung gian đáng tin cậy giữa tác giả và ban biên tập.

Lối thoát lý tưởng là ở con người: học giả nên đọc được nhiều hơn một ngôn ngữ. Thay vì thế, các đại học Anh ngữ lại thích đóng cửa khoa ngoại ngữ. Xin lưu ý rằng những vụ đóng cửa này là hiện tượng Anh-Mỹ: học giả ở nơi khác chưa bao giờ có được cái xa xỉ của sự đơn ngữ. Và xin lưu ý thời điểm. Đóng cửa một khoa ngôn ngữ là đặt cược rằng tiếng Anh đã thắng vĩnh viễn, và rằng sẽ không bao giờ còn thứ gì đáng đọc được viết bằng ngôn ngữ nào khác. Canh bạc ấy được đặt đúng vào thời điểm sai lầm nhất, và sai gấp đôi. Thứ nhất, vì dịch máy lần đầu tiên cho phép bỏ hẳn ngôn ngữ chung; thứ hai, vì trật tự từng đưa tiếng Anh lên làm mặc định đang lùi dần: thế giới Anh ngữ đang quay vào trong, toàn cầu hóa đang thoái trào, tự do thương mại bị tranh cãi ngay tại quê hương của nó, và một thế giới đa cực đang thành hình, nơi số ngôn ngữ đáng đọc sẽ nhân lên. Các đại học đang đào tạo ra những học giả chỉ đọc tiếng Anh cho một thế giới mà tiếng Anh sẽ không còn đủ. Ban biên tập sẽ là những người đầu tiên thừa hưởng mất mát đó.

Một phép thử cho ban biên tập

Khi một ban biên tập than rằng không nghe được giọng văn thực của tác giả, có lẽ một phần vấn đề nằm ở chính ban biên tập.

Đó là một lời buộc tội nghiêm trọng, và nó đi kèm một phép thử nghiêm túc. Progress in Human Geography có chịu bình duyệt một bản thảo viết bằng tiếng Pháp, tiếng Ý hay tiếng Nhật, kèm bản dịch máy sang tiếng Anh không? Hướng dẫn của chính tạp chí đã công nhận các dịch vụ “dịch thuật” khiến điều đó khả thi. Một tiếng “có” chấm dứt vấn đề. Một tiếng “không” sẽ cho ta biết chính sách này thực ra bảo vệ cái gì.

Dù thế nào, lựa chọn thuộc về ban biên tập. Nếu giọng văn quan trọng như họ nói, tạp chí nên nhận bài bằng thứ tiếng mà tác giả tư duy. Nếu không, thì tờ khai nên bỏ đi, và những lời đe dọa cũng vậy.

tei-mcp v0.3: Mã hóa TEI mà không viết lại văn bản gốc

Tue, 05 May 2026 00:00:00 +0000

Khi , mục tiêu của tôi là chặn các trợ lý AI bịa ra thẻ đánh dấu TEI. Neo vào lược đồ đã giải quyết được một phần vấn đề: có trong tay quyền truy cập trực tiếp, qua công cụ, vào đặc tả P5, mô hình không còn phải đoán một phần tử nghĩa là gì hay nhận những thuộc tính nào. Đầu ra vượt qua kiểm định.

Thế nhưng trong mã hóa TEI, bịa đặt có hai bộ mặt, và lược đồ chỉ bắt được một. Kiểm định theo đặc tả cho bạn biết thẻ đánh dấu có đúng dạng hay không. Nó chẳng nói gì về văn bản mà thẻ ấy bao bọc. Mà chính ở đó – ở bản thân văn bản – mới là nơi trú ngụ của những bịa đặt tai hại hơn. Ghép khóa theo đoạn, tính năng chủ đạo của v0.3, được thiết kế riêng để ngăn chặn chúng.

Mục Lục

Thứ bịa đặt mà lược đồ không bắt được

Hãy yêu cầu một mô hình mã hóa một lá thư tiếng Pháp thế kỷ XVI: bạn thường sẽ nhận về một tài liệu TEI trông hoàn hảo. Phần đầu được điền đầy đủ, các thẻ <persName> đặt đúng chỗ, <dateline> đúng dạng. Chạy qua validate_document – đạt.

Rồi đem so phần thân với văn bản gốc.

mesme đã biến thành même. Một dấu phẩy đã đổi chỗ. luy bị lặng lẽ hiện đại hóa thành lui. Một mệnh đề khó đọc trong bản thảo được “sửa” thành thứ gì đó gọn gàng hơn. Không thay đổi nào trong số này được yêu cầu. Không thay đổi nào được báo. Tài liệu hợp lệ theo lược đồ, và sai một cách lặng lẽ.

Với quy trình lưu trữ – nơi văn bản đã mã hóa trở thành bản ghi vĩnh viễn mà người đọc, chỉ mục tìm kiếm và trích dẫn sau này đều dựa vào – đây chính là kiểu thất bại đáng lo nhất. Một thẻ sai dạng thì gây bực mình. Một chính tả bị hiện đại hóa mà năm năm sau chẳng ai nhận ra thì là văn bản đã bị làm hỏng.

Ghép khóa theo đoạn

Bản phát hành mới (v0.3) đi kèm một cơ chế chống bịa đặt nhắm thẳng vào kiểu thất bại này. Mục tiêu thiết kế là làm cho việc bịa đặt phần thân văn bản trở thành bất khả ngay từ cấu trúc, chứ không chỉ là khó xảy ra.

Ý tưởng rất đơn giản: mô hình không bao giờ gõ phần thân văn bản.

Thay vào đó, quy trình diễn ra như sau:

Mô hình gọi get_source("letter_001") và nhận về văn bản gốc thuần dưới dạng một chuỗi bất biến.
Với mỗi thẻ muốn áp dụng, nó gọi tag_span("letter_001", start, end, element_path, attrs) – đăng ký một phần tử TEI tại một khoảng ký tự trên văn bản gốc.
Xong việc, nó gọi compose("letter_001"). Máy chủ đan các thẻ đã ghi nhận vào văn bản gốc, kết xuất tài liệu TEI cuối cùng, rồi kiểm tra từng byte một rằng nội dung văn bản phẳng của tài liệu vừa kết xuất bằng đúng văn bản gốc.

Nếu các byte khớp, tài liệu được trả về. Nếu không – nếu các thẻ của mô hình, vì lý do nào đó, hàm ý một phần thân khác với bản gốc dù chỉ một ký tự – compose() sẽ báo lỗi thay vì trả về một tài liệu đã bị hỏng.

Không có lối nào trong quy trình này để mô hình tạo ra một tài liệu TEI mà phần thân khác với văn bản gốc. Bất biến này mang tính cơ học, không phải tính hành vi. Bạn không cần tin rằng mô hình sẽ không bịa; bạn chỉ cần tin vào một phép so sánh == giữa hai chuỗi byte.

Nó là gì, và không phải là gì

Ghép khóa theo đoạn bổ sung cho việc neo vào lược đồ, chứ không thay thế nó. Các công cụ neo lược đồ (validate_document, lookup_element, valid_children, cùng phần còn lại của mười sáu công cụ ban đầu) giúp mô hình tạo ra TEI hợp lệ. Ghép khóa theo đoạn bảo đảm phần thân văn bản bên trong TEI ấy trung thành với bản gốc. Một quy trình mã hóa có thể triển khai thực sự phải thỏa mãn cả hai trục, và giờ đây cả hai đều được một máy chủ duy nhất đảm đương.

Nó cũng không phải là liều thuốc tiên chữa bách bệnh. compose() chưa kiểm tra xem các thẻ đã đăng ký có được phép theo một bản tùy biến ODD đã nạp hay không – đó là việc của bước tiếp theo. Các thẻ đã ghi nhận nằm trong bộ nhớ tiến trình và không sống sót qua một lần khởi động lại. Và các tệp gốc phải đọc được từ nơi máy chủ chạy. Tất cả đều có thể khắc phục; không điều nào làm lung lay bất biến cốt lõi.

Vì sao điều này quan trọng vượt ra ngoài TEI

Mẫu hình này có thể khái quát hóa. Bất cứ khi nào ta yêu cầu một mô hình chú giải, biến đổi hay bao bọc một đoạn văn bản – và bất cứ khi nào tính toàn vẹn của văn bản gốc quan trọng hơn khả năng “cải thiện” nó của mô hình – thì cùng một dạng giải pháp đều áp dụng được. Đừng bắt mô hình gõ lại văn bản. Hãy bắt nó đưa ra chỉ dẫn trên văn bản, rồi để một bộ ghép tất định áp dụng các chỉ dẫn ấy dưới một bất biến về đẳng thức.

Riêng với ấn bản kỹ thuật số, điều này thay đổi những gì bạn có thể giao cho mô hình một cách có trách nhiệm. Mã hóa bỗng trở thành công việc có thể ủy thác mà không phải tự tay so từng đầu ra với bản gốc. Máy đi con đường tẻ nhạt; người biên tập duyệt thẻ đánh dấu, chứ không duyệt chính tả.

Cập nhật

Nếu bạn đã cài tei-mcp:

uvx tei-mcp@latest

Hoặc cài mới:

pip install tei-mcp

Để dùng ghép khóa theo đoạn, hãy trỏ máy chủ tới một thư mục chứa các tệp văn bản gốc thuần:

export TEI_MCP_SPAN_SOURCE_ROOT=/path/to/sources
uvx tei-mcp

Phần gốc của tên mỗi tệp trở thành mã tài liệu (letter_001.txt → letter_001).

Mã nguồn, tài liệu đầy đủ và ghi chú thiết kế về bất biến:

Một kiểu ấn bản kỹ thuật số khác

Tue, 24 Mar 2026 00:00:00 +0000

Phần lớn nguồn sử liệu gốc chẳng bao giờ được công bố. Mô hình mà chúng ta trông cậy để khắc phục điều đó – ấn bản kỹ thuật số sống nhờ tài trợ – thì quá đắt đỏ, quá tập trung và quá mong manh để có thể nhân rộng. Tôi vừa đăng giải thích vì sao mình xây dựng ấn bản phê bình thư từ của Cavriana theo một cách khác: nguồn sử liệu gốc được số hóa và lớn dần lên một cách tự nhiên, với hạ tầng tối thiểu, bảo trì tự động, mở cửa cho cộng tác, và rẻ đến mức chẳng cần đến tài trợ nào. Đó là lời biện hộ cho một thứ nhân văn số vận hành được bất kể có hay không có sự hậu thuẫn của thiết chế.

tei-mcp: TEI P5 cho tác tử AI

Sun, 15 Mar 2026 00:00:00 +0000

Nếu đã từng nhờ một trợ lý lập trình AI viết TEI XML, hẳn bạn nhận ra nó hay sai. Phần tử mọc ở chỗ không được phép. Thuộc tính thì bịa ra. Quy tắc lồng ghép bị bỏ qua. Mô hình chỉ có một ý niệm đại khái về hình dáng của TEI, chứ không nắm chắc đặc tả.

tei-mcp giải quyết chuyện này bằng cách cho tác tử AI truy cập trực tiếp, qua công cụ, vào Hướng dẫn TEI P5.

Mục Lục

MCP là gì?

(MCP) là một chuẩn mở cho phép các ứng dụng AI kết nối với nguồn dữ liệu và công cụ bên ngoài. Hãy hình dung nó như cổng USB của AI: một giao thức duy nhất để bất kỳ ứng dụng khách tương thích nào – Claude, Cursor, Windsurf và những cái khác – cắm vào các dịch vụ chuyên biệt.

Một máy chủ MCP cung cấp những công cụ mà AI có thể gọi ngay trong lúc trò chuyện. Thay vì dựa vào dữ liệu huấn luyện đã ghi nhớ, mô hình có thể tra hỏi một nguồn sống, có thẩm quyền.

tei-mcp làm gì

tei-mcp phân tích đặc tả ODD của TEI P5 và cung cấp 16 công cụ, bao quát những câu hỏi thường gặp nhất của người biên tập hay người mã hóa:

Phần tử này là gì? Tra cứu bất kỳ phần tử, lớp, macro hay mô-đun nào theo tên, không phân biệt hoa thường, kèm gợi ý khi gõ nhầm.
Nó nhận những thuộc tính nào? Phân giải thuộc tính xuyên suốt toàn bộ hệ phân cấp lớp – thuộc tính cục bộ trước, rồi đến thuộc tính kế thừa theo thứ tự.
Bên trong nó chứa được gì? Khai triển mô hình nội dung thành cây có cấu trúc, hoặc lấy danh sách phẳng các phần tử con hợp lệ.
Phần tử này đặt ở đây được không? Kiểm tra quan hệ cha–con, hoặc lần theo khả năng đạt tới qua toàn bộ hệ phân cấp phần tử.
Tài liệu của tôi có hợp lệ không? Kiểm định một tệp TEI XML theo đặc tả: mô hình nội dung, giá trị thuộc tính, danh sách giá trị đóng, tính toàn vẹn của tham chiếu, và cảnh báo về phần tử đã lỗi thời.
Còn lược đồ riêng của dự án tôi thì sao? Nạp một tệp tùy biến ODD để giới hạn tất cả những gì kể trên vào tập con TEI riêng của dự án bạn.

Vì sao điều này quan trọng

Mã hóa TEI đòi hỏi tra cứu Hướng dẫn không ngừng. Người mã hóa lão luyện thuộc lòng những mẫu thông dụng nhất, nhưng ngay cả họ cũng phải giở đặc tả khi gặp phần tử ít quen hay mô hình nội dung phức tạp. Với trợ lý AI, vốn chẳng có chút hiểu biết thuộc lòng nào như thế, vấn đề còn tệ hơn: chúng bịa ra thứ đánh dấu trông có vẻ hợp lý mà thực ra sai.

Có tei-mcp, AI không còn phải đoán. Nó có thể tra câu trả lời trong đặc tả trước khi viết ra dù chỉ một dấu ngoặc nhọn. Kết quả là thứ đánh dấu tuân thủ TEI P5 – hoặc tuân thủ bản tùy biến ODD của dự án bạn.

Bắt đầu

Cài từ PyPI:

pip install tei-mcp

Rồi thêm vào cấu hình của ứng dụng khách MCP:

{
 "mcpServers": {
 "tei": {
 "command": "uvx",
 "args": ["tei-mcp"]
 }
 }
}

Máy chủ tải đặc tả TEI về trong lần chạy đầu tiên và hoạt động với mọi ứng dụng khách tương thích MCP.

Mã nguồn và tài liệu đầy đủ:

Địa lý cảm nhận về vùng Levante

Sat, 29 Oct 2022 10:02:52 -0500

Mở đầu

Levante là một nơi chốn khó nắm bắt. Thường được định nghĩa trong tương quan – hay đối lập – với một lãnh thổ khác, nghĩa của nó hiếm khi ổn định, gợi lên những địa lý khác nhau tùy nơi và tùy thời người ta dùng từ ấy. Song nếu khó lòng đưa ra một định nghĩa khách quan và chính xác, ta vẫn có thể hy vọng vẽ nên một tấm bản đồ chủ quan của vùng đất này, dựa trên những tương quan tồn tại bên trong một kho ngữ liệu nhất định. Nói cách khác: với một nhóm độc giả cụ thể, Levante gợi lên không gian nào?
Trong bài này, tôi sẽ chỉ cho bạn cách dùng dữ liệu từ của Medici Archive Project để trực quan hóa những địa điểm cụ thể mà địa danh ấy gắn liền.

Cơ sở dữ liệu MIA

Cơ sở dữ liệu MIA là một nền tảng cộng tác dành cho những học giả muốn tải lên và chia sẻ ảnh chụp tư liệu lưu trữ của mình từ . Trong năm qua, dưới sự bảo trợ của , nhóm chúng tôi đã chụp, chuyển tự, tóm tắt và phân loại hàng nghìn tài liệu thuộc phần avvisi của phông Mediceo del Principato tại Firenze. Cơ sở dữ liệu này vốn không được xây dựng cho mục đích phân tích thống kê, nhưng siêu dữ liệu chúng tôi công bố vẫn có thể tải về và dùng làm tập dữ liệu.

Tập dữ liệu

Trong trường hợp này, tập dữ liệu tôi tạo ra bao quát mọi tin tức từ Levante trong khoảng 1543–1566, tức là từ bản avviso đầu tiên được ghi nhận trong kho lưu trữ đến năm Sultan băng hà. Dưới đây là một mẫu dữ liệu tôi trích từ máy chủ. Dữ liệu gồm ba cột: số hiệu tài liệu duy nhất, một địa danh, và một ngày tháng.

57386 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3
57386 Modon / Messinias, Nomos / Peloponnisos / Ellas 1565-1-3
57386 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3
57386 Evvoia / Evvoias, Nomos / Sterea Ellas-Evvoia / Ellas 1565-1-3
57386 Venetian Republic / Italia / Europe / World 1565-1-3
57386 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3
57386 Black Sea / Asia / World / Top of the TGN hierarchy 1565-1-3
57389 Otranto / Lecce / Puglia / Italia 1565-1-3
57389 Nisoi Aiyaiou / Ellas / Europe / World 1565-1-3
57389 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3
57389 Buda / Budapest / Budapest / Magyarorszag 1565-1-3
57389 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3
57389 Kipros / Asia / World / Top of the TGN hierarchy 1565-1-3
57389 Rodhos / Rodos, Nisos / Sporadhes / Nisoi Aiyaiou 1565-1-3
57389 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3
57389 Çorlu / Thraki / Ellas / Europe 1565-1-3

Làm sạch dữ liệu

Để trực quan hóa, ta cần làm cho dữ liệu này đọc được dưới dạng csv (giá trị phân cách bằng dấu phẩy). Ta cũng cần chuyển thông tin địa lý ở đây sang một định dạng “thân thiện với máy” hơn: tọa độ GPS. Vì tập dữ liệu chứa hàng trăm dòng, tốt hơn là tự động hóa việc này. Có thể làm khá nhanh và khá chính xác bằng các mô hình ngôn ngữ tiền huấn luyện như , hay , chỉ kể vài cái tên. Song thao tác này cần được giám sát chặt, bởi mô hình ngôn ngữ tiền huấn luyện có đôi chút thói quen bịa chuyện.

documentId,latitude,longitude,documentDate
57386,35.899167,14.514167,1565-1-3
57386,37.05,22.116667,1565-1-3
57386,31.200028,29.918719,1565-1-3
57386,38.366667,23.666667,1565-1-3
57386,45.438333,12.331333,1565-1-3
57386,41.018611,28.984444,1565-1-3
57386,42.7,18.8,1565-1-3
57389,40.216667,18.166667,1565-1-3
57389,37.966667,23.716667,1565-1-3
57389,35.899167,14.514167,1565-1-3
57389,47.4925,19.051389,1565-1-3
57389,31.200028,29.918719,1565-1-3
57389,34.916667,33.616667,1565-1-3
57389,36.405419,28.227778,1565-1-3
57389,41.018611,28.984444,1565-1-3
57389,41.133333,27.416667,1565-1-3

Bản đồ mật độ.

Bản đồ mật độ là kiểu trực quan hóa làm nổi bật tần suất một địa điểm được nhắc đến trong một tập dữ liệu. Nó đặc biệt hữu ích không chỉ để hiểu phạm vi địa lý của dữ liệu, mà còn để thấy các tiêu điểm của nó. Nơi nào trên bản đồ được nhắc đến nhiều hơn? Nơi nào chỉ thoáng qua? Trung tâm ở đâu, và ngoại vi xa đến đâu? Sự chú ý của người đọc nhiều khả năng dồn vào chỗ nào trên bản đồ?

Cho thử nghiệm này – và vì đang vội – tôi dùng một trong các API của . Nhưng nhiều thư viện trực quan hóa và hệ thống thông tin địa lý cũng cho phép bạn tạo ra cùng loại bản đồ mật độ này.

Vài nhận xét

Kết quả giống một bức tranh ấn tượng hơn là sự thể hiện chính xác của một khái niệm có thể định nghĩa rõ ràng, và đó chính là điều tôi thích ở thử nghiệm này. Thật vậy, khoa học dữ liệu có thể là đồng minh đắc lực của các ngành nhân văn, nhưng ta không nhất thiết phải tuân theo luật chơi của nó.

Một khía cạnh thú vị khác: tấm bản đồ cho thấy một Levante hòa nhập hoàn toàn với phần còn lại của châu Âu và Địa Trung Hải. Nó cũng làm nổi bật vị trí trung tâm của Edirne trong địa lý chính trị của Đế quốc Ottoman. Hơn nữa, thành phố Tây Ban Nha quan trọng nhất trên bản đồ chẳng phải Madrid hay Escorial, mà là Napoli. Sau cùng nhưng không kém phần quan trọng, các đảo và những thành bang nhỏ như Ragusa dường như giữ vai trò trung gian đáng kể giữa các thế lực trong vùng.

Cách yêu cầu dữ liệu từ MIA

MIA là một công cụ cộng tác xuất sắc cho giới nghiên cứu, nhưng dữ liệu nó lưu trên máy chủ không dễ tiếp cận. Chẳng hạn, phần back-end của nó không được công bố trong kho công khai nào. Dù vậy, bạn vẫn có thể lấy dữ liệu bằng cách đăng ký tài khoản MIA rồi gửi yêu cầu tới máy chủ bằng Python.

Yêu cầu

url = "https://mia.medici.org/Mia/json/de/advancedsearch/advancedSearchResults/0/90/docYear/asc/?isNewsFeedSearch=False"
payload = [{"searchSection":"archivalLocationSearch","type":"archivalLocationAdvancedSearch","isActiveFilter":True,"repository":None,"collection":"Mediceo del Principato","series":None,"volume":"2863","insert":None},{"searchSection":"categoryAndTypologySearch","type":"categoryAndTypologyAdvancedSearch","isActiveFilter":True,"category":"News","typology":None},{"searchSection":"transcriptionSearch","type":"transcriptionAdvancedSearch","isActiveFilter":False,"transcription":""},{"isActiveFilter":False,"searchSection":"synopsisSearch","type":"synopsisAdvancedSearch","synopsis":""},{"searchSection":"placesSearch","type":"placesAdvancedSearch","isActiveFilter":False,"places":[]},{"searchSection":"peopleSearch","type":"peopleAdvancedSearch","isActiveFilter":False,"people":[]},{"searchSection":"topicsSearch","type":"topicsAdvancedSearch","isActiveFilter":True,"topics":[{"topicTitle":"Place Index","topicId":"51","placeAllId":""}]},{"searchSection":"dateSearch","type":"dateAdvancedSearch","isActiveFilter":False,"dateFilterType":"","dateYear":"","dateMonth":"","dateDay":"","dateBYear":"","dateBMonth":"","dateBDay":""},{"searchSection":"documentOwnerSearch","type":"documentOwnerAdvancedSearch","isActiveFilter":False,"editType":"owner","account":""},{"searchSection":"languagesSearch","type":"languagesAdvancedSearch","isActiveFilter":False,"languages":[]}]
headers = {'Content-type': 'application/json', 'Accept': '*/*'}
r = requests.post(url, data=json.dumps(payload), headers=headers, auth=('LOGIN','PASSWORD'))

Nhớ thay LOGIN và PASSWORD bằng thông tin đăng nhập của bạn.

Ghi phản hồi ra tệp

with open('response.json', 'wb') as fd:
 for chunk in r.iter_content(chunk_size=128):
 fd.write(chunk)

Mở JSON

f = open('response.json', encoding="utf8")

Trả về đối tượng JSON dưới dạng từ điển

json_complete = json.load(f)

Chọn dữ liệu từ JSON và in ra ở định dạng CSV

with open('results.csv', 'w', newline='') as csvfile:
 fieldnames = ['documentId', 'placeCited', 'documentDate']
 writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
 writer.writeheader()
 for i in json_complete['data']:
 if i['topics'] != None:
 for x in i['topics']:
 documentId=x['documentId']
 placeCited=x['topicPlaceName']
 year=i['date']['docYear']
 month=i['date']['docMonth']
 day=i['date']['docDay']
 documentDate=str(year)+ "-" + str(month)+"-" + str(day)
 writer.writerow({'documentId': documentId, 'placeCited': placeCited, 'documentDate': documentDate})

Sau khi tải về tệp results.csv, bạn có thể tiến hành làm sạch dữ liệu như đã giải thích ở trên.

Phân tích thư mục quy mô lớn bằng mô hình ngôn ngữ tiền huấn luyện

Thu, 07 Jul 2022 19:04:14 +0200

Tự động hóa là chìa khóa để hạ chi phí của các dự án nhân văn số. Cho đến nay, những công việc lặp đi lặp lại và tẻ nhạt của khâu biên tập trong môi trường học thuật hoặc do các học giả vốn đã quá tải gánh vác với giá đắt, hoặc được “khoán” cho sinh viên. Trong , tôi lập luận rằng phần lớn những việc bạc bẽo ấy không những có thể mà còn nên được tự động hóa. Tự động hóa khâu biên tập làm giảm tổng chi phí của các dự án nhân văn số. Quan trọng hơn cả, nó cho phép học giả ở những vùng thu nhập thấp công bố tài liệu quý một cách nhanh chóng và vừa túi tiền.

Trong , tôi đã cho thấy, chẳng hạn, mô hình ngôn ngữ tiền huấn luyện có thể đảm nhận phần lớn công việc gắn nhãn XML của một ấn bản kỹ thuật số.

Trong bài này, tôi trình bày ví dụ thứ hai, lần này với thư mục.

Vấn đề

Lập một cơ sở dữ liệu thư mục từ các tài liệu tham khảo được nhắc đến trong một bài báo học thuật là chuyện khá đơn giản. Ta có thể tra nhanh trên một mục lục như , tải tài liệu tham khảo về theo một định dạng nhất định, hoặc nhập tự động từ cơ sở dữ liệu cục bộ. Cách này ổn với một hai bài báo. Nhưng quá một số lượng tài liệu tham khảo nào đó, công việc trở nên khó nhằn và ngốn thời gian. Để khắc phục, ta có thể dùng các thuật toán phân tích như . Thế nhưng những thuật toán ấy có thể khó mở rộng quy mô. Khi tôi dùng anystyle để chuyển đổi hơn 150 tiểu luận học thuật trong của chúng tôi, số lỗi tích tụ lại đơn giản là không thể kiểm soát nổi. Nó không nhận ra đúng nhiều nguồn của chúng tôi – chẳng hạn nhầm những nhan đề dài dằng dặc của sách đầu thời cận đại thành thứ gì khác – và cũng không nhận ra những tài liệu ít điển hình hơn, như một trang web cụ thể, một video trực tuyến, v.v. Trình phân tích chạy tốt với điều kiện tác giả tuân thủ răm rắp quy tắc của một chuẩn quen thuộc như Chicago, Turabian hay MLA. Hễ chệch khỏi chuẩn là có lỗi.

Giải pháp

Đây là chỗ mô hình ngôn ngữ tiền huấn luyện có thể giúp sức, bởi chúng nắm bắt rất nhanh quy luật của bất kỳ kiểu trích dẫn thư mục nào , kể cả kiểu do chính bạn nghĩ ra, và chỉ cần vài ví dụ là chuyển đổi được đúng đắn một khối lượng lớn thư mục đã định dạng thành một .

Đầu năm 2021, tôi may mắn được tiếp cận sớm của OpenAI. Codex là mô hình cho phép người dùng dịch ngôn ngữ tự nhiên sang mã và ngược lại. OpenAI tuyên bố nó thành thạo hơn chục ngôn ngữ lập trình; và dù API của nó, vào lúc tôi viết bài này, vẫn ở dạng beta, nó đã vận hành những ứng dụng phổ biến như của GitHub.

Sau khi vọc API này một hồi, tôi nhận ra nó cũng làm việc rất tốt với thứ mã đơn giản hơn như BibTeX.

Và thực tế, tôi chỉ cần dùng bốn ví dụ trong câu lệnh đầu vào là mọi thứ chạy ổn định.

Câu lệnh đầu vào

References: Bayle, Ariane. “Patients exemplaires: la correspondance médicale de Fioravanti.” In Vulgariser la médecine. Du style médical en France et en Italie, edited by Andrea Carlino and Michel Jeanneret, 181–212. Geneva: Droz, 2009.

Berns, Andrew D. The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth. Cambridge: Cambridge University Press, 2015.

Gabler, Hans Walter. “Theorizing the Digital Scholarly Edition.” Literature Compass 7, no. 2 (2010): 43–56. .

Findlen, Paula. Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy. Berkeley: University of California Press, 1994.

@incollection{bayle2009,
 author = {Bayle, Ariane},
 booktitle = {Vulgariser la médecine. Du style médical en France et en Italie},
 title = {Patients exemplaires: la correspondance médicale de Fioravanti},
 editor = {Carlino, Andrea and Michel Jeanneret},
 year = {2009},
 address = {Geneva},
 publisher = {Droz},
 langid = {french}
}
@book{berns2015,
 title = {The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth},
 author = {Berns, Andrew D.},
 address = {Cambridge},
 publisher = {Cambridge University Press},
 langid = {english},
 date = {2015}
}
@article{gabler2010,
 author = {Gabler, Hans Walter},
 title = {Theorizing the Digital Scholarly Edition},
 journal = {Literature Compass},
 volume = {7},
 number = {2},
 pages = {43-56},
 doi = {10.1111/j.1741-4113.2009.00675.x},
 langid = {english},
 year = {2010}
}
@book{findlen1994,
 title = {Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy},
 author = {Findlen, Paula},
 address = {Berkeley},
 publisher = {University of California Press},
 langid = {english},
 date = {1994}
}

Kết quả

thật ấn tượng: hơn 2.000 tài liệu tham khảo được chuyển đổi chỉ trong vài ngày. Cách này không chỉ tái hiện chính xác mẫu hình trong câu lệnh đầu vào của tôi, mà còn thêm đúng những loại mục và loại trường không hề có trong câu lệnh ấy. Nói cách khác, GPT-3 nói BibTeX trôi chảy như tiếng mẹ đẻ. Và có lẽ đáng ngạc nhiên hơn đối với một mô hình chủ yếu được huấn luyện bằng tiếng Anh: nó nhận ra tất cả các ngôn ngữ (Nga, Pháp, Ý, Latinh, Hy Lạp, Đức, Tây Ban Nha, v.v.) và lần nào cũng thêm đúng trường langid.

Lưu ý

GPT-3 hiện bị giới hạn về kích thước đầu vào và đầu ra: nó chỉ xử lý được tối đa 2.048 token ngôn ngữ. Một khi giới hạn này được gỡ bỏ, cùng công việc ấy có lẽ chỉ mất một giờ hoặc ít hơn.

Khá bất ngờ, GPT-3 còn bổ sung thông tin không có trong tài liệu tham khảo gốc.

Baillot, Anne, and Anna Busch. “Editing for Man and Machine.” In Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting, Vol. 13. Variants (Journal of the European Society for Textual Scholarship). Leicester, 2015.

Với tài liệu tham khảo này chẳng hạn, GPT-3 đã thêm đường dẫn cố định tới kho truy cập mở ( ) nơi có thể đọc bài báo, kể cả các trường đặc thù HAL_ID và HAL_VERSION do kho HAL đặt ra:

@inproceedings{baillot2015,
 title = {Editing for Man and Machine},
 author = {Baillot, Anne and Busch, Anna},
 year = 2015,
 booktitle = {Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting},
 address = {Leicester},
 series = {Variants (Journal of the European Society for Textual Scholarship)},
 volume = 13,
 editor = {Bruhn, Siglinde and Schreiber, Manfred},
 langid = {english},
 hal_id = {halshs-01233380},
 hal_version = {v1}
}

Những bổ sung này cho thấy GPT-3 không chỉ phân tích tài liệu tham khảo, mà còn hoàn thiện nó dựa trên những gì đã học từ trước. Về điểm này, sẽ thú vị nếu xem nó có hành xử tương tự với những tài liệu ra đời sau thời điểm huấn luyện GPT-3 hay không…

Hạn chế

Tuy nhiên, GPT-3 không hoàn hảo. Nó cần có người giám sát. Một trong những hạn chế đã biết của nó là (hallucination): đôi khi nó tự sáng tác và đưa ra những phỏng đoán khó tin.

Trong thử nghiệm của tôi, cơn lú lẫn của GPT-3 lộ rõ khi nó tự ý đổi họ một tác giả từ “Ruscelli” thành “Ruscello”. Về mặt kỹ thuật, đây không hẳn là lỗi, vì họ người Ý đầu thời cận đại có thể dùng ở dạng số nhiều hay số ít không phân biệt. Nhưng quy ước ngày nay là họ ở dạng nào thì giữ nguyên dạng ấy. Ngày nay chẳng ai gọi Machiavelli là Machiavello, cũng như ta phải dùng tên Rossello chứ không phải Rosselli. GPT-3 bỏ qua quy ước này vì thiếu ý thức về niên đại chăng? Hay vì nó phỏng đoán dựa trên những họ lân cận, mà ở phần thư mục này tình cờ đều ở dạng số ít (Bariletto, Cesano, Rossello)? Ai mà biết được.

@book{rossello1565,
 title = {Della summa de’ secreti universali},
 author = {Rossello, Timoteo},
 address = {Venice},
 publisher = {Giovanni Bariletto},
 langid = {italian},
 date = {1565}
}
@book{ruscello1559,
 title = {La seconda parte de’ secreti del Reverendo Donno Alessio Piemontese},
 author = {Ruscello, Girolamo},
 address = {Pesaro},
 publisher = {Bartolomeo Cesano},
 langid = {italian},
 date = {1559}
}

Kết luận

Được viết ra trong bốn năm cộng tác miệt mài, hơn 150 tiểu luận không chỉ cung cấp thông tin thiết yếu về bản thảo mà chúng tôi đã biên tập và dịch, mà còn chứa những thông tin thư mục quý giá.

Gom các tài liệu tham khảo ấy vào một cơ sở dữ liệu cho phép người biên tập đổi định dạng thư mục trong nháy mắt, linh hoạt hơn trong cách trình bày thông tin theo ý mình. Cơ sở dữ liệu này còn cho biết nhiều điều về ấn bản và về dự án đã làm nên nó, mở ra những hướng phân tích mới cho giới nghiên cứu. Một cơ sở dữ liệu như thế có thể được hoàn thành với độ chính xác cao và trong thời gian kỷ lục.

Đành rằng vẫn có thể lọt vài lỗi, nhất là do thói bịa đặt của GPT-3. Song các thế hệ mô hình ngôn ngữ tiền huấn luyện sau này sẽ làm dịu bớt vấn đề ấy.

Tự động hóa đánh dấu trong ấn bản học thuật kỹ thuật số

Mon, 22 Nov 2021 18:15:00 +0000

Mở đầu

Làm sao xây dựng ấn bản học thuật kỹ thuật số mà không phải dốc cạn ngân quỹ? Trong bài này, bài đầu tiên của loạt bài về biên tập hiệu quả, tôi đánh giá xem các mô hình ngôn ngữ tiền huấn luyện có thể đóng vai trò gì trong việc tự động hóa các công việc biên tập, chẳng hạn như đánh dấu ngữ nghĩa.

Mục Lục

Vấn đề

Một công trình của tình yêu

Đã yêu thì chẳng ai tính toán thiệt hơn… tục ngữ xưa bảo vậy. Với ấn bản học thuật kỹ thuật số, điều ấy càng đúng: chuyển tự, dịch thuật và chú giải trong quá trình xây dựng chúng ngốn hàng nghìn giờ lao động, và như trường hợp của , do hàng trăm cộng tác viên trình độ cao đảm nhận.

Xét ở một mặt, việc những dự án nhân văn số có tiếng có thể huy động được khoản tiền khổng lồ cần thiết để vận hành là một điều may. Thế nhưng, dựa dẫm quá nhiều vào sự hào phóng của các quỹ giàu có, các trường đại học và cơ quan chính phủ, cộng với nhu cầu nhân lực lớn kéo dài, không phải là một mô hình kinh tế khả thi cho tương lai.

Thực vậy, nếu muốn khuyến khích học giả khắp nơi trên thế giới đưa tài liệu lịch sử đến với công chúng rộng rãi hơn, thì chi phí của ấn bản phê bình kỹ thuật số phải giảm đi nhiều bậc .

Một ngưỡng cửa cao

Nghe có vẻ nghịch lý, nhưng giải pháp có thể đến từ chính những dự án tốn nhiều công sức như , bởi chúng là một tập huấn luyện quý giá để tự động hóa một số công việc khó nhằn và lặp đi lặp lại nhất của biên tập kỹ thuật số, chẳng hạn như đánh dấu.

Không phải đánh dấu là chuyện không đáng kể. Trái lại, đánh dấu đã trở thành thành phần không thể thiếu của bất kỳ dự án học thuật kỹ thuật số nghiêm túc nào. Được chuẩn hóa, nó cho phép ta ghi lại càng nhiều càng tốt các khía cạnh của tài liệu và của văn bản mà tài liệu ấy chuyển tải: cấu trúc, ghi chú bên lề, đoạn bị xóa, dị bản, loại giấy, vết ố, nét chữ… muốn gì có nấy.

Ví dụ sau đây, trích từ , cho thấy đánh dấu làm giàu văn bản bằng thông tin bổ sung ra sao (hạng mục, cấu trúc, trường ngữ nghĩa, đoạn bị xóa, v.v.), và rốt cuộc đem lại cho ấn bản kỹ thuật số một lợi thế đáng kể so với tổ tiên bằng giấy của chúng.

Plain Text XML Markup

Plain Text	XML Markup
`Pour rompre grenades et donner violence aux artifices de foeu Mects parmy la pouldre et la sixiesme partye dicelle de vif argent`	`<div id="p008r_2" categories="arms and armor"> <head>Pour rompre <wp>grenades</wp> et donner<lb/> violence aux <wp>artifices de foeu</wp></head> <ab>Mects parmy la <m>pouldre</m> <del><ms>six fois autant</ms> de <m>vif argent</m></del><lb/> <del>et</del> <ms>la sixiesme partye</ms> dicelle de <m>vif argent</m></ab> </div>`

Pour rompre grenades et donner
violence aux artifices de foeu

Mects parmy la pouldre et la sixiesme
partye dicelle de vif argent

<div id="p008r_2" categories="arms and armor">
<head>Pour rompre <wp>grenades</wp> et donner<lb/>
violence aux <wp>artifices de foeu</wp></head>
<ab>Mects parmy la <m>pouldre</m>
<del><ms>six fois autant</ms> de
<m>vif argent</m></del><lb/>
<del>et</del> <ms>la sixiesme partye</ms>
 dicelle de <m>vif argent</m></ab>
</div>

Thông tin này không chỉ quý cho mục đích lưu trữ, mà như tôi đã chỉ ra trong những dịp trước, còn quý cho mục đích tổng hợp và phân tích. Dẫu vậy, kiểu chú giải này có thể cực kỳ tốn thời gian, vì cùng một văn bản thường phải có mặt dưới nhiều dạng khác nhau: bản dịch, bản chuyển tự, bản hiện đại hóa, v.v.

Giải pháp

Transformer: con đường đơn giản nhất đến tự động hóa?

Năm 2020, rầm rộ công bố họ mô hình ngôn ngữ đa dụng quy mô lớn mới nhất của mình, gọi là GPT-3, viết tắt của “Generative Pre-trained Transformer 3”. Transformer là một đột phá khá gần đây của trí tuệ nhân tạo. Chúng học nhiệm vụ mới với tốc độ ấn tượng, chỉ bằng cách đọc một câu lệnh (prompt) và xem qua một số rất ít ví dụ. Chúng cũng có thể được huấn luyện thêm bằng một tập dữ liệu chuyên biệt (tinh chỉnh – fine-tuning), qua đó cải thiện độ trễ và độ chính xác. Vì lẽ đó, người ta nói GPT-3 và các transformer tương tự là những – kẻ học từ vài ví dụ.

OpenAI tuyên bố GPT-3 chứa con số kỷ lục 175 tỷ tham số, được huấn luyện trên hơn 570 GB văn bản, phần lớn là tài liệu tiếng Anh có lẽ lấy từ . Nhờ kích thước khổng lồ ấy, GPT-3 đã đặt ra chuẩn mực mới trong lĩnh vực này, thực hiện ngay lập tức đủ loại nhiệm vụ với độ chân thực đáng lo ngại. Nó viết nghe rất có lý, trong phòng chat, , , dịch tài liệu, giải thích thuật ngữ chuyên môn, v.v.

Được tiếp cận sớm API của OpenAI từ tháng 5 năm 2021, tôi đã có dịp thử nghiệm khả năng của mô hình trong một số nhiệm vụ vốn được xem là khó: dịch thơ Pháp và văn bản tân Latinh sang tiếng Anh, giải thích phép loại suy, thậm chí giản lược Quyển 4 của Groundwork for a Metaphysics of Morals (Kant) cho một đứa trẻ bảy tuổi (dù chưa thật thuyết phục).

Codex

Một trong những bước phát triển mới nhất của GPT-3 nhắm vào ngôn ngữ máy tính. Mang tên Codex, mô hình này dịch ngôn ngữ tự nhiên sang ngôn ngữ lập trình và ngược lại. Chẳng hạn, nếu tôi cần một biểu thức chính quy để “chỉ tìm những từ bắt đầu bằng chữ in hoa”, GPT-3 lập tức dịch nó thành một biểu thức chính quy chạy được: [A-Z]+\w+.

OpenAI tuyên bố Codex làm việc được với khoảng chục ngôn ngữ lập trình, trong đó có Python, JavaScript, Go, Perl, PHP, Ruby và Swift. Bằng cách chuyển mã giả thành mã thật một cách liền mạch, Codex cho phép người ta tập trung không phải vào cú pháp rườm rà của một ngôn ngữ lập trình, mà vào các bước logic và chiến lược giúp ứng dụng giải quyết vấn đề.

Ngoài OpenAI

Dĩ nhiên, OpenAI không phải tay chơi duy nhất. Như đã nói, Viện Hàn lâm Trí tuệ Nhân tạo Bắc Kinh năm 2021 đã công bố một mô hình còn lớn hơn và mạnh hơn, gọi là Wu Dao 2. Nvidia và Microsoft bắt tay tạo ra mô hình mang cái tên rất hợp cảnh Megatron-Turing NLG 530B. Những công ty khởi nghiệp nhỏ hơn như và cũng cung cấp API cho công chúng. Đáng nhắc đến nữa là các sáng kiến mã nguồn mở như . Cảnh quan AI dĩ nhiên biến chuyển rất nhanh; để theo dõi các sáng kiến mới trong lĩnh vực, hãy xem .

Các thử nghiệm

Lưu ý

Mục tiêu của các thử nghiệm này là tìm ra con đường tiết kiệm nhất để tự động hóa các công việc biên tập một cách đáng tin cậy. Có thể có người cho rằng một số việc trong đó cũng tự động hóa được bằng thuật toán học có giám sát. Chúng ta sẽ xem xét giả thuyết ấy trong một bài sau.

Một transformer như GPT-3 có thể học cách chú giải, chẳng hạn, một bản thảo kỹ thuật và khoa học thế kỷ XVI không?

Thử nghiệm 1 – Phân loại văn bản.

Bắt đầu bằng thứ tương đối đơn giản. Là “kẻ học từ vài ví dụ”, GPT-3 hẳn phải nhanh chóng hiểu được nhóm biên tập của chúng tôi đã phân loại các mục trong Ms Fr 640 như thế nào.

Thiết kế câu lệnh

Để huấn luyện, tôi dùng một câu lệnh tối giản và chọn bốn mục ngắn ở dạng văn bản thuần làm ví dụ, gồm một mục về “y học”, “vũ khí và áo giáp” và “hội họa”.

Kiểm tra

Rồi tôi chép vào một đoạn khác, không nằm trong chuỗi ban đầu:

Working neatly
Never put down, if you can, two colors one on top of the other.
But next, having made your design carefully, keep the place of shadows for them alone,
& also separately that of lights & highlights, without layering one color all over & then highlighting or else shading on it.
And in this way, you further your work, economize your colors & work neatly.
Which is the reason that, the colors not being muddled nor mixed together, they do not die & you soften the colors better, since they are not so thick.

Kết quả hoàn toàn khớp với nội dung:

<categories="painting">

Nếu thử với một mục thuộc hạng mục thậm chí không có trong bộ văn bản ban đầu dùng để huấn luyện GPT-3, kết quả thật bất ngờ.

<categories="jewelry">

Kết quả

Hạng mục “jewelry” (nữ trang) không tồn tại trong ấn bản Ms. Fr. 640 của chúng tôi. Nhóm biên tập hạng mục rộng hơn là “Stones” (đá). Dù vậy, trực giác của GPT-3 là tốt, và cho thấy chỉ cần huấn luyện thêm chút nữa, nó có thể học cách phân loại bất kỳ mục nào của Ms. Fr. 640, thậm chí cả các văn bản kỹ thuật thế kỷ XVI tương tự.

Thử nghiệm 2 – Đánh dấu ngữ nghĩa

Nâng thanh xà lên cao hơn một chút. Nếu transformer như GPT-3 học được cách phân loại văn bản theo những tiêu chí biên tập cụ thể, liệu chúng có nhận diện được một phần thẻ đánh dấu của văn bản không?

Lưu ý

Secrets of Craft and Nature dùng nhãn ngữ nghĩa và nhãn cấu trúc. Tiếc là GPT-3 không xử lý được hình ảnh, khác với các dự án như . Nhiều khả năng các phiên bản GPT sau này sẽ có năng lực đó, vốn cần thiết để nhận ra phần lớn các khía cạnh cấu trúc và vật chất của một tài liệu. Ta sẽ bỏ qua những thẻ ấy và tập trung vào loại đánh dấu không đòi hỏi nhận dạng hình ảnh.

Thiết kế câu lệnh

Thẻ ngữ nghĩa bao gồm tham chiếu đến động vật, thực vật, địa danh, cảm giác, v.v. Trong câu lệnh huấn luyện, tôi chọn vài ví dụ từ ấn bản:

<!--Input prompt-->
The following is a list of words and their corresponding semantic tags

cannons: <wp>cannons</wp>
powder: <m>powder</m>
flasks: <tl>flasks</tl>
wooden: <m>wooden</m>
iron: <m>iron</m>
parchment: <m>parchment</m>
goats: <al>goats</al>
lambs: <al>lambs</al>
leather: <m>leather</m>
earth: <m>earth</m>
fine fatty earth: <m>fine fatty earth</m>
Venice: <pl>Venice</pl>
Flemish: <pl>Flemish</pl>
almond: <pa>almond</pa>
almond oil: <m><pa>almond</pa> oil</m>
walnuts skin: <m><pa>walnuts</pa> skin</m>
molten lead: <m>molten lead</m>
today: <tmp>today</tmp>
In the past: <tmp>In the past</tmp>
Clockmakers: <pro>Clockmakers</pro>
red copper: <m>red copper</m>
crucible: <tl>crucible</tl>
bellows: <tl>bellows</tl>
charcoal: <m>charcoal</m>
founders: <pro>founders</pro>

Kiểm tra

Thử vài từ dễ với mô hình Davinci-codex, như Apothecary, smoke, glassmakers, latten và snake. Kết quả tức thì và không một lỗi:

<!--Output-->
Apothecary: <pro>Apothecary</pro>
smoke: <m>smoke<m>
glassmakers: <pro>glassmakers</pro>
latten: <m>latten</m>
snake: <al>snake</al>

Bài kiểm tra khó hơn dùng từ ghép, như copper plates, walnut oil và wood block. Mục đích là xem GPT-3 có xử lý đúng các thẻ lồng nhau hay không.

<!--Output-->
copper plates: <m>copper plates</m>
walnut oil: <m><pa>walnut</pa> oil</m>
wood block: <m>wood block</m>

Kết quả lần này nửa được nửa không: Davinci-codex chỉ gắn nhãn đúng walnut oil, còn bỏ sót các thẻ lồng tl và m trong copper plates và wood block. Tuy nhiên, như bài kiểm tra tiếp theo dưới đây cho thấy, những lỗi này có thể giảm bớt bằng một câu lệnh huấn luyện tốt hơn. Sau khi thêm năm ví dụ nữa về thẻ lồng nhau, Davinci-codex trả về kết quả gần như hoàn hảo, chỉ sai một chỗ (oil paintbrushes):

<!--Output-->
cannon powder: <m><wp>cannon</wp> powder</m>
arquebus powder: <m><wp>arquebus</wp> powder</m>
oil paintbrushes: <m><al>oil</al> paintbrushes</m>
sheep footbones: <m><al>sheep</al> footbones</m>
bronze mortar: <tl><m>bronze</m> mortar</tl>

Kết luận

Cần nhớ rằng các bài kiểm tra này được thực hiện trên những mẩu văn bản ngắn. Tôi ngờ rằng nếu cung cấp nhiều ngữ cảnh hơn trong ví dụ và trong câu lệnh, các mô hình GPT-3 sẽ cho kết quả còn tốt hơn nữa. Hơn thế, tinh chỉnh mô hình bằng những tập huấn luyện chuyên biệt chắc chắn sẽ nâng độ chính xác gắn nhãn lên thêm.
Dẫu các thử nghiệm này còn cần được tiến hành ở quy mô lớn hơn để chứng minh độ tin cậy của mô hình ngôn ngữ tiền huấn luyện, ta vẫn có thể kết luận rằng cách tiếp cận này cho phép người biên tập tự động hóa nhiều công việc chú giải chỉ qua vài bước đơn giản, và qua đó có thể tiết kiệm rất nhiều thời gian lẫn tiền bạc.

Trực quan hóa bản thảo 2 (cập nhật)

Sat, 20 Nov 2021 16:00:00 +0000

Như đã hứa, đây là phiên bản mới của sơ đồ cây tương tác đã giới thiệu trong , lần này có hai chế độ xem.

Lưu ý

Để xem tốt nhất, hãy chắc rằng trang web đang ở chế độ Sáng (nhấp vào biểu tượng mặt trăng ở góc trên bên phải).

Group folios by category

Một trình duyệt trực quan cho kho lưu trữ

Sun, 20 Jun 2021 16:00:00 +0000

Vấn đề

Ấn bản kỹ thuật số mang trong mình một nghịch lý: chúng đưa những tài liệu ít người biết đến tới công chúng rộng rãi, nhưng khi tài liệu bị phi vật chất hóa, người đọc mất đi các kênh cảm nhận quen thuộc, dễ mất phương hướng, thậm chí nản lòng trước nội dung. Duyệt qua những kho tài liệu đồ sộ vì thế trở nên nặng nề và đáng ngại. Điều này không chỉ đúng với người chưa quen nghiên cứu lưu trữ, mà cả với những độc giả gặp khó khăn về nhận thức.

Giải pháp

Đây là chỗ siêu dữ liệu lưu trữ phát huy tác dụng. Từ những dữ liệu ấy, ta có thể tạo ra các hình ảnh trừu tượng tương tác, đem lại cho người đọc một kênh cảm nhận khác, vừa tiện dụng hơn vừa dễ tiếp cận hơn. Để kho lưu trữ có thể duyệt bằng mắt, một sơ đồ cây (treemap) – hay bất kỳ sơ đồ nào phân tách hiệu quả dữ liệu phân cấp – là đủ.

Thử nghiệm

Thử nghiệm đầu tiên của tôi phỏng theo mã của D3.js, có bổ sung siêu liên kết. Sơ đồ biểu diễn bản thảo BnF Ms Fr 640, các tờ của nó, và các mục trong từng tờ. Màu sắc thể hiện hạng mục chiếm ưu thế. Rê chuột lên mỗi mục sẽ hiện thêm dữ liệu, kể cả siêu liên kết dẫn tới bản thảo.
Nhờ vậy, sơ đồ cây trở thành một mục lục trực quan tương tác, cho người đọc một cái nhìn tổng quan rất nhanh và linh hoạt, không chỉ về nội dung bản thảo mà còn về kích thước của từng tờ, từng mục.
~~Trong những tháng tới, tôi sẽ tiếp tục thử nghiệm ý tưởng này với các sơ đồ và hệ phân cấp khác… Xin hãy đón xem!~~ Để xem phiên bản mới của sơ đồ cây, nhấp vào .

Lưu ý

Để xem tốt nhất, hãy chắc rằng trang web đang ở chế độ Sáng (nhấp vào biểu tượng mặt trăng ở góc trên bên phải).

Click any cell to zoom in, or the top to zoom out.

Kho lưu trữ trong một cái nhìn

Mon, 24 May 2021 16:00:00 +0000

Vấn đề

Kho lưu trữ lịch sử có thể hỗn độn đến phát nản. Phông Mediceo del Principato tại là một ví dụ điển hình. Chỉ một phần nhỏ của phông này được lập mục lục; vô số tài liệu nằm rải rác trong hơn 6.500 tập mà chẳng theo lý do nào rõ rệt. Đã vậy, kho lưu trữ chỉ cho phép mỗi người đọc một số lượng tập hạn chế (ở đây người ta gọi là filze). Bình thường, giới hạn là 4 filze mỗi ngày. Nhưng trong thời đại dịch, con số ấy tụt xuống còn 4 filze mỗi hai tuần. Không có mục lục chi tiết, quy mô đồ sộ của kho lưu trữ buộc nhà nghiên cứu phải nghĩ ra chiến lược để nhanh chóng tìm được thứ mình cần.

Giải pháp

Có người trông vào may rủi; người khác thì cố đoán cho có căn cứ dựa vào niên đại, người nhận, người gửi, nguồn gốc của phông lưu trữ, ngôn ngữ, v.v. Song nếu nhìn tất cả các biến ấy cùng một lúc, ta có thể phát hiện những quy luật bất ngờ trong cấu trúc của kho lưu trữ và đoán trúng hơn. Kinh nghiệm của tôi cho thấy: siêu dữ liệu mà nhà nghiên cứu thường gom vào bảng tính, một khi được vẽ thành đồ thị, giúp người ta nắm tình hình trong kho lưu trữ tốt hơn hẳn.

Thử nghiệm

Nghiên cứu hiện tại của tôi xoay quanh thư từ của một điệp viên thế kỷ XVI. Thư của ông nằm rải rác trong hàng trăm filze. Chúng được viết dưới nhiều danh tính khác nhau, gửi cho nhiều người nhận khác nhau – đôi khi khá bất ngờ – từ nhiều nơi khác nhau, v.v. Để tìm ra những filze nhiều khả năng chứa thư cần tìm, tôi đã dựng một bảng điều khiển: một ứng dụng web trực quan hóa dữ liệu tương tác ( ) kết nối đủ loại dữ liệu, trong đó có thông tin địa lý và niên đại, với một sơ đồ phân cấp ( ) của phông lưu trữ. Chỉ liếc qua bảng điều khiển, tôi biết ngay những gì đã tìm thấy, chúng chiếm tỷ lệ bao nhiêu, và đại khái nên tìm thư mới ở đâu. Hơn nữa, nhấp vào một biến cụ thể là mọi sơ đồ đều cập nhật để hiển thị các tương quan tương ứng.

Bước tiếp theo

Có lẽ quan trọng hơn cả: bảng điều khiển này có thể được dùng lại như một mục lục trực quan. Khi ấn bản phê bình của những lá thư này được công bố trực tuyến, bảng điều khiển sẽ là một lối vào khác, từ đó người đọc có thể duyệt qua dữ liệu. Vì lý do bảo mật, hiện tôi chỉ có thể đưa ra một ảnh chụp màn hình đã che bớt, nhưng sang năm tôi sẽ công bố bảng điều khiển hoàn chỉnh. Trong lúc chờ đợi, một bản mẫu sẽ sớm ra mắt. Xin hãy đón xem!

Trực quan hóa đánh dấu ngữ nghĩa trong BnF Ms. Fr. 640

Sun, 20 Dec 2020 18:15:00 +0000

Tổng quan

Những ấn bản học thuật giàu dữ liệu chứa các chú giải biên tập quý giá mà ta có thể trích xuất, phân tích và trực quan hóa cho đủ loại mục đích nghiên cứu. Đó là trường hợp của , ra mắt năm 2020, với tệp siêu dữ liệu có thể tải về từ kho GitHub của dự án. Trong bài này, tôi chỉ cách gom tất cả các biến ấy vào một ma trận tương quan và trực quan hóa chúng theo nhiều cách khác nhau.

Dữ liệu

Making and Knowing Project tạo ra một bảng tính chứa thông tin cập nhật về nội dung bản thảo: entry_metadata.csv. Tệp này lấy được từ của Making & Knowing. Ngoài ra, ta có thể tự tạo các tệp .csv theo ý mình, với nhiều thẻ đánh dấu hơn, nhờ xuất sắc của Matthew Kumar – một phiên bản Python của BnF Ms. Fr. 640.

Thiết lập Python

Ta sẽ dùng Pandas để xử lý dữ liệu, Matplotlib và seaborn cho bản đồ nhiệt, và cuối cùng là NetworkX để tạo mạng lưới dựa trên tương quan.
Với loại biến này, ta tránh phương pháp Pearson và dùng phương pháp 𝜙𝐾 thay thế. Hãy chắc rằng bạn đã phương pháp tương quan này và PhiK, thư viện tương ứng của nó.

#install packages
pip install phik

# import modules
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import networkx as nx

Chuẩn bị dữ liệu

Trước hết, tải tệp siêu dữ liệu mới nhất của ấn bản từ của họ, trong thư mục metadata. Ta chỉ chọn những cột cần thiết. Cho phần trình diễn này, tôi chọn tất cả thẻ ngữ nghĩa của bản dịch tiếng Anh tl, nhưng bạn cũng có thể chọn thẻ của bản chuyển tự tiếng Pháp tc, hoặc bản chuẩn hóa tcn. Dữ liệu ở dạng giá trị phân cách bằng dấu chấm phẩy, và ta cần Python đếm hộ. Ta sẽ dùng phương pháp stack-unstack với biểu thức chính quy [^;\s][^\;]*[^;\s]*. Để ma trận dễ đọc hơn, ta đổi tên từng cột. Nếu vội, bạn có thể bỏ qua bước này; chỉ cần nhớ rằng dataframe của ta ở giai đoạn này mang tên tagsrn.

# load the edition's metadata
df = pd.read_csv('entry_metadata.csv')

# select the tags you want to correlate
dftags = df[['al_tl', 'bp_tl', 'cn_tl', 'df_tl', 'env_tl', 'm_tl', 'md_tl', 'ms_tl', 'mu_tl', 'pa_tl', 'pl_tl', 'pn_tl', 'pro_tl', 'sn_tl', 'tl_tl', 'tmp_tl', 'wp_tl', 'de_tl', 'el_tl', 'it_tl', 'la_tl', 'oc_tl', 'po_tl']]

# count comma separated values
tagcount = dftags.stack(dropna=False).str.count(r'[^;\s][^\;]*[^;\s]*').unstack()

# rename columns
tagsrn = tagcount.rename(columns={'al_tl': 'animals', 'bp_tl': 'body parts', 'cn_tl': 'currency', 'df_tl': 'definitions', 'env_tl': 'environment', 'm_tl': 'material', 'md_tl': 'medical', 'ms_tl': 'measurement', 'mu_tl': 'music', 'pa_tl': 'plant', 'pl_tl': 'toponym', 'pn_tl': 'person', 'pro_tl': 'profession', 'sn_tl': 'sensory', 'tl_tl': 'tool', 'tmp_tl': 'temporal', 'wp_tl': 'weapons', 'de_tl': 'German', 'el_tl': 'Greek', 'it_tl': 'Italian', 'la_tl': 'Italian', 'oc_tl': 'Occitan', 'po_tl': 'Poitevin'})

Tính tương quan

Khi dataframe đã sạch, ta chuyển sang tính hệ số tương quan giữa các biến. Ở bước này, điều cốt yếu là hiểu dữ liệu của mình và chọn đúng phương pháp tương quan thích hợp nhất. Gói pandas-profiling đặc biệt hữu ích cho việc đó.

# calculate correlation coefficient with the phi k method
cortag = tagsrn.phik_matrix()

cortag là ma trận tương quan của ta. Giờ có thể thử nhiều kiểu trực quan hóa khác nhau.

Trực quan hóa

Thứ đầu tiên đáng thử là hiển thị nó như một ma trận mã hóa bằng màu, dùng của seaborn.

Bản đồ nhiệt tương quan

f, ax = plt.subplots(figsize=(16, 14))
ax = sns.heatmap(cortag, linewidths=.03, vmin=0, cmap="Oranges", square=True)

Nếu quen văn bản, bạn sẽ thấy ngay bản đồ nhiệt này rất có lý. Chẳng hạn, tên người tương quan mạnh với tiếng Latinh, vì thời ấy – nhất là trong giới nhân văn chủ nghĩa thế kỷ XVI – người ta có thói quen Latinh hóa tên.

Có người sẽ bảo bản đồ nhiệt này chỉ nói lên điều hiển nhiên. Họ không hoàn toàn sai, và thoạt nhìn, các thẻ y học có vẻ là ví dụ điển hình: chúng tương quan, đúng như dự đoán, với bộ phận cơ thể, đơn vị đo lường và thực vật.

Nhưng đọc bản đồ nhiệt kỹ hơn, từng dòng một, ta có thể phát hiện những tương quan thú vị và bất ngờ. Việc các thẻ y học tương quan với từ tiếng Ý và tiếng Latinh, chẳng hạn, cho ta manh mối về nguồn gốc các bài thuốc trong Ms. Fr. 640. Tương tự, tương quan giữa nghề nghiệp, định nghĩa và đơn vị đo lường cho thấy căn tính nghề nghiệp định hình diễn ngôn kỹ thuật thế kỷ XVI đến mức nào.

Bản đồ cụm tương quan

Bản đồ nhiệt hữu ích trong bối cảnh “khám phá”, nhưng với người xem, chúng có thể hơi rối, nhất là khi bạn đang bàn về – hay vẫn đang tìm – những cụm ngữ nghĩa cụ thể trong bản thảo. Mô-đun clustermap của Seaborn có thể cho kết quả đáng chú ý.

clustermap = sns.clustermap(cortag, figsize=(12, 13), dendrogram_ratio=(.1, .2), vmin=0, cmap="Oranges", cbar_pos=(-.06, .12, .03, .68))

Ngoài chuyện trông như một con côn trùng bị vỡ điểm ảnh (pixelated – vâng, từ này có trong OED), bản đồ cụm phân biệt rõ các thẻ đứng lẻ (phía trên và bên trái) với những thẻ liên kết chặt chẽ hơn. Ta cũng nhận ra các cụm biệt lập, như âm nhạc và tiếng Poitevin (ai mà ngờ!), so với những cụm trung tâm hơn như đo lường, vật liệu, định nghĩa và vũ khí. Nghề nghiệp liên kết nhiều hơn, nhưng ít nhất trong ma trận tương quan cụ thể này, chúng không thuộc về một cụm riêng nào.

Mạng lưới tương quan

Nếu muốn cô đọng hơn nữa các tương quan trong ma trận, đồ thị mạng lưới là một giải pháp thanh nhã. Điều này đặc biệt đúng khi ta muốn truyền đạt về nội dung bản thảo.
Để làm vậy, ta cần biến ma trận thành danh sách các cạnh và nút, rồi định một ngưỡng để loại các tương quan yếu khỏi đồ thị.

# transform the data
links = cortag.stack().reset_index()
links.columns = ['var1', 'var2','value']

# threshold 
links_filtered = links.loc[(links['value'] > .6) & (links['var1'] != links['var2'])]
links_filtered

# create edges
G = nx.from_pandas_edgelist(links_filtered, 'var1', 'var2')

# draw network using Kamada & Kawai's algorithm 
plt.figure(3,figsize = (12,12))
nx.draw_kamada_kawai(G, with_labels = True, node_color = 'red', node_size = 400, edge_color = 'black', linewidths = 1, font_size = 14)

Nếu có quá nhiều cạnh và nút, bạn vẫn có thể đổi ngưỡng để được kết quả gọn hơn. Hoặc xuất đồ thị ra để nghịch trong Gephi, bằng hàm .write_gexf().

nx.write_gexf(G, 'graph.gexf')

Bạn có thể xem kết quả ở đầu bài viết này.

Cập nhật: Mạng lưới có trọng số dạng vòng

Tôi đang tìm cách hiển thị ma trận tương quan dưới dạng mạng lưới có trọng số thì gặp cách tiếp cận thú vị này , và tôi phỏng theo nó cho tập dữ liệu của chúng ta ở đây.

# create graph weighted by correlation coefficients (unfiltered)
Gx = nx.from_pandas_edgelist(links, 'var1', 'var2', edge_attr=['value'])

# determine a threshold to remove some edges
threshold = 0.4

# list to store edges to remove
remove = []

# loop through edges in Gx and find correlations which are below the threshold
for var1, var2 in Gx.edges():
 corr = Gx[var1][var2]['value']
 #add to remove node list if abs(corr) < threshold
 if abs(corr) < threshold:
 remove.append((var1, var2))

# remove edges contained in the remove list
Gx.remove_edges_from(remove)

print(str(len(remove)) + ' edges removed')

Sau khi bỏ bớt vài cạnh, ta có thể định màu sắc và độ dày cho chúng.

# determine the colors of edges
def assign_colour(correlation):
 if correlation <= 0.8:
 return '#ff872c' # orange
 else:
 return '#f11d28' # red


def assign_thickness(correlation, benchmark_thickness=3, scaling_factor=3):
 return benchmark_thickness * abs(correlation)**scaling_factor


def assign_node_size(degree, scaling_factor=50):
 return degree * scaling_factor

Ta cũng cho các nút một kích thước tỷ lệ với số kết nối của chúng.

# assign node size depending on number of connections (degree)
node_size = []
for key, value in dict(Gx.degree).items():
 node_size.append(assign_node_size(value))

Kết quả là một đồ thị có trọng số chấp nhận nhiều nút hơn và nhiều cạnh hơn hẳn, mà vẫn dễ đọc và giàu thông tin.