Nghiên Cứu Hiện Tại |

The Spy Who Wished Them Well

Sun, 12 Dec 2021 00:00:00 +0000

Thông tin chi tiết sẽ sớm được cập nhật.

Tự động hóa đánh dấu trong ấn bản học thuật kỹ thuật số

Mon, 22 Nov 2021 18:15:00 +0000

Mở đầu

Làm sao xây dựng ấn bản học thuật kỹ thuật số mà không phải dốc cạn ngân quỹ? Trong bài này, bài đầu tiên của loạt bài về biên tập hiệu quả, tôi đánh giá xem các mô hình ngôn ngữ tiền huấn luyện có thể đóng vai trò gì trong việc tự động hóa các công việc biên tập, chẳng hạn như đánh dấu ngữ nghĩa.

Mục Lục

Vấn đề

Một công trình của tình yêu

Đã yêu thì chẳng ai tính toán thiệt hơn… tục ngữ xưa bảo vậy. Với ấn bản học thuật kỹ thuật số, điều ấy càng đúng: chuyển tự, dịch thuật và chú giải trong quá trình xây dựng chúng ngốn hàng nghìn giờ lao động, và như trường hợp của , do hàng trăm cộng tác viên trình độ cao đảm nhận.

Xét ở một mặt, việc những dự án nhân văn số có tiếng có thể huy động được khoản tiền khổng lồ cần thiết để vận hành là một điều may. Thế nhưng, dựa dẫm quá nhiều vào sự hào phóng của các quỹ giàu có, các trường đại học và cơ quan chính phủ, cộng với nhu cầu nhân lực lớn kéo dài, không phải là một mô hình kinh tế khả thi cho tương lai.

Thực vậy, nếu muốn khuyến khích học giả khắp nơi trên thế giới đưa tài liệu lịch sử đến với công chúng rộng rãi hơn, thì chi phí của ấn bản phê bình kỹ thuật số phải giảm đi nhiều bậc .

Một ngưỡng cửa cao

Nghe có vẻ nghịch lý, nhưng giải pháp có thể đến từ chính những dự án tốn nhiều công sức như , bởi chúng là một tập huấn luyện quý giá để tự động hóa một số công việc khó nhằn và lặp đi lặp lại nhất của biên tập kỹ thuật số, chẳng hạn như đánh dấu.

Không phải đánh dấu là chuyện không đáng kể. Trái lại, đánh dấu đã trở thành thành phần không thể thiếu của bất kỳ dự án học thuật kỹ thuật số nghiêm túc nào. Được chuẩn hóa, nó cho phép ta ghi lại càng nhiều càng tốt các khía cạnh của tài liệu và của văn bản mà tài liệu ấy chuyển tải: cấu trúc, ghi chú bên lề, đoạn bị xóa, dị bản, loại giấy, vết ố, nét chữ… muốn gì có nấy.

Ví dụ sau đây, trích từ , cho thấy đánh dấu làm giàu văn bản bằng thông tin bổ sung ra sao (hạng mục, cấu trúc, trường ngữ nghĩa, đoạn bị xóa, v.v.), và rốt cuộc đem lại cho ấn bản kỹ thuật số một lợi thế đáng kể so với tổ tiên bằng giấy của chúng.

Plain Text XML Markup

Plain Text	XML Markup
`Pour rompre grenades et donner violence aux artifices de foeu Mects parmy la pouldre et la sixiesme partye dicelle de vif argent`	`<div id="p008r_2" categories="arms and armor"> <head>Pour rompre <wp>grenades</wp> et donner<lb/> violence aux <wp>artifices de foeu</wp></head> <ab>Mects parmy la <m>pouldre</m> <del><ms>six fois autant</ms> de <m>vif argent</m></del><lb/> <del>et</del> <ms>la sixiesme partye</ms> dicelle de <m>vif argent</m></ab> </div>`

Pour rompre grenades et donner
violence aux artifices de foeu

Mects parmy la pouldre et la sixiesme
partye dicelle de vif argent

<div id="p008r_2" categories="arms and armor">
<head>Pour rompre <wp>grenades</wp> et donner<lb/>
violence aux <wp>artifices de foeu</wp></head>
<ab>Mects parmy la <m>pouldre</m>
<del><ms>six fois autant</ms> de
<m>vif argent</m></del><lb/>
<del>et</del> <ms>la sixiesme partye</ms>
 dicelle de <m>vif argent</m></ab>
</div>

Thông tin này không chỉ quý cho mục đích lưu trữ, mà như tôi đã chỉ ra trong những dịp trước, còn quý cho mục đích tổng hợp và phân tích. Dẫu vậy, kiểu chú giải này có thể cực kỳ tốn thời gian, vì cùng một văn bản thường phải có mặt dưới nhiều dạng khác nhau: bản dịch, bản chuyển tự, bản hiện đại hóa, v.v.

Giải pháp

Transformer: con đường đơn giản nhất đến tự động hóa?

Năm 2020, rầm rộ công bố họ mô hình ngôn ngữ đa dụng quy mô lớn mới nhất của mình, gọi là GPT-3, viết tắt của “Generative Pre-trained Transformer 3”. Transformer là một đột phá khá gần đây của trí tuệ nhân tạo. Chúng học nhiệm vụ mới với tốc độ ấn tượng, chỉ bằng cách đọc một câu lệnh (prompt) và xem qua một số rất ít ví dụ. Chúng cũng có thể được huấn luyện thêm bằng một tập dữ liệu chuyên biệt (tinh chỉnh – fine-tuning), qua đó cải thiện độ trễ và độ chính xác. Vì lẽ đó, người ta nói GPT-3 và các transformer tương tự là những – kẻ học từ vài ví dụ.

OpenAI tuyên bố GPT-3 chứa con số kỷ lục 175 tỷ tham số, được huấn luyện trên hơn 570 GB văn bản, phần lớn là tài liệu tiếng Anh có lẽ lấy từ . Nhờ kích thước khổng lồ ấy, GPT-3 đã đặt ra chuẩn mực mới trong lĩnh vực này, thực hiện ngay lập tức đủ loại nhiệm vụ với độ chân thực đáng lo ngại. Nó viết nghe rất có lý, trong phòng chat, , , dịch tài liệu, giải thích thuật ngữ chuyên môn, v.v.

Được tiếp cận sớm API của OpenAI từ tháng 5 năm 2021, tôi đã có dịp thử nghiệm khả năng của mô hình trong một số nhiệm vụ vốn được xem là khó: dịch thơ Pháp và văn bản tân Latinh sang tiếng Anh, giải thích phép loại suy, thậm chí giản lược Quyển 4 của Groundwork for a Metaphysics of Morals (Kant) cho một đứa trẻ bảy tuổi (dù chưa thật thuyết phục).

Codex

Một trong những bước phát triển mới nhất của GPT-3 nhắm vào ngôn ngữ máy tính. Mang tên Codex, mô hình này dịch ngôn ngữ tự nhiên sang ngôn ngữ lập trình và ngược lại. Chẳng hạn, nếu tôi cần một biểu thức chính quy để “chỉ tìm những từ bắt đầu bằng chữ in hoa”, GPT-3 lập tức dịch nó thành một biểu thức chính quy chạy được: [A-Z]+\w+.

OpenAI tuyên bố Codex làm việc được với khoảng chục ngôn ngữ lập trình, trong đó có Python, JavaScript, Go, Perl, PHP, Ruby và Swift. Bằng cách chuyển mã giả thành mã thật một cách liền mạch, Codex cho phép người ta tập trung không phải vào cú pháp rườm rà của một ngôn ngữ lập trình, mà vào các bước logic và chiến lược giúp ứng dụng giải quyết vấn đề.

Ngoài OpenAI

Dĩ nhiên, OpenAI không phải tay chơi duy nhất. Như đã nói, Viện Hàn lâm Trí tuệ Nhân tạo Bắc Kinh năm 2021 đã công bố một mô hình còn lớn hơn và mạnh hơn, gọi là Wu Dao 2. Nvidia và Microsoft bắt tay tạo ra mô hình mang cái tên rất hợp cảnh Megatron-Turing NLG 530B. Những công ty khởi nghiệp nhỏ hơn như và cũng cung cấp API cho công chúng. Đáng nhắc đến nữa là các sáng kiến mã nguồn mở như . Cảnh quan AI dĩ nhiên biến chuyển rất nhanh; để theo dõi các sáng kiến mới trong lĩnh vực, hãy xem .

Các thử nghiệm

Lưu ý

Mục tiêu của các thử nghiệm này là tìm ra con đường tiết kiệm nhất để tự động hóa các công việc biên tập một cách đáng tin cậy. Có thể có người cho rằng một số việc trong đó cũng tự động hóa được bằng thuật toán học có giám sát. Chúng ta sẽ xem xét giả thuyết ấy trong một bài sau.

Một transformer như GPT-3 có thể học cách chú giải, chẳng hạn, một bản thảo kỹ thuật và khoa học thế kỷ XVI không?

Thử nghiệm 1 – Phân loại văn bản.

Bắt đầu bằng thứ tương đối đơn giản. Là “kẻ học từ vài ví dụ”, GPT-3 hẳn phải nhanh chóng hiểu được nhóm biên tập của chúng tôi đã phân loại các mục trong Ms Fr 640 như thế nào.

Thiết kế câu lệnh

Để huấn luyện, tôi dùng một câu lệnh tối giản và chọn bốn mục ngắn ở dạng văn bản thuần làm ví dụ, gồm một mục về “y học”, “vũ khí và áo giáp” và “hội họa”.

Kiểm tra

Rồi tôi chép vào một đoạn khác, không nằm trong chuỗi ban đầu:

Working neatly
Never put down, if you can, two colors one on top of the other.
But next, having made your design carefully, keep the place of shadows for them alone,
& also separately that of lights & highlights, without layering one color all over & then highlighting or else shading on it.
And in this way, you further your work, economize your colors & work neatly.
Which is the reason that, the colors not being muddled nor mixed together, they do not die & you soften the colors better, since they are not so thick.

Kết quả hoàn toàn khớp với nội dung:

<categories="painting">

Nếu thử với một mục thuộc hạng mục thậm chí không có trong bộ văn bản ban đầu dùng để huấn luyện GPT-3, kết quả thật bất ngờ.

<categories="jewelry">

Kết quả

Hạng mục “jewelry” (nữ trang) không tồn tại trong ấn bản Ms. Fr. 640 của chúng tôi. Nhóm biên tập hạng mục rộng hơn là “Stones” (đá). Dù vậy, trực giác của GPT-3 là tốt, và cho thấy chỉ cần huấn luyện thêm chút nữa, nó có thể học cách phân loại bất kỳ mục nào của Ms. Fr. 640, thậm chí cả các văn bản kỹ thuật thế kỷ XVI tương tự.

Thử nghiệm 2 – Đánh dấu ngữ nghĩa

Nâng thanh xà lên cao hơn một chút. Nếu transformer như GPT-3 học được cách phân loại văn bản theo những tiêu chí biên tập cụ thể, liệu chúng có nhận diện được một phần thẻ đánh dấu của văn bản không?

Lưu ý

Secrets of Craft and Nature dùng nhãn ngữ nghĩa và nhãn cấu trúc. Tiếc là GPT-3 không xử lý được hình ảnh, khác với các dự án như . Nhiều khả năng các phiên bản GPT sau này sẽ có năng lực đó, vốn cần thiết để nhận ra phần lớn các khía cạnh cấu trúc và vật chất của một tài liệu. Ta sẽ bỏ qua những thẻ ấy và tập trung vào loại đánh dấu không đòi hỏi nhận dạng hình ảnh.

Thiết kế câu lệnh

Thẻ ngữ nghĩa bao gồm tham chiếu đến động vật, thực vật, địa danh, cảm giác, v.v. Trong câu lệnh huấn luyện, tôi chọn vài ví dụ từ ấn bản:

<!--Input prompt-->
The following is a list of words and their corresponding semantic tags

cannons: <wp>cannons</wp>
powder: <m>powder</m>
flasks: <tl>flasks</tl>
wooden: <m>wooden</m>
iron: <m>iron</m>
parchment: <m>parchment</m>
goats: <al>goats</al>
lambs: <al>lambs</al>
leather: <m>leather</m>
earth: <m>earth</m>
fine fatty earth: <m>fine fatty earth</m>
Venice: <pl>Venice</pl>
Flemish: <pl>Flemish</pl>
almond: <pa>almond</pa>
almond oil: <m><pa>almond</pa> oil</m>
walnuts skin: <m><pa>walnuts</pa> skin</m>
molten lead: <m>molten lead</m>
today: <tmp>today</tmp>
In the past: <tmp>In the past</tmp>
Clockmakers: <pro>Clockmakers</pro>
red copper: <m>red copper</m>
crucible: <tl>crucible</tl>
bellows: <tl>bellows</tl>
charcoal: <m>charcoal</m>
founders: <pro>founders</pro>

Kiểm tra

Thử vài từ dễ với mô hình Davinci-codex, như Apothecary, smoke, glassmakers, latten và snake. Kết quả tức thì và không một lỗi:

<!--Output-->
Apothecary: <pro>Apothecary</pro>
smoke: <m>smoke<m>
glassmakers: <pro>glassmakers</pro>
latten: <m>latten</m>
snake: <al>snake</al>

Bài kiểm tra khó hơn dùng từ ghép, như copper plates, walnut oil và wood block. Mục đích là xem GPT-3 có xử lý đúng các thẻ lồng nhau hay không.

<!--Output-->
copper plates: <m>copper plates</m>
walnut oil: <m><pa>walnut</pa> oil</m>
wood block: <m>wood block</m>

Kết quả lần này nửa được nửa không: Davinci-codex chỉ gắn nhãn đúng walnut oil, còn bỏ sót các thẻ lồng tl và m trong copper plates và wood block. Tuy nhiên, như bài kiểm tra tiếp theo dưới đây cho thấy, những lỗi này có thể giảm bớt bằng một câu lệnh huấn luyện tốt hơn. Sau khi thêm năm ví dụ nữa về thẻ lồng nhau, Davinci-codex trả về kết quả gần như hoàn hảo, chỉ sai một chỗ (oil paintbrushes):

<!--Output-->
cannon powder: <m><wp>cannon</wp> powder</m>
arquebus powder: <m><wp>arquebus</wp> powder</m>
oil paintbrushes: <m><al>oil</al> paintbrushes</m>
sheep footbones: <m><al>sheep</al> footbones</m>
bronze mortar: <tl><m>bronze</m> mortar</tl>

Kết luận

Cần nhớ rằng các bài kiểm tra này được thực hiện trên những mẩu văn bản ngắn. Tôi ngờ rằng nếu cung cấp nhiều ngữ cảnh hơn trong ví dụ và trong câu lệnh, các mô hình GPT-3 sẽ cho kết quả còn tốt hơn nữa. Hơn thế, tinh chỉnh mô hình bằng những tập huấn luyện chuyên biệt chắc chắn sẽ nâng độ chính xác gắn nhãn lên thêm.
Dẫu các thử nghiệm này còn cần được tiến hành ở quy mô lớn hơn để chứng minh độ tin cậy của mô hình ngôn ngữ tiền huấn luyện, ta vẫn có thể kết luận rằng cách tiếp cận này cho phép người biên tập tự động hóa nhiều công việc chú giải chỉ qua vài bước đơn giản, và qua đó có thể tiết kiệm rất nhiều thời gian lẫn tiền bạc.

Trực quan hóa bản thảo 2 (cập nhật)

Sat, 20 Nov 2021 16:00:00 +0000

Như đã hứa, đây là phiên bản mới của sơ đồ cây tương tác đã giới thiệu trong , lần này có hai chế độ xem.

Lưu ý

Để xem tốt nhất, hãy chắc rằng trang web đang ở chế độ Sáng (nhấp vào biểu tượng mặt trăng ở góc trên bên phải).

Group folios by category

Kho lưu trữ trong một cái nhìn

Mon, 24 May 2021 16:00:00 +0000

Vấn đề

Kho lưu trữ lịch sử có thể hỗn độn đến phát nản. Phông Mediceo del Principato tại là một ví dụ điển hình. Chỉ một phần nhỏ của phông này được lập mục lục; vô số tài liệu nằm rải rác trong hơn 6.500 tập mà chẳng theo lý do nào rõ rệt. Đã vậy, kho lưu trữ chỉ cho phép mỗi người đọc một số lượng tập hạn chế (ở đây người ta gọi là filze). Bình thường, giới hạn là 4 filze mỗi ngày. Nhưng trong thời đại dịch, con số ấy tụt xuống còn 4 filze mỗi hai tuần. Không có mục lục chi tiết, quy mô đồ sộ của kho lưu trữ buộc nhà nghiên cứu phải nghĩ ra chiến lược để nhanh chóng tìm được thứ mình cần.

Giải pháp

Có người trông vào may rủi; người khác thì cố đoán cho có căn cứ dựa vào niên đại, người nhận, người gửi, nguồn gốc của phông lưu trữ, ngôn ngữ, v.v. Song nếu nhìn tất cả các biến ấy cùng một lúc, ta có thể phát hiện những quy luật bất ngờ trong cấu trúc của kho lưu trữ và đoán trúng hơn. Kinh nghiệm của tôi cho thấy: siêu dữ liệu mà nhà nghiên cứu thường gom vào bảng tính, một khi được vẽ thành đồ thị, giúp người ta nắm tình hình trong kho lưu trữ tốt hơn hẳn.

Thử nghiệm

Nghiên cứu hiện tại của tôi xoay quanh thư từ của một điệp viên thế kỷ XVI. Thư của ông nằm rải rác trong hàng trăm filze. Chúng được viết dưới nhiều danh tính khác nhau, gửi cho nhiều người nhận khác nhau – đôi khi khá bất ngờ – từ nhiều nơi khác nhau, v.v. Để tìm ra những filze nhiều khả năng chứa thư cần tìm, tôi đã dựng một bảng điều khiển: một ứng dụng web trực quan hóa dữ liệu tương tác ( ) kết nối đủ loại dữ liệu, trong đó có thông tin địa lý và niên đại, với một sơ đồ phân cấp ( ) của phông lưu trữ. Chỉ liếc qua bảng điều khiển, tôi biết ngay những gì đã tìm thấy, chúng chiếm tỷ lệ bao nhiêu, và đại khái nên tìm thư mới ở đâu. Hơn nữa, nhấp vào một biến cụ thể là mọi sơ đồ đều cập nhật để hiển thị các tương quan tương ứng.

Bước tiếp theo

Có lẽ quan trọng hơn cả: bảng điều khiển này có thể được dùng lại như một mục lục trực quan. Khi ấn bản phê bình của những lá thư này được công bố trực tuyến, bảng điều khiển sẽ là một lối vào khác, từ đó người đọc có thể duyệt qua dữ liệu. Vì lý do bảo mật, hiện tôi chỉ có thể đưa ra một ảnh chụp màn hình đã che bớt, nhưng sang năm tôi sẽ công bố bảng điều khiển hoàn chỉnh. Trong lúc chờ đợi, một bản mẫu sẽ sớm ra mắt. Xin hãy đón xem!

Trực quan hóa đánh dấu ngữ nghĩa trong BnF Ms. Fr. 640

Sun, 20 Dec 2020 18:15:00 +0000

Tổng quan

Những ấn bản học thuật giàu dữ liệu chứa các chú giải biên tập quý giá mà ta có thể trích xuất, phân tích và trực quan hóa cho đủ loại mục đích nghiên cứu. Đó là trường hợp của , ra mắt năm 2020, với tệp siêu dữ liệu có thể tải về từ kho GitHub của dự án. Trong bài này, tôi chỉ cách gom tất cả các biến ấy vào một ma trận tương quan và trực quan hóa chúng theo nhiều cách khác nhau.

Dữ liệu

Making and Knowing Project tạo ra một bảng tính chứa thông tin cập nhật về nội dung bản thảo: entry_metadata.csv. Tệp này lấy được từ của Making & Knowing. Ngoài ra, ta có thể tự tạo các tệp .csv theo ý mình, với nhiều thẻ đánh dấu hơn, nhờ xuất sắc của Matthew Kumar – một phiên bản Python của BnF Ms. Fr. 640.

Thiết lập Python

Ta sẽ dùng Pandas để xử lý dữ liệu, Matplotlib và seaborn cho bản đồ nhiệt, và cuối cùng là NetworkX để tạo mạng lưới dựa trên tương quan.
Với loại biến này, ta tránh phương pháp Pearson và dùng phương pháp 𝜙𝐾 thay thế. Hãy chắc rằng bạn đã phương pháp tương quan này và PhiK, thư viện tương ứng của nó.

#install packages
pip install phik

# import modules
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import networkx as nx

Chuẩn bị dữ liệu

Trước hết, tải tệp siêu dữ liệu mới nhất của ấn bản từ của họ, trong thư mục metadata. Ta chỉ chọn những cột cần thiết. Cho phần trình diễn này, tôi chọn tất cả thẻ ngữ nghĩa của bản dịch tiếng Anh tl, nhưng bạn cũng có thể chọn thẻ của bản chuyển tự tiếng Pháp tc, hoặc bản chuẩn hóa tcn. Dữ liệu ở dạng giá trị phân cách bằng dấu chấm phẩy, và ta cần Python đếm hộ. Ta sẽ dùng phương pháp stack-unstack với biểu thức chính quy [^;\s][^\;]*[^;\s]*. Để ma trận dễ đọc hơn, ta đổi tên từng cột. Nếu vội, bạn có thể bỏ qua bước này; chỉ cần nhớ rằng dataframe của ta ở giai đoạn này mang tên tagsrn.

# load the edition's metadata
df = pd.read_csv('entry_metadata.csv')

# select the tags you want to correlate
dftags = df[['al_tl', 'bp_tl', 'cn_tl', 'df_tl', 'env_tl', 'm_tl', 'md_tl', 'ms_tl', 'mu_tl', 'pa_tl', 'pl_tl', 'pn_tl', 'pro_tl', 'sn_tl', 'tl_tl', 'tmp_tl', 'wp_tl', 'de_tl', 'el_tl', 'it_tl', 'la_tl', 'oc_tl', 'po_tl']]

# count comma separated values
tagcount = dftags.stack(dropna=False).str.count(r'[^;\s][^\;]*[^;\s]*').unstack()

# rename columns
tagsrn = tagcount.rename(columns={'al_tl': 'animals', 'bp_tl': 'body parts', 'cn_tl': 'currency', 'df_tl': 'definitions', 'env_tl': 'environment', 'm_tl': 'material', 'md_tl': 'medical', 'ms_tl': 'measurement', 'mu_tl': 'music', 'pa_tl': 'plant', 'pl_tl': 'toponym', 'pn_tl': 'person', 'pro_tl': 'profession', 'sn_tl': 'sensory', 'tl_tl': 'tool', 'tmp_tl': 'temporal', 'wp_tl': 'weapons', 'de_tl': 'German', 'el_tl': 'Greek', 'it_tl': 'Italian', 'la_tl': 'Italian', 'oc_tl': 'Occitan', 'po_tl': 'Poitevin'})

Tính tương quan

Khi dataframe đã sạch, ta chuyển sang tính hệ số tương quan giữa các biến. Ở bước này, điều cốt yếu là hiểu dữ liệu của mình và chọn đúng phương pháp tương quan thích hợp nhất. Gói pandas-profiling đặc biệt hữu ích cho việc đó.

# calculate correlation coefficient with the phi k method
cortag = tagsrn.phik_matrix()

cortag là ma trận tương quan của ta. Giờ có thể thử nhiều kiểu trực quan hóa khác nhau.

Trực quan hóa

Thứ đầu tiên đáng thử là hiển thị nó như một ma trận mã hóa bằng màu, dùng của seaborn.

Bản đồ nhiệt tương quan

f, ax = plt.subplots(figsize=(16, 14))
ax = sns.heatmap(cortag, linewidths=.03, vmin=0, cmap="Oranges", square=True)

Nếu quen văn bản, bạn sẽ thấy ngay bản đồ nhiệt này rất có lý. Chẳng hạn, tên người tương quan mạnh với tiếng Latinh, vì thời ấy – nhất là trong giới nhân văn chủ nghĩa thế kỷ XVI – người ta có thói quen Latinh hóa tên.

Có người sẽ bảo bản đồ nhiệt này chỉ nói lên điều hiển nhiên. Họ không hoàn toàn sai, và thoạt nhìn, các thẻ y học có vẻ là ví dụ điển hình: chúng tương quan, đúng như dự đoán, với bộ phận cơ thể, đơn vị đo lường và thực vật.

Nhưng đọc bản đồ nhiệt kỹ hơn, từng dòng một, ta có thể phát hiện những tương quan thú vị và bất ngờ. Việc các thẻ y học tương quan với từ tiếng Ý và tiếng Latinh, chẳng hạn, cho ta manh mối về nguồn gốc các bài thuốc trong Ms. Fr. 640. Tương tự, tương quan giữa nghề nghiệp, định nghĩa và đơn vị đo lường cho thấy căn tính nghề nghiệp định hình diễn ngôn kỹ thuật thế kỷ XVI đến mức nào.

Bản đồ cụm tương quan

Bản đồ nhiệt hữu ích trong bối cảnh “khám phá”, nhưng với người xem, chúng có thể hơi rối, nhất là khi bạn đang bàn về – hay vẫn đang tìm – những cụm ngữ nghĩa cụ thể trong bản thảo. Mô-đun clustermap của Seaborn có thể cho kết quả đáng chú ý.

clustermap = sns.clustermap(cortag, figsize=(12, 13), dendrogram_ratio=(.1, .2), vmin=0, cmap="Oranges", cbar_pos=(-.06, .12, .03, .68))

Ngoài chuyện trông như một con côn trùng bị vỡ điểm ảnh (pixelated – vâng, từ này có trong OED), bản đồ cụm phân biệt rõ các thẻ đứng lẻ (phía trên và bên trái) với những thẻ liên kết chặt chẽ hơn. Ta cũng nhận ra các cụm biệt lập, như âm nhạc và tiếng Poitevin (ai mà ngờ!), so với những cụm trung tâm hơn như đo lường, vật liệu, định nghĩa và vũ khí. Nghề nghiệp liên kết nhiều hơn, nhưng ít nhất trong ma trận tương quan cụ thể này, chúng không thuộc về một cụm riêng nào.

Mạng lưới tương quan

Nếu muốn cô đọng hơn nữa các tương quan trong ma trận, đồ thị mạng lưới là một giải pháp thanh nhã. Điều này đặc biệt đúng khi ta muốn truyền đạt về nội dung bản thảo.
Để làm vậy, ta cần biến ma trận thành danh sách các cạnh và nút, rồi định một ngưỡng để loại các tương quan yếu khỏi đồ thị.

# transform the data
links = cortag.stack().reset_index()
links.columns = ['var1', 'var2','value']

# threshold 
links_filtered = links.loc[(links['value'] > .6) & (links['var1'] != links['var2'])]
links_filtered

# create edges
G = nx.from_pandas_edgelist(links_filtered, 'var1', 'var2')

# draw network using Kamada & Kawai's algorithm 
plt.figure(3,figsize = (12,12))
nx.draw_kamada_kawai(G, with_labels = True, node_color = 'red', node_size = 400, edge_color = 'black', linewidths = 1, font_size = 14)

Nếu có quá nhiều cạnh và nút, bạn vẫn có thể đổi ngưỡng để được kết quả gọn hơn. Hoặc xuất đồ thị ra để nghịch trong Gephi, bằng hàm .write_gexf().

nx.write_gexf(G, 'graph.gexf')

Bạn có thể xem kết quả ở đầu bài viết này.

Cập nhật: Mạng lưới có trọng số dạng vòng

Tôi đang tìm cách hiển thị ma trận tương quan dưới dạng mạng lưới có trọng số thì gặp cách tiếp cận thú vị này , và tôi phỏng theo nó cho tập dữ liệu của chúng ta ở đây.

# create graph weighted by correlation coefficients (unfiltered)
Gx = nx.from_pandas_edgelist(links, 'var1', 'var2', edge_attr=['value'])

# determine a threshold to remove some edges
threshold = 0.4

# list to store edges to remove
remove = []

# loop through edges in Gx and find correlations which are below the threshold
for var1, var2 in Gx.edges():
 corr = Gx[var1][var2]['value']
 #add to remove node list if abs(corr) < threshold
 if abs(corr) < threshold:
 remove.append((var1, var2))

# remove edges contained in the remove list
Gx.remove_edges_from(remove)

print(str(len(remove)) + ' edges removed')

Sau khi bỏ bớt vài cạnh, ta có thể định màu sắc và độ dày cho chúng.

# determine the colors of edges
def assign_colour(correlation):
 if correlation <= 0.8:
 return '#ff872c' # orange
 else:
 return '#f11d28' # red


def assign_thickness(correlation, benchmark_thickness=3, scaling_factor=3):
 return benchmark_thickness * abs(correlation)**scaling_factor


def assign_node_size(degree, scaling_factor=50):
 return degree * scaling_factor

Ta cũng cho các nút một kích thước tỷ lệ với số kết nối của chúng.

# assign node size depending on number of connections (degree)
node_size = []
for key, value in dict(Gx.degree).items():
 node_size.append(assign_node_size(value))

Kết quả là một đồ thị có trọng số chấp nhận nhiều nút hơn và nhiều cạnh hơn hẳn, mà vẫn dễ đọc và giàu thông tin.

Thư từ mật của Filippo Cavriana, 1568—1589.

Fri, 27 Dec 2019 00:00:00 +0000

Những lá thư mật của Filippo Cavriana là một chứng từ có một không hai về các cuộc chiến tranh tôn giáo Pháp: trong hơn hai mươi năm, chúng ghi lại các mưu đồ, trận đánh, cuộc thương thuyết và âm mưu đã làm nên nhịp sống của triều đình Pháp và xa hơn nữa.

Những lá thư ấy, hiện lưu tại , phần lớn nằm rải rác trong hàng trăm bó hồ sơ chưa lập mục lục – ở Florence người ta gọi là filze. Mấy năm qua, tôi đã tìm ra hàng chục lá thư mới, nhưng kiểu nghiên cứu lưu trữ này ngày càng gian nan. Khoảng cách địa lý với Florence, sự xuống cấp của một số dịch vụ công ở Ý, rồi đại dịch Covid-19, tất cả góp phần biến những dự án công bố như thế thành một quá trình dài lâu và bấp bênh.

Dẫu khó khăn chồng chất, công bố nguồn sử liệu gốc vẫn phải là một phần công việc của nhà sử học. Song hình thức của những công bố ấy có lẽ nên thay đổi. Chúng không những phải thích ứng với tình cảnh vừa mô tả, mà còn phải phản ánh đúng hơn tính chất tích lũy dần dần của loại nghiên cứu này, đồng thời để ngỏ khả năng cho người khác tiếp nối.

Từ đó nảy ra ý tưởng phát triển một kiểu dự án xuất bản kỹ thuật số mới: có thể mở rộng, bền vững, đáng tin cậy, không lệ thuộc nền tảng, và có tiềm năng cộng tác.

Ấn bản nay đã lên mạng: . Ấn bản tập hợp những lá thư đã chuyển tự đến nay, từ Lưu trữ Quốc gia Florence, Mantova và BnF, và sẽ lớn dần khi có thư mới xuất hiện. Tôi đã giải thích lý do đằng sau cách thiết kế này trong .