Biên Tập Hiệu Quả |

Phân tích thư mục quy mô lớn bằng mô hình ngôn ngữ tiền huấn luyện

Thu, 07 Jul 2022 19:04:14 +0200

Tự động hóa là chìa khóa để hạ chi phí của các dự án nhân văn số. Cho đến nay, những công việc lặp đi lặp lại và tẻ nhạt của khâu biên tập trong môi trường học thuật hoặc do các học giả vốn đã quá tải gánh vác với giá đắt, hoặc được “khoán” cho sinh viên. Trong , tôi lập luận rằng phần lớn những việc bạc bẽo ấy không những có thể mà còn nên được tự động hóa. Tự động hóa khâu biên tập làm giảm tổng chi phí của các dự án nhân văn số. Quan trọng hơn cả, nó cho phép học giả ở những vùng thu nhập thấp công bố tài liệu quý một cách nhanh chóng và vừa túi tiền.

Trong , tôi đã cho thấy, chẳng hạn, mô hình ngôn ngữ tiền huấn luyện có thể đảm nhận phần lớn công việc gắn nhãn XML của một ấn bản kỹ thuật số.

Trong bài này, tôi trình bày ví dụ thứ hai, lần này với thư mục.

Vấn đề

Lập một cơ sở dữ liệu thư mục từ các tài liệu tham khảo được nhắc đến trong một bài báo học thuật là chuyện khá đơn giản. Ta có thể tra nhanh trên một mục lục như , tải tài liệu tham khảo về theo một định dạng nhất định, hoặc nhập tự động từ cơ sở dữ liệu cục bộ. Cách này ổn với một hai bài báo. Nhưng quá một số lượng tài liệu tham khảo nào đó, công việc trở nên khó nhằn và ngốn thời gian. Để khắc phục, ta có thể dùng các thuật toán phân tích như . Thế nhưng những thuật toán ấy có thể khó mở rộng quy mô. Khi tôi dùng anystyle để chuyển đổi hơn 150 tiểu luận học thuật trong của chúng tôi, số lỗi tích tụ lại đơn giản là không thể kiểm soát nổi. Nó không nhận ra đúng nhiều nguồn của chúng tôi – chẳng hạn nhầm những nhan đề dài dằng dặc của sách đầu thời cận đại thành thứ gì khác – và cũng không nhận ra những tài liệu ít điển hình hơn, như một trang web cụ thể, một video trực tuyến, v.v. Trình phân tích chạy tốt với điều kiện tác giả tuân thủ răm rắp quy tắc của một chuẩn quen thuộc như Chicago, Turabian hay MLA. Hễ chệch khỏi chuẩn là có lỗi.

Giải pháp

Đây là chỗ mô hình ngôn ngữ tiền huấn luyện có thể giúp sức, bởi chúng nắm bắt rất nhanh quy luật của bất kỳ kiểu trích dẫn thư mục nào , kể cả kiểu do chính bạn nghĩ ra, và chỉ cần vài ví dụ là chuyển đổi được đúng đắn một khối lượng lớn thư mục đã định dạng thành một .

Đầu năm 2021, tôi may mắn được tiếp cận sớm của OpenAI. Codex là mô hình cho phép người dùng dịch ngôn ngữ tự nhiên sang mã và ngược lại. OpenAI tuyên bố nó thành thạo hơn chục ngôn ngữ lập trình; và dù API của nó, vào lúc tôi viết bài này, vẫn ở dạng beta, nó đã vận hành những ứng dụng phổ biến như của GitHub.

Sau khi vọc API này một hồi, tôi nhận ra nó cũng làm việc rất tốt với thứ mã đơn giản hơn như BibTeX.

Và thực tế, tôi chỉ cần dùng bốn ví dụ trong câu lệnh đầu vào là mọi thứ chạy ổn định.

Câu lệnh đầu vào

References: Bayle, Ariane. “Patients exemplaires: la correspondance médicale de Fioravanti.” In Vulgariser la médecine. Du style médical en France et en Italie, edited by Andrea Carlino and Michel Jeanneret, 181–212. Geneva: Droz, 2009.

Berns, Andrew D. The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth. Cambridge: Cambridge University Press, 2015.

Gabler, Hans Walter. “Theorizing the Digital Scholarly Edition.” Literature Compass 7, no. 2 (2010): 43–56. .

Findlen, Paula. Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy. Berkeley: University of California Press, 1994.

@incollection{bayle2009,
 author = {Bayle, Ariane},
 booktitle = {Vulgariser la médecine. Du style médical en France et en Italie},
 title = {Patients exemplaires: la correspondance médicale de Fioravanti},
 editor = {Carlino, Andrea and Michel Jeanneret},
 year = {2009},
 address = {Geneva},
 publisher = {Droz},
 langid = {french}
}
@book{berns2015,
 title = {The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth},
 author = {Berns, Andrew D.},
 address = {Cambridge},
 publisher = {Cambridge University Press},
 langid = {english},
 date = {2015}
}
@article{gabler2010,
 author = {Gabler, Hans Walter},
 title = {Theorizing the Digital Scholarly Edition},
 journal = {Literature Compass},
 volume = {7},
 number = {2},
 pages = {43-56},
 doi = {10.1111/j.1741-4113.2009.00675.x},
 langid = {english},
 year = {2010}
}
@book{findlen1994,
 title = {Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy},
 author = {Findlen, Paula},
 address = {Berkeley},
 publisher = {University of California Press},
 langid = {english},
 date = {1994}
}

Kết quả

thật ấn tượng: hơn 2.000 tài liệu tham khảo được chuyển đổi chỉ trong vài ngày. Cách này không chỉ tái hiện chính xác mẫu hình trong câu lệnh đầu vào của tôi, mà còn thêm đúng những loại mục và loại trường không hề có trong câu lệnh ấy. Nói cách khác, GPT-3 nói BibTeX trôi chảy như tiếng mẹ đẻ. Và có lẽ đáng ngạc nhiên hơn đối với một mô hình chủ yếu được huấn luyện bằng tiếng Anh: nó nhận ra tất cả các ngôn ngữ (Nga, Pháp, Ý, Latinh, Hy Lạp, Đức, Tây Ban Nha, v.v.) và lần nào cũng thêm đúng trường langid.

Lưu ý

GPT-3 hiện bị giới hạn về kích thước đầu vào và đầu ra: nó chỉ xử lý được tối đa 2.048 token ngôn ngữ. Một khi giới hạn này được gỡ bỏ, cùng công việc ấy có lẽ chỉ mất một giờ hoặc ít hơn.

Khá bất ngờ, GPT-3 còn bổ sung thông tin không có trong tài liệu tham khảo gốc.

Baillot, Anne, and Anna Busch. “Editing for Man and Machine.” In Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting, Vol. 13. Variants (Journal of the European Society for Textual Scholarship). Leicester, 2015.

Với tài liệu tham khảo này chẳng hạn, GPT-3 đã thêm đường dẫn cố định tới kho truy cập mở ( ) nơi có thể đọc bài báo, kể cả các trường đặc thù HAL_ID và HAL_VERSION do kho HAL đặt ra:

@inproceedings{baillot2015,
 title = {Editing for Man and Machine},
 author = {Baillot, Anne and Busch, Anna},
 year = 2015,
 booktitle = {Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting},
 address = {Leicester},
 series = {Variants (Journal of the European Society for Textual Scholarship)},
 volume = 13,
 editor = {Bruhn, Siglinde and Schreiber, Manfred},
 langid = {english},
 hal_id = {halshs-01233380},
 hal_version = {v1}
}

Những bổ sung này cho thấy GPT-3 không chỉ phân tích tài liệu tham khảo, mà còn hoàn thiện nó dựa trên những gì đã học từ trước. Về điểm này, sẽ thú vị nếu xem nó có hành xử tương tự với những tài liệu ra đời sau thời điểm huấn luyện GPT-3 hay không…

Hạn chế

Tuy nhiên, GPT-3 không hoàn hảo. Nó cần có người giám sát. Một trong những hạn chế đã biết của nó là (hallucination): đôi khi nó tự sáng tác và đưa ra những phỏng đoán khó tin.

Trong thử nghiệm của tôi, cơn lú lẫn của GPT-3 lộ rõ khi nó tự ý đổi họ một tác giả từ “Ruscelli” thành “Ruscello”. Về mặt kỹ thuật, đây không hẳn là lỗi, vì họ người Ý đầu thời cận đại có thể dùng ở dạng số nhiều hay số ít không phân biệt. Nhưng quy ước ngày nay là họ ở dạng nào thì giữ nguyên dạng ấy. Ngày nay chẳng ai gọi Machiavelli là Machiavello, cũng như ta phải dùng tên Rossello chứ không phải Rosselli. GPT-3 bỏ qua quy ước này vì thiếu ý thức về niên đại chăng? Hay vì nó phỏng đoán dựa trên những họ lân cận, mà ở phần thư mục này tình cờ đều ở dạng số ít (Bariletto, Cesano, Rossello)? Ai mà biết được.

@book{rossello1565,
 title = {Della summa de’ secreti universali},
 author = {Rossello, Timoteo},
 address = {Venice},
 publisher = {Giovanni Bariletto},
 langid = {italian},
 date = {1565}
}
@book{ruscello1559,
 title = {La seconda parte de’ secreti del Reverendo Donno Alessio Piemontese},
 author = {Ruscello, Girolamo},
 address = {Pesaro},
 publisher = {Bartolomeo Cesano},
 langid = {italian},
 date = {1559}
}

Kết luận

Được viết ra trong bốn năm cộng tác miệt mài, hơn 150 tiểu luận không chỉ cung cấp thông tin thiết yếu về bản thảo mà chúng tôi đã biên tập và dịch, mà còn chứa những thông tin thư mục quý giá.

Gom các tài liệu tham khảo ấy vào một cơ sở dữ liệu cho phép người biên tập đổi định dạng thư mục trong nháy mắt, linh hoạt hơn trong cách trình bày thông tin theo ý mình. Cơ sở dữ liệu này còn cho biết nhiều điều về ấn bản và về dự án đã làm nên nó, mở ra những hướng phân tích mới cho giới nghiên cứu. Một cơ sở dữ liệu như thế có thể được hoàn thành với độ chính xác cao và trong thời gian kỷ lục.

Đành rằng vẫn có thể lọt vài lỗi, nhất là do thói bịa đặt của GPT-3. Song các thế hệ mô hình ngôn ngữ tiền huấn luyện sau này sẽ làm dịu bớt vấn đề ấy.

Tự động hóa đánh dấu trong ấn bản học thuật kỹ thuật số

Mon, 22 Nov 2021 18:15:00 +0000

Mở đầu

Làm sao xây dựng ấn bản học thuật kỹ thuật số mà không phải dốc cạn ngân quỹ? Trong bài này, bài đầu tiên của loạt bài về biên tập hiệu quả, tôi đánh giá xem các mô hình ngôn ngữ tiền huấn luyện có thể đóng vai trò gì trong việc tự động hóa các công việc biên tập, chẳng hạn như đánh dấu ngữ nghĩa.

Mục Lục

Vấn đề

Một công trình của tình yêu

Đã yêu thì chẳng ai tính toán thiệt hơn… tục ngữ xưa bảo vậy. Với ấn bản học thuật kỹ thuật số, điều ấy càng đúng: chuyển tự, dịch thuật và chú giải trong quá trình xây dựng chúng ngốn hàng nghìn giờ lao động, và như trường hợp của , do hàng trăm cộng tác viên trình độ cao đảm nhận.

Xét ở một mặt, việc những dự án nhân văn số có tiếng có thể huy động được khoản tiền khổng lồ cần thiết để vận hành là một điều may. Thế nhưng, dựa dẫm quá nhiều vào sự hào phóng của các quỹ giàu có, các trường đại học và cơ quan chính phủ, cộng với nhu cầu nhân lực lớn kéo dài, không phải là một mô hình kinh tế khả thi cho tương lai.

Thực vậy, nếu muốn khuyến khích học giả khắp nơi trên thế giới đưa tài liệu lịch sử đến với công chúng rộng rãi hơn, thì chi phí của ấn bản phê bình kỹ thuật số phải giảm đi nhiều bậc .

Một ngưỡng cửa cao

Nghe có vẻ nghịch lý, nhưng giải pháp có thể đến từ chính những dự án tốn nhiều công sức như , bởi chúng là một tập huấn luyện quý giá để tự động hóa một số công việc khó nhằn và lặp đi lặp lại nhất của biên tập kỹ thuật số, chẳng hạn như đánh dấu.

Không phải đánh dấu là chuyện không đáng kể. Trái lại, đánh dấu đã trở thành thành phần không thể thiếu của bất kỳ dự án học thuật kỹ thuật số nghiêm túc nào. Được chuẩn hóa, nó cho phép ta ghi lại càng nhiều càng tốt các khía cạnh của tài liệu và của văn bản mà tài liệu ấy chuyển tải: cấu trúc, ghi chú bên lề, đoạn bị xóa, dị bản, loại giấy, vết ố, nét chữ… muốn gì có nấy.

Ví dụ sau đây, trích từ , cho thấy đánh dấu làm giàu văn bản bằng thông tin bổ sung ra sao (hạng mục, cấu trúc, trường ngữ nghĩa, đoạn bị xóa, v.v.), và rốt cuộc đem lại cho ấn bản kỹ thuật số một lợi thế đáng kể so với tổ tiên bằng giấy của chúng.

Plain Text XML Markup

Plain Text	XML Markup
`Pour rompre grenades et donner violence aux artifices de foeu Mects parmy la pouldre et la sixiesme partye dicelle de vif argent`	`<div id="p008r_2" categories="arms and armor"> <head>Pour rompre <wp>grenades</wp> et donner<lb/> violence aux <wp>artifices de foeu</wp></head> <ab>Mects parmy la <m>pouldre</m> <del><ms>six fois autant</ms> de <m>vif argent</m></del><lb/> <del>et</del> <ms>la sixiesme partye</ms> dicelle de <m>vif argent</m></ab> </div>`

Pour rompre grenades et donner
violence aux artifices de foeu

Mects parmy la pouldre et la sixiesme
partye dicelle de vif argent

<div id="p008r_2" categories="arms and armor">
<head>Pour rompre <wp>grenades</wp> et donner<lb/>
violence aux <wp>artifices de foeu</wp></head>
<ab>Mects parmy la <m>pouldre</m>
<del><ms>six fois autant</ms> de
<m>vif argent</m></del><lb/>
<del>et</del> <ms>la sixiesme partye</ms>
 dicelle de <m>vif argent</m></ab>
</div>

Thông tin này không chỉ quý cho mục đích lưu trữ, mà như tôi đã chỉ ra trong những dịp trước, còn quý cho mục đích tổng hợp và phân tích. Dẫu vậy, kiểu chú giải này có thể cực kỳ tốn thời gian, vì cùng một văn bản thường phải có mặt dưới nhiều dạng khác nhau: bản dịch, bản chuyển tự, bản hiện đại hóa, v.v.

Giải pháp

Transformer: con đường đơn giản nhất đến tự động hóa?

Năm 2020, rầm rộ công bố họ mô hình ngôn ngữ đa dụng quy mô lớn mới nhất của mình, gọi là GPT-3, viết tắt của “Generative Pre-trained Transformer 3”. Transformer là một đột phá khá gần đây của trí tuệ nhân tạo. Chúng học nhiệm vụ mới với tốc độ ấn tượng, chỉ bằng cách đọc một câu lệnh (prompt) và xem qua một số rất ít ví dụ. Chúng cũng có thể được huấn luyện thêm bằng một tập dữ liệu chuyên biệt (tinh chỉnh – fine-tuning), qua đó cải thiện độ trễ và độ chính xác. Vì lẽ đó, người ta nói GPT-3 và các transformer tương tự là những – kẻ học từ vài ví dụ.

OpenAI tuyên bố GPT-3 chứa con số kỷ lục 175 tỷ tham số, được huấn luyện trên hơn 570 GB văn bản, phần lớn là tài liệu tiếng Anh có lẽ lấy từ . Nhờ kích thước khổng lồ ấy, GPT-3 đã đặt ra chuẩn mực mới trong lĩnh vực này, thực hiện ngay lập tức đủ loại nhiệm vụ với độ chân thực đáng lo ngại. Nó viết nghe rất có lý, trong phòng chat, , , dịch tài liệu, giải thích thuật ngữ chuyên môn, v.v.

Được tiếp cận sớm API của OpenAI từ tháng 5 năm 2021, tôi đã có dịp thử nghiệm khả năng của mô hình trong một số nhiệm vụ vốn được xem là khó: dịch thơ Pháp và văn bản tân Latinh sang tiếng Anh, giải thích phép loại suy, thậm chí giản lược Quyển 4 của Groundwork for a Metaphysics of Morals (Kant) cho một đứa trẻ bảy tuổi (dù chưa thật thuyết phục).

Codex

Một trong những bước phát triển mới nhất của GPT-3 nhắm vào ngôn ngữ máy tính. Mang tên Codex, mô hình này dịch ngôn ngữ tự nhiên sang ngôn ngữ lập trình và ngược lại. Chẳng hạn, nếu tôi cần một biểu thức chính quy để “chỉ tìm những từ bắt đầu bằng chữ in hoa”, GPT-3 lập tức dịch nó thành một biểu thức chính quy chạy được: [A-Z]+\w+.

OpenAI tuyên bố Codex làm việc được với khoảng chục ngôn ngữ lập trình, trong đó có Python, JavaScript, Go, Perl, PHP, Ruby và Swift. Bằng cách chuyển mã giả thành mã thật một cách liền mạch, Codex cho phép người ta tập trung không phải vào cú pháp rườm rà của một ngôn ngữ lập trình, mà vào các bước logic và chiến lược giúp ứng dụng giải quyết vấn đề.

Ngoài OpenAI

Dĩ nhiên, OpenAI không phải tay chơi duy nhất. Như đã nói, Viện Hàn lâm Trí tuệ Nhân tạo Bắc Kinh năm 2021 đã công bố một mô hình còn lớn hơn và mạnh hơn, gọi là Wu Dao 2. Nvidia và Microsoft bắt tay tạo ra mô hình mang cái tên rất hợp cảnh Megatron-Turing NLG 530B. Những công ty khởi nghiệp nhỏ hơn như và cũng cung cấp API cho công chúng. Đáng nhắc đến nữa là các sáng kiến mã nguồn mở như . Cảnh quan AI dĩ nhiên biến chuyển rất nhanh; để theo dõi các sáng kiến mới trong lĩnh vực, hãy xem .

Các thử nghiệm

Lưu ý

Mục tiêu của các thử nghiệm này là tìm ra con đường tiết kiệm nhất để tự động hóa các công việc biên tập một cách đáng tin cậy. Có thể có người cho rằng một số việc trong đó cũng tự động hóa được bằng thuật toán học có giám sát. Chúng ta sẽ xem xét giả thuyết ấy trong một bài sau.

Một transformer như GPT-3 có thể học cách chú giải, chẳng hạn, một bản thảo kỹ thuật và khoa học thế kỷ XVI không?

Thử nghiệm 1 – Phân loại văn bản.

Bắt đầu bằng thứ tương đối đơn giản. Là “kẻ học từ vài ví dụ”, GPT-3 hẳn phải nhanh chóng hiểu được nhóm biên tập của chúng tôi đã phân loại các mục trong Ms Fr 640 như thế nào.

Thiết kế câu lệnh

Để huấn luyện, tôi dùng một câu lệnh tối giản và chọn bốn mục ngắn ở dạng văn bản thuần làm ví dụ, gồm một mục về “y học”, “vũ khí và áo giáp” và “hội họa”.

Kiểm tra

Rồi tôi chép vào một đoạn khác, không nằm trong chuỗi ban đầu:

Working neatly
Never put down, if you can, two colors one on top of the other.
But next, having made your design carefully, keep the place of shadows for them alone,
& also separately that of lights & highlights, without layering one color all over & then highlighting or else shading on it.
And in this way, you further your work, economize your colors & work neatly.
Which is the reason that, the colors not being muddled nor mixed together, they do not die & you soften the colors better, since they are not so thick.

Kết quả hoàn toàn khớp với nội dung:

<categories="painting">

Nếu thử với một mục thuộc hạng mục thậm chí không có trong bộ văn bản ban đầu dùng để huấn luyện GPT-3, kết quả thật bất ngờ.

<categories="jewelry">

Kết quả

Hạng mục “jewelry” (nữ trang) không tồn tại trong ấn bản Ms. Fr. 640 của chúng tôi. Nhóm biên tập hạng mục rộng hơn là “Stones” (đá). Dù vậy, trực giác của GPT-3 là tốt, và cho thấy chỉ cần huấn luyện thêm chút nữa, nó có thể học cách phân loại bất kỳ mục nào của Ms. Fr. 640, thậm chí cả các văn bản kỹ thuật thế kỷ XVI tương tự.

Thử nghiệm 2 – Đánh dấu ngữ nghĩa

Nâng thanh xà lên cao hơn một chút. Nếu transformer như GPT-3 học được cách phân loại văn bản theo những tiêu chí biên tập cụ thể, liệu chúng có nhận diện được một phần thẻ đánh dấu của văn bản không?

Lưu ý

Secrets of Craft and Nature dùng nhãn ngữ nghĩa và nhãn cấu trúc. Tiếc là GPT-3 không xử lý được hình ảnh, khác với các dự án như . Nhiều khả năng các phiên bản GPT sau này sẽ có năng lực đó, vốn cần thiết để nhận ra phần lớn các khía cạnh cấu trúc và vật chất của một tài liệu. Ta sẽ bỏ qua những thẻ ấy và tập trung vào loại đánh dấu không đòi hỏi nhận dạng hình ảnh.

Thiết kế câu lệnh

Thẻ ngữ nghĩa bao gồm tham chiếu đến động vật, thực vật, địa danh, cảm giác, v.v. Trong câu lệnh huấn luyện, tôi chọn vài ví dụ từ ấn bản:

<!--Input prompt-->
The following is a list of words and their corresponding semantic tags

cannons: <wp>cannons</wp>
powder: <m>powder</m>
flasks: <tl>flasks</tl>
wooden: <m>wooden</m>
iron: <m>iron</m>
parchment: <m>parchment</m>
goats: <al>goats</al>
lambs: <al>lambs</al>
leather: <m>leather</m>
earth: <m>earth</m>
fine fatty earth: <m>fine fatty earth</m>
Venice: <pl>Venice</pl>
Flemish: <pl>Flemish</pl>
almond: <pa>almond</pa>
almond oil: <m><pa>almond</pa> oil</m>
walnuts skin: <m><pa>walnuts</pa> skin</m>
molten lead: <m>molten lead</m>
today: <tmp>today</tmp>
In the past: <tmp>In the past</tmp>
Clockmakers: <pro>Clockmakers</pro>
red copper: <m>red copper</m>
crucible: <tl>crucible</tl>
bellows: <tl>bellows</tl>
charcoal: <m>charcoal</m>
founders: <pro>founders</pro>

Kiểm tra

Thử vài từ dễ với mô hình Davinci-codex, như Apothecary, smoke, glassmakers, latten và snake. Kết quả tức thì và không một lỗi:

<!--Output-->
Apothecary: <pro>Apothecary</pro>
smoke: <m>smoke<m>
glassmakers: <pro>glassmakers</pro>
latten: <m>latten</m>
snake: <al>snake</al>

Bài kiểm tra khó hơn dùng từ ghép, như copper plates, walnut oil và wood block. Mục đích là xem GPT-3 có xử lý đúng các thẻ lồng nhau hay không.

<!--Output-->
copper plates: <m>copper plates</m>
walnut oil: <m><pa>walnut</pa> oil</m>
wood block: <m>wood block</m>

Kết quả lần này nửa được nửa không: Davinci-codex chỉ gắn nhãn đúng walnut oil, còn bỏ sót các thẻ lồng tl và m trong copper plates và wood block. Tuy nhiên, như bài kiểm tra tiếp theo dưới đây cho thấy, những lỗi này có thể giảm bớt bằng một câu lệnh huấn luyện tốt hơn. Sau khi thêm năm ví dụ nữa về thẻ lồng nhau, Davinci-codex trả về kết quả gần như hoàn hảo, chỉ sai một chỗ (oil paintbrushes):

<!--Output-->
cannon powder: <m><wp>cannon</wp> powder</m>
arquebus powder: <m><wp>arquebus</wp> powder</m>
oil paintbrushes: <m><al>oil</al> paintbrushes</m>
sheep footbones: <m><al>sheep</al> footbones</m>
bronze mortar: <tl><m>bronze</m> mortar</tl>

Kết luận

Cần nhớ rằng các bài kiểm tra này được thực hiện trên những mẩu văn bản ngắn. Tôi ngờ rằng nếu cung cấp nhiều ngữ cảnh hơn trong ví dụ và trong câu lệnh, các mô hình GPT-3 sẽ cho kết quả còn tốt hơn nữa. Hơn thế, tinh chỉnh mô hình bằng những tập huấn luyện chuyên biệt chắc chắn sẽ nâng độ chính xác gắn nhãn lên thêm.
Dẫu các thử nghiệm này còn cần được tiến hành ở quy mô lớn hơn để chứng minh độ tin cậy của mô hình ngôn ngữ tiền huấn luyện, ta vẫn có thể kết luận rằng cách tiếp cận này cho phép người biên tập tự động hóa nhiều công việc chú giải chỉ qua vài bước đơn giản, và qua đó có thể tiết kiệm rất nhiều thời gian lẫn tiền bạc.