التحقيق الفعّال |

تحليل الببليوغرافيا على نطاق واسع بالنماذج اللغوية المدرَّبة مسبقًا

Thu, 07 Jul 2022 19:04:14 +0200

الأتمتة مفتاح خفض الكلفة في مشاريع الإنسانيات الرقمية. فإلى يومنا هذا، ما زالت المهام المتكررة المضنية التي يقتضيها العمل التحريري في الأوساط الأكاديمية إما تُنجز بكلفة باهظة على أيدي باحثين مثقلين بالأعباء، وإما «تُوكل» إلى الطلاب. وأذهب في هذه إلى أن أكثر هذه المهام التي لا يُشكر عليها أحد لا يمكن أتمتتها فحسب، بل ينبغي أن تُؤتمت. فأتمتة مهام التحقيق تخفض الكلفة الإجمالية لمشاريع الإنسانيات الرقمية، والأهم أنها تمكّن الباحثين في المناطق المحدودة الدخل من نشر وثائق نفيسة في وقت قصير وبثمن في المتناول.

وقد بيّنت في ، على سبيل المثال، كيف تستطيع النماذج اللغوية المدرَّبة مسبقًا أن تنهض بمعظم عمل الترميز بلغة XML في طبعة رقمية.

وأعرض في هذه التدوينة مثالًا ثانيًا، من الببليوغرافيا هذه المرة.

المشكلة

إنشاء قاعدة بيانات ببليوغرافية من المراجع الواردة في مقال علمي أمر يسير في ذاته: يكفي بحث سريع في فهرس كـ وتنزيل المرجع بصيغة معينة، أو استيراده تلقائيًّا من قاعدة بيانات محلية. وهذا يجدي مع مقال أو مقالين. فإذا تجاوزت المراجع عددًا معينًا، انقلبت المهمة عملًا منفّرًا يلتهم الوقت. وللتغلب على ذلك يمكن اللجوء إلى خوارزميات التحليل من قبيل ؛ غير أن هذه الخوارزميات يعسر تشغيلها على نطاق واسع. فحين استعنت بـanystyle لتحويل ما يزيد على 150 دراسة علمية مضمومة إلى ، تراكمت الأخطاء إلى حد لا يُضبط. فقد أخفق في التعرف على كثير من مصادرنا، فحسب العناوين المطوّلة لكتب مطلع العصر الحديث شيئًا آخر، وعجز عن التعرف على الوثائق الأقل شيوعًا، من صفحات ويب بعينها ومقاطع فيديو على الشبكة وما إليها. فالمحلّلات تؤدي عملها ما دام المؤلف يتقيد تقيّدًا حرفيًّا بقواعد أسلوب معروف كشيكاغو أو تورابيان أو MLA؛ فإذا حاد عن المعيار قيد أنملة تناسلت الأخطاء.

الحل

وهنا تأتي النماذج اللغوية المدرَّبة مسبقًا بالعون، إذ تستوعب في لمح البصر أنماط أي أسلوب ببليوغرافي ، حتى ما ابتدعتموه بأنفسكم، ولا تحتاج إلا إلى بضعة أمثلة لتحوّل كميات كبيرة من الببليوغرافيا المنسّقة تحويلًا سليمًا إلى .

كان من حسن حظي في مطلع 2021 أن أُتيح لي الوصول المبكر إلى من OpenAI. وCodex نموذج يترجم اللغة الطبيعية إلى شيفرة، والشيفرة إلى لغة طبيعية. وتزعم OpenAI أنه يتقن ما يزيد على اثنتي عشرة لغة برمجة؛ ومع أن واجهته البرمجية لا تزال، وأنا أكتب هذه السطور، في طور تجريبي، فهي تشغّل من الآن تطبيقات ذائعة مثل من GitHub.

وبعد أن جرّبت هذه الواجهة حينًا، تبيّن لي أنها تصلح أيضًا لشيفرة أبسط مثل BibTeX.

والحق أن أربعة أمثلة في موجّه الإدخال كفتني لتعمل الطريقة عملًا يُعوَّل عليه.

موجّه الإدخال

References: Bayle, Ariane. “Patients exemplaires: la correspondance médicale de Fioravanti.” In Vulgariser la médecine. Du style médical en France et en Italie, edited by Andrea Carlino and Michel Jeanneret, 181–212. Geneva: Droz, 2009.

Berns, Andrew D. The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth. Cambridge: Cambridge University Press, 2015.

Gabler, Hans Walter. “Theorizing the Digital Scholarly Edition.” Literature Compass 7, no. 2 (2010): 43–56. .

Findlen, Paula. Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy. Berkeley: University of California Press, 1994.

@incollection{bayle2009,
 author = {Bayle, Ariane},
 booktitle = {Vulgariser la médecine. Du style médical en France et en Italie},
 title = {Patients exemplaires: la correspondance médicale de Fioravanti},
 editor = {Carlino, Andrea and Michel Jeanneret},
 year = {2009},
 address = {Geneva},
 publisher = {Droz},
 langid = {french}
}
@book{berns2015,
 title = {The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth},
 author = {Berns, Andrew D.},
 address = {Cambridge},
 publisher = {Cambridge University Press},
 langid = {english},
 date = {2015}
}
@article{gabler2010,
 author = {Gabler, Hans Walter},
 title = {Theorizing the Digital Scholarly Edition},
 journal = {Literature Compass},
 volume = {7},
 number = {2},
 pages = {43-56},
 doi = {10.1111/j.1741-4113.2009.00675.x},
 langid = {english},
 year = {2010}
}
@book{findlen1994,
 title = {Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy},
 author = {Findlen, Paula},
 address = {Berkeley},
 publisher = {University of California Press},
 langid = {english},
 date = {1994}
}

النتائج

مذهلة: ما يزيد على 2000 مرجع ببليوغرافي حُوّلت في غضون أيام. ولم تقتصر هذه المقاربة على إعادة إنتاج النمط المعروض في موجّه الإدخال بدقة، بل أضافت على الوجه الصحيح أنواعًا من المداخل والحقول لم ترد في الموجّه أصلًا. وبعبارة أخرى: GPT-3 يتكلم BibTeX بطلاقة تامة. ولعل الأدعى إلى العجب، من نموذج دُرّب في الأساس على الإنجليزية، أنه تعرّف على اللغات كلها (الروسية والفرنسية والإيطالية واللاتينية واليونانية والألمانية والإسبانية وغيرها) وأضاف في كل مرة حقل langid الصحيح.

ملاحظة

ما زال حجم الإدخال والإخراج في GPT-3 محدودًا، إذ لا يعالج أكثر من 2048 وحدة لغوية (token). فمتى رُفع هذا القيد، لن تستغرق المهمة نفسها على الأرجح أكثر من ساعة.

ومما لم يكن في الحسبان أن GPT-3 أضاف معلومات لم ترد في المراجع الأصلية.

Baillot, Anne, and Anna Busch. “Editing for Man and Machine.” In Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting, Vol. 13. Variants (Journal of the European Society for Textual Scholarship). Leicester, 2015.

ففي هذا المرجع، مثلًا، أضاف GPT-3 الرابط الدائم إلى المستودع المفتوح ( ) الذي تُقرأ فيه الورقة، مع الحقلين المخصوصين HAL_ID وHAL_VERSION اللذين استحدثهما مستودع HAL:

@inproceedings{baillot2015,
 title = {Editing for Man and Machine},
 author = {Baillot, Anne and Busch, Anna},
 year = 2015,
 booktitle = {Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting},
 address = {Leicester},
 series = {Variants (Journal of the European Society for Textual Scholarship)},
 volume = 13,
 editor = {Bruhn, Siglinde and Schreiber, Manfred},
 langid = {english},
 hal_id = {halshs-01233380},
 hal_version = {v1}
}

وتدل هذه الإضافات على أن GPT-3 لا يكتفي بتحليل المرجع الببليوغرافي، بل يتمّمه بما تعلّمه من قبل. ولذلك يجدر أن نرى هل يسلك المسلك نفسه مع مراجع تالية لتاريخ تدريبه…

الحدود

على أن GPT-3 ليس منزّهًا عن الخطأ، ولا غنى له عن إشراف بشري. فمن عيوبه المعروفة : يخترع أحيانًا ما لا وجود له، ويبني افتراضات بعيدة عن الاحتمال.

وقد تجلّت نوبات الاضطراب عند GPT-3 في تجربتي حين غيّر من تلقاء نفسه اسم عائلة أحد المؤلفين من «Ruscelli» إلى «Ruscello». وليس هذا خطأ بالمعنى الدقيق، فأسماء العائلات الإيطالية في مطلع العصر الحديث كانت تُستعمل بالجمع أو بالمفرد على السواء. غير أن العرف اليوم أن يُترك الاسم على حاله، جمعًا كان أم مفردًا: فلا أحد يسمّي ماكيافيلي «ماكيافيلو»، كما يُنتظر منا أن نكتب Rossello لا Rosselli. فهل تجاهل GPT-3 هذا العرف لقصور في وعيه الزمني؟ أم قاس على الأسماء المجاورة، وقد تصادف أنها كلها في هذا الجزء من الببليوغرافيا بصيغة المفرد (Bariletto, Cesano, Rossello)؟ من يدري.

@book{rossello1565,
 title = {Della summa de’ secreti universali},
 author = {Rossello, Timoteo},
 address = {Venice},
 publisher = {Giovanni Bariletto},
 langid = {italian},
 date = {1565}
}
@book{ruscello1559,
 title = {La seconda parte de’ secreti del Reverendo Donno Alessio Piemontese},
 author = {Ruscello, Girolamo},
 address = {Pesaro},
 publisher = {Bartolomeo Cesano},
 langid = {italian},
 date = {1559}
}

خاتمة

الدراسات التي يزيد عددها على 150 ، وقد كُتبت على مدى أربع سنوات من التعاون الحثيث، لا تقدّم معلومات جوهرية عن المخطوطة التي حققناها وترجمناها فحسب، بل تحمل في طياتها أيضًا مادة ببليوغرافية نفيسة.

وجمع هذه المراجع في قاعدة بيانات يمكّن المحققين من تبديل التنسيق الببليوغرافي في غمضة عين، فيمنحهم حرية أوسع في عرض هذه المعلومات كما يشاؤون. كما تُطلعنا هذه القاعدة على جوانب قيّمة من الطبعة ومن المشروع الذي أتاحها، فتفتح أمام الباحثين آفاقًا تحليلية جديدة. وقاعدة كهذه تُنجز بدقة عالية وفي مدة قياسية.

وقد تتسرب بعض الأخطاء، لا شك، ولا سيما بسبب نزوع GPT-3 إلى الهلوسة؛ غير أن الأجيال المقبلة من النماذج اللغوية المدرَّبة مسبقًا ستخفف من وطأة هذا الداء.

أتمتة الترميز في الطبعات العلمية الرقمية

Mon, 22 Nov 2021 18:15:00 +0000

مقدمة

كيف نُخرج طبعات علمية رقمية من غير أن نستنزف الخزائن؟ هذه التدوينة أولى سلسلةٍ أفردها للتحقيق الفعّال، وأتناول فيها الدور الذي قد تضطلع به النماذج اللغوية المدرَّبة مسبقًا في أتمتة مهامّ التحقيق، ومنها الترميز الدلالي.

فهرس المحتويات

المشكلة

عمل بدافع الحب

في الحب لا يُحسب الثمن… أو هكذا يقول المثل. ولا أصدق منه على الطبعات العلمية الرقمية، فما تقتضيه من نسخ وترجمة وتعليق يستغرق آلاف الساعات، ينهض بها، كما في ، مئات المتعاونين من ذوي الكفاءة العالية.

ولا شك أن ظفر المشاريع البارزة في الإنسانيات الرقمية بما تحتاج إليه من أموال طائلة نعمة من وجه ما. بيد أن التعويل على سخاء المؤسسات الثرية والجامعات والهيئات الحكومية، والحاجة الممتدة إلى موارد بشرية كبيرة، ليسا نموذجًا اقتصاديًّا يُبنى عليه المستقبل.

والحق أننا إن أردنا أن نشجع الباحثين في أرجاء العالم على وضع الوثائق التاريخية في متناول جمهور أوسع، فلا بد أن تهبط كلفة الطبعات النقدية الرقمية بمراتب عدة .

عتبة عالية

ومن مفارقات الأمر أن الحل قد يأتي من المشاريع كثيفة العمل نفسها، مثل ، لأنها تشكّل مجموعة تدريب نفيسة لأتمتة بعض أشد مهام التحقيق الرقمي نفورًا وتكرارًا، ومنها الترميز.

وليس هذا انتقاصًا من شأن الترميز؛ بل الواقع أن الترميز غدا الركن الذي لا يقوم بدونه أي مشروع علمي رقمي جاد. فمنذ أن قعّدته ، صار يتيح لنا تسجيل ما نشاء من جوانب الوثيقة والنص الذي تحمله: البنية، والحواشي الهامشية، والشطب، والفروق، ونوع الورق، والبقع، والخط… وما شئتم بعد ذلك.

ويُظهر المثال الآتي، المأخوذ من ، كيف يُغني الترميز النص بمعلومات إضافية (الفئة، والبنية، والحقول الدلالية، والشطب، وغيرها)، فيمنح الطبعات الرقمية في نهاية المطاف أفضلية بيّنة على أسلافها الورقية.

نص عادي ترميز XML

نص عادي	ترميز XML
`Pour rompre grenades et donner violence aux artifices de foeu Mects parmy la pouldre et la sixiesme partye dicelle de vif argent`	`<div id="p008r_2" categories="arms and armor"> <head>Pour rompre <wp>grenades</wp> et donner<lb/> violence aux <wp>artifices de foeu</wp></head> <ab>Mects parmy la <m>pouldre</m> <del><ms>six fois autant</ms> de <m>vif argent</m></del><lb/> <del>et</del> <ms>la sixiesme partye</ms> dicelle de <m>vif argent</m></ab> </div>`

Pour rompre grenades et donner
violence aux artifices de foeu

Mects parmy la pouldre et la sixiesme
partye dicelle de vif argent

<div id="p008r_2" categories="arms and armor">
<head>Pour rompre <wp>grenades</wp> et donner<lb/>
violence aux <wp>artifices de foeu</wp></head>
<ab>Mects parmy la <m>pouldre</m>
<del><ms>six fois autant</ms> de
<m>vif argent</m></del><lb/>
<del>et</del> <ms>la sixiesme partye</ms>
 dicelle de <m>vif argent</m></ab>
</div>

وليست هذه المعلومات نفيسة لأغراض الحفظ الأرشيفي وحدها، بل للتركيب والتحليل أيضًا، كما بيّنت في مناسبات سابقة. غير أن هذا الضرب من التعليق قد يلتهم من الوقت الشيء الكثير، لأن النص الواحد كثيرًا ما يلزم إتاحته بصيغ متعددة: ترجمةً، ونسخًا، وتحديثًا للرسم، وما إلى ذلك.

الحل

المحوّلات (Transformers): أقصر الطرق إلى الأتمتة؟

في عام 2020 أطلقت ، بضجة كبيرة، أحدث أسرة من نماذجها اللغوية الكبيرة ذات الأغراض العامة، وسمّتها GPT-3، اختصارًا لـ«Generative Pre-trained Transformer 3». والمحوّلات فتحٌ حديث العهد نسبيًّا في الذكاء الاصطناعي: تتعلم المهام الجديدة بسرعة مذهلة بمجرد قراءة موجّه (prompt) والنظر في عدد قليل جدًّا من الأمثلة، وتقبل كذلك تدريبًا إضافيًّا على مجموعة بيانات مخصوصة (الضبط الدقيق) يحسّن زمن استجابتها ودقتها. ولهذا نقول إن GPT-3 وأشباهه من المحوّلات .

وتزعم OpenAI أن GPT-3 يضم عددًا قياسيًّا من المعاملات يبلغ 175 مليارًا، وأنه دُرّب على ما يزيد على 570 غيغابايت من النصوص، جُلّها وثائق إنجليزية مأخوذة على الأرجح من . وبفضل حجمه الهائل وحده أرسى GPT-3 معيارًا جديدًا في هذا الميدان، فهو ينجز من فوره مهامّ متنوعة بواقعية تبعث على القلق: يكتب مقبولة، و في غرف الدردشة، و ، و ، ويترجم الوثائق، ويفسّر المصطلحات، وغير ذلك.

وقد أتاح لي الوصول المبكر إلى واجهة OpenAI البرمجية منذ مايو 2021 أن أختبر قدرة النموذج على مهامّ يُشهد لها بالصعوبة، كترجمة الشعر الفرنسي والنصوص اللاتينية الحديثة إلى الإنجليزية، وشرح المماثلات (analogies)، بل تبسيط الكتاب الرابع من تأسيس ميتافيزيقا الأخلاق لكانط لطفل في السابعة (وإن جاء التبسيط غير مقنع).

Codex

ومن أحدث ما تفرّع عن GPT-3 نموذج يُعنى بلغات الحاسوب، اسمه Codex، يترجم اللغة الطبيعية إلى لغة حاسوبية والعكس. فإن كنت أبحث مثلًا عن تعبير نمطي «يعثر على الكلمات التي تبدأ بحرف كبير دون سواها»، ترجم GPT-3 ذلك في الحال إلى تعبير نمطي صالح للعمل: [A-Z]+\w+.

وتزعم OpenAI أن Codex يتعامل مع نحو اثنتي عشرة لغة حاسوبية، منها Python وJavaScript وGo وPerl وPHP وRuby وSwift. وإذ يحوّل الشيفرة الزائفة إلى شيفرة حقيقية بسلاسة، فإنه يعفي الناس من التدقيق في نحو اللغة الحاسوبية المضني ليصرفوا همّهم إلى الخطوات المنطقية والاستراتيجيات التي تمكّن التطبيقات من حل المشكلات.

ما وراء OpenAI

وليست OpenAI، بطبيعة الحال، اللاعب الوحيد في الميدان. فكما أسلفت، أعلنت أكاديمية بكين للذكاء الاصطناعي عام 2021 عن نموذج أكبر وأقدر يُعرف باسم Wu Dao 2. وتضافرت Nvidia وMicrosoft على إنتاج نموذج Megatron-Turing NLG 530B الذي جاء اسمه على مسمّاه. وتعرض شركات ناشئة أصغر، مثل و ، واجهات برمجية للجمهور. وتجدر الإشارة كذلك إلى مبادرات مفتوحة المصدر مثل . ولما كان مشهد الذكاء الاصطناعي يتبدل بسرعة، فلمتابعة جديد الميدان راجعوا .

التجارب

ملاحظة

الغاية من هذه التجارب أن نهتدي إلى أقل الطرق كلفةً نحو أتمتة موثوقة لمهام التحقيق. وقد يقال إن بعض هذه المهام يمكن أتمتته أيضًا بخوارزميات التعلم الخاضع للإشراف؛ وسنتحقق من هذه الفرضية في تدوينة مقبلة.

فهل يستطيع محوّل مثل GPT-3 أن يتعلم التعليق على مخطوطة تقنية علمية من القرن السادس عشر، مثلًا؟

التجربة 1 – تصنيف النصوص.

لنبدأ بما هو أيسر نسبيًّا. فما دام GPT-3 «يتعلم من أمثلة قليلة»، فالمنتظر أن يدرك بسرعة كيف صنّف فريقنا التحريري مداخل المخطوطة Ms Fr 640.

هندسة الموجّه

لتدريبه استعملت موجّهًا في غاية الإيجاز، واخترت للتمثيل أربعة مداخل نصية قصيرة بلا ترميز، منها مدخل في «الطب»، وآخر في «الأسلحة والدروع»، وثالث في «الرسم».

الاختبار

ثم نسخت مقطعًا آخر لم يكن في السلسلة الأولى:

Working neatly
Never put down, if you can, two colors one on top of the other.
But next, having made your design carefully, keep the place of shadows for them alone,
& also separately that of lights & highlights, without layering one color all over & then highlighting or else shading on it.
And in this way, you further your work, economize your colors & work neatly.
Which is the reason that, the colors not being muddled nor mixed together, they do not die & you soften the colors better, since they are not so thick.

فجاء المخرج مطابقًا للمحتوى تمام المطابقة:

<categories="painting">

فإذا جرّبنا مدخلًا من فئة لم تكن أصلًا بين النصوص المختارة لتدريب GPT-3، كانت النتيجة مدعاة للدهشة.

<categories="jewelry">

النتيجة

لا وجود لفئة «المجوهرات» (jewelry) في طبعتنا للمخطوطة Ms. Fr. 640، فالفريق التحريري عليها فئة «الأحجار» (Stones) الأوسع. على أن حدس GPT-3 سديد، وهو يدل على أنه بقليل من التدريب الإضافي يستطيع أن يتعلم تصنيف أي مدخل في المخطوطة Ms. Fr. 640، بل ربما مداخل النصوص التقنية المماثلة من القرن السادس عشر.

التجربة 2 – الترميز الدلالي

فلنرفع السقف قليلًا. إذا كانت المحوّلات من قبيل GPT-3 تتعلم تصنيف النصوص وفق معايير تحريرية بعينها، فهل تستطيع أيضًا أن تتعرف على بعض عناصر ترميز النص؟

ملاحظة

تجمع Secrets of Craft and Nature بين . وللأسف لا يعالج GPT-3 الصور، بخلاف مشاريع أخرى مثل . ويُرجَّح أن تشمل الأجيال المقبلة من GPT هذه القدرة، ولا غنى عنها للتعرف على معظم الجوانب البنيوية والمادية للوثيقة. سنتجاوز هذه الوسوم بالذات، ونركّز على الترميز الذي لا يستلزم التعرف على الصور.

هندسة الموجّه

تشمل الوسوم الدلالية الإحالات إلى الحيوانات والنباتات وأسماء الأماكن والمدركات الحسية وغيرها. وقد انتقيت لموجّه التدريب بضعة أمثلة من الطبعة:

<!--Input prompt-->
The following is a list of words and their corresponding semantic tags

cannons: <wp>cannons</wp>
powder: <m>powder</m>
flasks: <tl>flasks</tl>
wooden: <m>wooden</m>
iron: <m>iron</m>
parchment: <m>parchment</m>
goats: <al>goats</al>
lambs: <al>lambs</al>
leather: <m>leather</m>
earth: <m>earth</m>
fine fatty earth: <m>fine fatty earth</m>
Venice: <pl>Venice</pl>
Flemish: <pl>Flemish</pl>
almond: <pa>almond</pa>
almond oil: <m><pa>almond</pa> oil</m>
walnuts skin: <m><pa>walnuts</pa> skin</m>
molten lead: <m>molten lead</m>
today: <tmp>today</tmp>
In the past: <tmp>In the past</tmp>
Clockmakers: <pro>Clockmakers</pro>
red copper: <m>red copper</m>
crucible: <tl>crucible</tl>
bellows: <tl>bellows</tl>
charcoal: <m>charcoal</m>
founders: <pro>founders</pro>

الاختبار

لنجرّب مع نموذج Davinci-codex بضع كلمات سهلة: Apothecary (صيدلاني)، وsmoke (دخان)، وglassmakers (صانعو الزجاج)، وlatten (صفيح نحاسي)، وsnake (ثعبان). فتأتي النتائج فورية لا تشوبها شائبة:

<!--Output-->
Apothecary: <pro>Apothecary</pro>
smoke: <m>smoke<m>
glassmakers: <pro>glassmakers</pro>
latten: <m>latten</m>
snake: <al>snake</al>

والاختبار الأصعب يقتضي كلمات مركبة، من قبيل copper plates (صفائح نحاسية)، وwalnut oil (زيت الجوز)، وwood block (قالب خشبي)؛ والغرض منه أن نرى هل يحسن GPT-3 التعامل مع الوسوم المتداخلة.

<!--Output-->
copper plates: <m>copper plates</m>
walnut oil: <m><pa>walnut</pa> oil</m>
wood block: <m>wood block</m>

وهنا تتفاوت النتائج: فلم يصب Davinci-codex إلا في walnut oil، وفاته الوسمان المتداخلان tl وm في copper plates وwood block. غير أن هذه الأخطاء تخف، كما يُظهر الاختبار التالي، بموجّه تدريب أحسن. فبعد أن أضفت خمسة أمثلة أخرى على الوسوم المتداخلة، عاد Davinci-codex بنتيجة تكاد تكون كاملة، لم يخطئ فيها إلا مرة واحدة (oil paintbrushes):

<!--Output-->
cannon powder: <m><wp>cannon</wp> powder</m>
arquebus powder: <m><wp>arquebus</wp> powder</m>
oil paintbrushes: <m><al>oil</al> paintbrushes</m>
sheep footbones: <m><al>sheep</al> footbones</m>
bronze mortar: <tl><m>bronze</m> mortar</tl>

خاتمة

ينبغي ألا يغيب عن البال أن هذه الاختبارات أُجريت على شذرات نصية قصيرة. وأحسب أن إغناء الأمثلة والموجّه بمزيد من السياق سيخرج من نماذج GPT-3 نتائج أفضل، وأن الضبط الدقيق للنموذج على مجموعات تدريب مخصوصة سيرفع دقة الوسم أكثر فأكثر.
ولئن كانت هذه التجارب لا تزال بحاجة إلى أن تُجرى على نطاق أوسع لإثبات موثوقية النماذج اللغوية المدرَّبة مسبقًا، فإنه يسعنا أن نخلص إلى أن هذه المقاربة تمكّن المحققين من أتمتة عدة مهام من مهام التعليق في خطوات يسيرة، وقد توفر عليهم في ذلك قدرًا هائلًا من الوقت والمال.