تصحیح کارآمد |

تجزیهٔ کتاب‌شناختی در مقیاس بزرگ با مدل‌های زبانی پیش‌آموخته

Thu, 07 Jul 2022 19:04:14 +0200

خودکارسازی کلید کاهش هزینهٔ پروژه‌های علوم انسانی دیجیتال است. تا امروز، کارهای تکراری و ملال‌آور تصحیح در محیط‌های دانشگاهی یا با هزینهٔ گزاف بر دوش پژوهشگرانِ غرق در کار افتاده، یا به دانشجویان «برون‌سپاری» شده است. در این استدلال می‌کنم که بیشتر این کارهای ناسپاس نه‌فقط می‌توانند، بلکه باید خودکار شوند. خودکارسازی کارهای تصحیح هزینهٔ کلی پروژه‌های علوم انسانی دیجیتال را پایین می‌آورد. و مهم‌تر از آن، به پژوهشگران مناطق کم‌درآمد امکان می‌دهد اسناد ارزشمند را سریع و ارزان منتشر کنند.

در برای نمونه نشان دادم که مدل‌های زبانی پیش‌آموخته چگونه می‌توانند بیشتر کار برچسب‌زنی XML یک نسخهٔ دیجیتال را بر عهده بگیرند.

در این یادداشت نمونهٔ دومی می‌آورم، این بار با کتاب‌شناسی.

مسئله

ساختن یک پایگاه‌دادهٔ کتاب‌شناختی از ارجاع‌های یک مقالهٔ علمی کار چندان پیچیده‌ای نیست. می‌توان در فهرستی مانند جست‌وجویی سریع کرد و ارجاع را در قالبی مشخص دانلود کرد، یا آن را خودکار از پایگاه‌داده‌ای محلی وارد کرد. این روش برای یکی دو مقاله خوب جواب می‌دهد. اما از شمار معینی ارجاع به بعد، کار خشک و وقت‌گیر می‌شود. برای چاره، می‌توان از الگوریتم‌های تجزیه مانند کمک گرفت. اما مقیاس دادن به این الگوریتم‌ها دشوار است. وقتی anystyle را برای تبدیل بیش از 150 جستار علمیِ گنجانده‌شده در به کار بردم، حجم خطاهای انباشته به‌سادگی مدیریت‌شدنی نبود. بسیاری از منابع ما را درست تشخیص نداد؛ مثلاً عنوان‌های بلند کتاب‌های اوایل دورهٔ مدرن را با چیز دیگری اشتباه گرفت، و اسناد کمتر متعارف مانند صفحه‌های وب خاص، ویدئوهای آنلاین و مانند این‌ها را نشناخت. تجزیه‌گرها به شرطی خوب کار می‌کنند که نویسنده مو به مو از قواعد یک شیوه‌نامهٔ شناخته‌شده مانند Chicago، Turabian یا MLA پیروی کند. هر انحرافی از هنجار به خطا می‌انجامد.

راه حل

اینجاست که مدل‌های زبانی پیش‌آموخته به کار می‌آیند، چون الگوهای هر سبک کتاب‌شناختی را به‌سرعت درمی‌یابند ، حتی سبکی که خودتان ابداع کرده باشید، و تنها با چند مثال، حجم بزرگی از کتاب‌شناسیِ قالب‌بندی‌شده را به‌درستی به برمی‌گردانند.

در اوایل 2021 این بخت را داشتم که به شرکت OpenAI دسترسی زودهنگام پیدا کنم. Codex مدلی است که به کاربران امکان می‌دهد زبان طبیعی را به کد ترجمه کنند و برعکس. OpenAI مدعی است این مدل در بیش از ده‌دوازده زبان برنامه‌نویسی چیره‌دست است، و هرچند API آن در زمان نوشتن این یادداشت هنوز به‌صورت بتا در دسترس است، همین حالا موتور برنامه‌های محبوبی مانند گیت‌هاب است.

پس از کمی ور رفتن با این API، دریافتم که با کدهای ساده‌تری مانند BibTeX هم بسیار خوب کار می‌کند.

و در واقع تنها با چهار مثال در پرامپت ورودی توانستم آن را به‌طور قابل اعتمادی به کار بیندازم.

پرامپت ورودی

References: Bayle, Ariane. “Patients exemplaires: la correspondance médicale de Fioravanti.” In Vulgariser la médecine. Du style médical en France et en Italie, edited by Andrea Carlino and Michel Jeanneret, 181–212. Geneva: Droz, 2009.

Berns, Andrew D. The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth. Cambridge: Cambridge University Press, 2015.

Gabler, Hans Walter. “Theorizing the Digital Scholarly Edition.” Literature Compass 7, no. 2 (2010): 43–56. .

Findlen, Paula. Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy. Berkeley: University of California Press, 1994.

@incollection{bayle2009,
 author = {Bayle, Ariane},
 booktitle = {Vulgariser la médecine. Du style médical en France et en Italie},
 title = {Patients exemplaires: la correspondance médicale de Fioravanti},
 editor = {Carlino, Andrea and Michel Jeanneret},
 year = {2009},
 address = {Geneva},
 publisher = {Droz},
 langid = {french}
}
@book{berns2015,
 title = {The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth},
 author = {Berns, Andrew D.},
 address = {Cambridge},
 publisher = {Cambridge University Press},
 langid = {english},
 date = {2015}
}
@article{gabler2010,
 author = {Gabler, Hans Walter},
 title = {Theorizing the Digital Scholarly Edition},
 journal = {Literature Compass},
 volume = {7},
 number = {2},
 pages = {43-56},
 doi = {10.1111/j.1741-4113.2009.00675.x},
 langid = {english},
 year = {2010}
}
@book{findlen1994,
 title = {Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy},
 author = {Findlen, Paula},
 address = {Berkeley},
 publisher = {University of California Press},
 langid = {english},
 date = {1994}
}

نتایج

چشمگیر است: بیش از 2,000 ارجاع کتاب‌شناختی ظرف چند روز تبدیل شد. این رویکرد نه‌فقط الگوی پرامپت ورودی مرا دقیق بازتولید کرد، بلکه انواع مدخل و فیلدهایی را هم که در پرامپت ورودی نبودند به‌درستی افزود. به عبارت دیگر، GPT-3 به BibTeX کاملاً مسلط است. و شاید شگفت‌انگیزتر، برای مدلی که اساساً به انگلیسی آموزش دیده، همهٔ زبان‌ها (روسی، فرانسوی، ایتالیایی، لاتین، یونانی، آلمانی، اسپانیایی و جز این‌ها) را تشخیص داد و هر بار فیلد langid درست را افزود.

نکته

GPT-3 در حال حاضر اندازهٔ ورودی و خروجی محدودی دارد و حداکثر 2048 توکن زبانی را پردازش می‌کند. به محض برداشته شدن این محدودیت، همین کار احتمالاً یک ساعت یا کمتر طول خواهد کشید.

تا حدی غیرمنتظره، GPT-3 اطلاعاتی را هم افزود که در ارجاع‌های اصلی نبود.

Baillot, Anne, and Anna Busch. “Editing for Man and Machine.” In Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting, Vol. 13. Variants (Journal of the European Society for Textual Scholarship). Leicester, 2015.

در این ارجاع کتاب‌شناختی، برای نمونه، GPT-3 پیوند دائمی مخزن دسترسی آزاد ( ) را که مقاله در آن خواندنی است افزود، همراه با فیلدهای اختصاصی HAL_ID و HAL_VERSION که مخزن HAL ساخته است:

@inproceedings{baillot2015,
 title = {Editing for Man and Machine},
 author = {Baillot, Anne and Busch, Anna},
 year = 2015,
 booktitle = {Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting},
 address = {Leicester},
 series = {Variants (Journal of the European Society for Textual Scholarship)},
 volume = 13,
 editor = {Bruhn, Siglinde and Schreiber, Manfred},
 langid = {english},
 hal_id = {halshs-01233380},
 hal_version = {v1}
}

این افزوده‌ها نشان می‌دهند که GPT-3 تنها ارجاع کتاب‌شناختی را تجزیه نمی‌کند، بلکه آن را بر پایهٔ آنچه در آموزش اولیه آموخته تکمیل هم می‌کند. از این نظر جالب خواهد بود ببینیم با ارجاع‌هایی که تاریخشان پس از آموزش GPT-3 است نیز همین رفتار را دارد یا نه…

محدودیت‌ها

با این حال GPT-3 بی‌عیب نیست و به نظارت انسانی نیاز دارد. یکی از محدودیت‌های شناخته‌شده‌اش است: گاهی چیزهایی از خود می‌سازد و فرض‌های نامحتملی می‌کند.

در آزمایش من، ناسازگاری‌های GPT-3 آنجا آشکار شد که خودسرانه نام خانوادگی نویسنده‌ای را از «Ruscelli» به «Ruscello» تغییر داد. این از نظر فنی خطا نیست، چون نام‌های خانوادگی ایتالیایی در اوایل دورهٔ مدرن را می‌شد بی‌تفاوت به صورت جمع یا مفرد به کار برد. اما قرارداد امروز این است که نام خانوادگی، جمع باشد یا مفرد، همان‌طور که هست نگه داشته شود. امروز هیچ‌کس ماکیاوللی را ماکیاوللو نمی‌خواند، همان‌طور که از ما انتظار می‌رود به جای Rosselli بگوییم Rossello. آیا GPT-3 این قرارداد را از سر بی‌خبری از گاه‌شماری نادیده گرفته؟ یا بر پایهٔ نام‌های خانوادگی همسایه، که در این بخش از کتاب‌شناسی همگی اتفاقاً مفردند (Bariletto، Cesano، Rossello)، فرضی کرده است؟ که می‌داند.

@book{rossello1565,
 title = {Della summa de’ secreti universali},
 author = {Rossello, Timoteo},
 address = {Venice},
 publisher = {Giovanni Bariletto},
 langid = {italian},
 date = {1565}
}
@book{ruscello1559,
 title = {La seconda parte de’ secreti del Reverendo Donno Alessio Piemontese},
 author = {Ruscello, Girolamo},
 address = {Pesaro},
 publisher = {Bartolomeo Cesano},
 langid = {italian},
 date = {1559}
}

نتیجه‌گیری

بیش از 150 جستارِ ، که حاصل چهار سال همکاری فشرده است، نه‌فقط اطلاعات حیاتی‌ای دربارهٔ دست‌نویسی که تصحیح و ترجمه کردیم به دست می‌دهند، بلکه اطلاعات کتاب‌شناختی ارزشمندی نیز در خود دارند.

گرد آوردن این ارجاع‌های کتاب‌شناختی در یک پایگاه‌داده به مصححان امکان می‌دهد قالب کتاب‌شناسی را در چشم‌به‌هم‌زدنی تغییر دهند و این اطلاعات را هر طور که می‌خواهند نمایش دهند. این پایگاه‌داده اطلاعات ارزشمندی نیز دربارهٔ نسخه و پروژه‌ای که آن را ممکن ساخت به دست می‌دهد و چشم‌اندازهای تحلیلی تازه‌ای پیش روی پژوهشگران می‌گشاید. چنین پایگاه‌داده‌ای را می‌توان با دقتی بالا و در زمانی بی‌سابقه تکمیل کرد.

البته ممکن است خطاهایی رخنه کنند، به‌ویژه به سبب گرایش GPT-3 به توهم. اما نسل‌های آیندهٔ مدل‌های زبانی پیش‌آموخته این مشکل را کاهش خواهند داد.

خودکارسازی نشانه‌گذاری در نسخه‌های علمی دیجیتال

Mon, 22 Nov 2021 18:15:00 +0000

مقدمه

چگونه می‌توان نسخه‌های علمی دیجیتال را بی‌آنکه خزانه را خالی کند تولید کرد؟ در این یادداشت، که نخستین از سلسله‌یادداشت‌هایی دربارهٔ تصحیح کارآمد است، نقشی را می‌سنجم که مدل‌های زبانی پیش‌آموخته می‌توانند در خودکارسازی کارهای تصحیح، از جمله نشانه‌گذاری معنایی، ایفا کنند.

فهرست مطالب

مسئله

کار عاشقانه

در کار عشق حساب و کتاب نمی‌کنند… یا دست‌کم ضرب‌المثل قدیمی چنین می‌گوید. این حرف دربارهٔ نسخه‌های علمی دیجیتال به‌ویژه صادق است، چرا که بازنویسی، ترجمه و حاشیه‌نویسیِ لازم برای ساختن آن‌ها هزاران ساعت کار می‌طلبد؛ کاری که در مورد صدها همکار بسیار متخصص بر عهده گرفتند.

از یک نظر، اینکه پروژه‌های پرآوازهٔ علوم انسانی دیجیتال می‌توانند بودجه‌های هنگفتِ لازم برای ادامهٔ کار را به دست آورند، موهبتی است. اما اتکای سنگین به دست‌ودل‌بازی بنیادهای ثروتمند، دانشگاه‌ها و نهادهای دولتی، و نیاز درازمدت به نیروی انسانی فراوان، الگوی اقتصادی پایداری برای آینده نیست.

در واقع، اگر می‌خواهیم پژوهشگران سراسر جهان را تشویق کنیم که اسناد تاریخی را در دسترس عموم بگذارند، هزینهٔ تصحیح‌های انتقادی دیجیتال باید چندین مرتبهٔ بزرگی کاهش یابد .

آستانه‌ای بلند

شاید کمی تناقض‌آمیز بنماید، اما راه حل چه بسا از دل همین پروژه‌های پرزحمت مانند بیرون بیاید، زیرا این‌ها مجموعهٔ آموزشی ارزشمندی‌اند برای خودکار کردن برخی از خشک‌ترین و تکراری‌ترین کارهای تصحیح دیجیتال، از جمله نشانه‌گذاری.

نه اینکه نشانه‌گذاری بی‌اهمیت باشد. برعکس، نشانه‌گذاری به جزء جدایی‌ناپذیر هر پروژهٔ علمی دیجیتالِ جدی بدل شده است. این کار، که آن را استاندارد کرده، به ما امکان می‌دهد تا آنجا که ممکن است جنبه‌های سند و متنی را که سند حامل آن است ثبت کنیم: ساختار، حاشیه‌نوشته‌ها، خط‌خوردگی‌ها، نسخه‌بدل‌ها، نوع کاغذ، لکه‌ها، خوشنویسی… هر چه بخواهید.

نمونهٔ زیر، برگرفته از ، نشان می‌دهد که نشانه‌گذاری چگونه متن را با اطلاعات افزوده (مقوله، ساختار، حوزه‌های معنایی، خط‌خوردگی‌ها و جز آن) غنی می‌کند و در نهایت به نسخه‌های دیجیتال برتری چشمگیری بر نیاکان کاغذی‌شان می‌بخشد.

Plain Text XML Markup

Plain Text	XML Markup
`Pour rompre grenades et donner violence aux artifices de foeu Mects parmy la pouldre et la sixiesme partye dicelle de vif argent`	`<div id="p008r_2" categories="arms and armor"> <head>Pour rompre <wp>grenades</wp> et donner<lb/> violence aux <wp>artifices de foeu</wp></head> <ab>Mects parmy la <m>pouldre</m> <del><ms>six fois autant</ms> de <m>vif argent</m></del><lb/> <del>et</del> <ms>la sixiesme partye</ms> dicelle de <m>vif argent</m></ab> </div>`

Pour rompre grenades et donner
violence aux artifices de foeu

Mects parmy la pouldre et la sixiesme
partye dicelle de vif argent

<div id="p008r_2" categories="arms and armor">
<head>Pour rompre <wp>grenades</wp> et donner<lb/>
violence aux <wp>artifices de foeu</wp></head>
<ab>Mects parmy la <m>pouldre</m>
<del><ms>six fois autant</ms> de
<m>vif argent</m></del><lb/>
<del>et</del> <ms>la sixiesme partye</ms>
 dicelle de <m>vif argent</m></ab>
</div>

این اطلاعات نه‌فقط برای آرشیو ارزشمند است، بلکه چنان‌که پیش‌تر در جاهای دیگر نشان داده‌ام، به کار ترکیب و تحلیل هم می‌آید. با این حال، این نوع حاشیه‌نویسی می‌تواند بی‌اندازه وقت‌گیر باشد، چرا که یک متن واحد اغلب باید به چند صورت در دسترس باشد: به‌صورت ترجمه، بازنویسی، نسخهٔ امروزی‌شده و جز آن.

راه حل

ترنسفورمرها: ساده‌ترین راه خودکارسازی؟

در سال 2020، با سر و صدای بسیار تازه‌ترین خانوادهٔ مدل‌های زبانی بزرگ و همه‌منظوره‌اش را با نام GPT-3 عرضه کرد؛ نامی که کوتاه‌شدهٔ «Generative Pre-trained Transformer 3» است. ترنسفورمرها دستاورد نسبتاً تازه‌ای در هوش مصنوعی‌اند. با سرعتی چشمگیر کارهای تازه می‌آموزند: کافی است یک پرامپت بخوانند و شمار بسیار اندکی مثال ببینند. می‌توان آن‌ها را با مجموعه‌داده‌ای اختصاصی نیز آموزش تکمیلی داد (ریزتنظیم) تا سرعت پاسخ و دقتشان بهتر شود. از همین رو می‌گوییم GPT-3 و ترنسفورمرهای همانند آن (few-shot) هستند.

OpenAI مدعی است که GPT-3 رقم بی‌سابقهٔ 175 میلیارد پارامتر دارد و بر بیش از 570 گیگابایت متن آموزش دیده که بیشترشان اسناد انگلیسی‌اند و احتمالاً از گرفته شده‌اند. GPT-3 به لطف ابعاد عظیمش معیار تازه‌ای در این حوزه گذاشته و بی‌هیچ آماده‌سازی، کارهای گوناگونی را با واقع‌نمایی نگران‌کننده‌ای انجام می‌دهد. باورپذیر می‌نویسد، در اتاق‌های گفت‌وگو ، ، ، اسناد را ترجمه می‌کند، اصطلاحات تخصصی را توضیح می‌دهد، و جز این‌ها.

از مه 2021 به API شرکت OpenAI دسترسی زودهنگام داشته‌ام و توانسته‌ام توان این مدل را در حل شماری از کارهای به‌اصطلاح دشوار بیازمایم: ترجمهٔ شعر فرانسوی و متون نولاتین به انگلیسی، توضیح قیاس‌ها، و حتی ساده کردن کتاب چهارم بنیاد مابعدالطبیعهٔ اخلاق کانت برای کودکی هفت‌ساله (هرچند نه چندان قانع‌کننده).

Codex

یکی از تازه‌ترین تحولات GPT-3 بر زبان‌های رایانه‌ای متمرکز است. این مدل، که Codex نام دارد، زبان طبیعی را به زبان رایانه ترجمه می‌کند و برعکس. مثلاً اگر دنبال عبارتی باقاعده باشم که «فقط واژه‌هایی را پیدا کند که با حرف بزرگ آغاز می‌شوند»، GPT-3 بی‌درنگ آن را به یک عبارت باقاعدهٔ کارآمد برمی‌گرداند: [A-Z]+\w+.

OpenAI مدعی است که Codex با ده‌دوازده زبان رایانه‌ای، از جمله Python، JavaScript، Go، Perl، PHP، Ruby و Swift کار می‌کند. Codex با تبدیل روان شبه‌کد به کد، به آدم‌ها امکان می‌دهد به جای نحو خسته‌کنندهٔ یک زبان رایانه‌ای، بر گام‌های منطقی و راهبردهایی تمرکز کنند که برنامه‌ها به کمکشان مسئله حل می‌کنند.

فراتر از OpenAI

البته OpenAI تنها بازیگر این میدان نیست. چنان‌که پیش‌تر اشاره شد، آکادمی هوش مصنوعی پکن در 2021 مدلی حتی بزرگ‌تر و تواناتر به نام Wu Dao 2 را اعلام کرد. Nvidia و Microsoft دست به دست هم دادند و مدلی با نام برازندهٔ Megatron-Turing NLG 530B ساختند. استارتاپ‌های کوچک‌تری مانند و نیز APIهایی به عموم عرضه می‌کنند. ابتکارهای متن‌باز مانند هم شایان ذکرند. صحنهٔ هوش مصنوعی البته با شتاب دگرگون می‌شود؛ برای دنبال کردن ابتکارهای تازهٔ این حوزه، به سر بزنید.

آزمایش‌ها

نکته

هدف این آزمایش‌ها یافتن اقتصادی‌ترین راه به خودکارسازی قابل اعتماد کارهای تصحیح است. می‌توان گفت برخی از این کارها را با الگوریتم‌های یادگیری بانظارت نیز می‌توان خودکار کرد. این فرضیه را در یادداشتی دیگر خواهیم کاوید.

آیا ترنسفورمری مانند GPT-3 می‌تواند یاد بگیرد که مثلاً یک دست‌نویس فنی و علمی سدهٔ شانزدهم را حاشیه‌نویسی کند؟

آزمایش 1 – دسته‌بندی متن.

با چیزی نسبتاً ساده شروع کنیم. GPT-3، به‌عنوان «یادگیرندهٔ چندنمونه‌ای»، باید بتواند به‌سرعت دریابد که گروه تصحیح ما مدخل‌های Ms Fr 640 را چگونه دسته‌بندی کرده است.

مهندسی پرامپت

برای آموزش آن، پرامپتی بسیار کمینه به کار بردم و چهار مدخل کوتاه متن ساده را به‌عنوان مثال برگزیدم، از جمله یکی دربارهٔ «پزشکی»، یکی «سلاح و زره» و یکی «نقاشی».

آزمون

سپس قطعهٔ دیگری را که در توالی اولیه نبود کپی کردم:

Working neatly
Never put down, if you can, two colors one on top of the other.
But next, having made your design carefully, keep the place of shadows for them alone,
& also separately that of lights & highlights, without layering one color all over & then highlighting or else shading on it.
And in this way, you further your work, economize your colors & work neatly.
Which is the reason that, the colors not being muddled nor mixed together, they do not die & you soften the colors better, since they are not so thick.

خروجی کاملاً با محتوا سازگار است:

<categories="painting">

اگر مدخلی را بیازماییم که به مقوله‌ای تعلق دارد که حتی در گزینش اولیهٔ متن‌های آموزشی GPT-3 نبوده، نتیجه شگفت‌آور است.

<categories="jewelry">

نتیجه

مقولهٔ «jewelry» (جواهرات) در نسخهٔ ما از Ms. Fr. 640 وجود ندارد. گروه تصحیح مقولهٔ گسترده‌تر «Stones» (سنگ‌ها) را . با این حال شمّ GPT-3 خوب است و نشان می‌دهد که با اندکی آموزش بیشتر می‌تواند دسته‌بندی هر مدخل Ms. Fr. 640، و شاید حتی متون فنی مشابه سدهٔ شانزدهم، را بیاموزد.

آزمایش 2 – نشانه‌گذاری معنایی

سطح کار را کمی بالاتر ببریم. اگر ترنسفورمرهایی چون GPT-3 می‌توانند دسته‌بندی متن‌ها را بر پایهٔ معیارهای خاص یک تصحیح بیاموزند، آیا می‌توانند بخشی از نشانه‌گذاری متن را هم تشخیص دهند؟

نکته

Secrets of Craft and Nature از برچسب‌های معنایی و ساختاری به کار می‌برد. متأسفانه GPT-3، برخلاف پروژه‌هایی مانند ، تصویر پردازش نمی‌کند. به احتمال زیاد نسل‌های بعدی GPT این قابلیت را، که برای تشخیص بیشتر جنبه‌های ساختاری و مادی یک سند ضروری است، خواهند داشت. از این برچسب‌های خاص می‌گذریم و در عوض بر نشانه‌گذاری‌ای تمرکز می‌کنیم که به تشخیص تصویر نیاز ندارد.

مهندسی پرامپت

برچسب‌های معنایی شامل ارجاع به جانوران، گیاهان، جای‌نام‌ها، داده‌های حسی و مانند این‌هاست. در پرامپت آموزشی، چند نمونه از نسخه را برگزیدم:

<!--Input prompt-->
The following is a list of words and their corresponding semantic tags

cannons: <wp>cannons</wp>
powder: <m>powder</m>
flasks: <tl>flasks</tl>
wooden: <m>wooden</m>
iron: <m>iron</m>
parchment: <m>parchment</m>
goats: <al>goats</al>
lambs: <al>lambs</al>
leather: <m>leather</m>
earth: <m>earth</m>
fine fatty earth: <m>fine fatty earth</m>
Venice: <pl>Venice</pl>
Flemish: <pl>Flemish</pl>
almond: <pa>almond</pa>
almond oil: <m><pa>almond</pa> oil</m>
walnuts skin: <m><pa>walnuts</pa> skin</m>
molten lead: <m>molten lead</m>
today: <tmp>today</tmp>
In the past: <tmp>In the past</tmp>
Clockmakers: <pro>Clockmakers</pro>
red copper: <m>red copper</m>
crucible: <tl>crucible</tl>
bellows: <tl>bellows</tl>
charcoal: <m>charcoal</m>
founders: <pro>founders</pro>

آزمون

چند واژهٔ ساده را با مدل Davinci-codex بیازماییم، مانند Apothecary، smoke، glassmakers، latten و snake. نتیجه فوری و بی‌نقص است:

<!--Output-->
Apothecary: <pro>Apothecary</pro>
smoke: <m>smoke<m>
glassmakers: <pro>glassmakers</pro>
latten: <m>latten</m>
snake: <al>snake</al>

آزمون دشوارتر، واژه‌های مرکبی چون copper plates، walnut oil و wood block را به میان می‌آورد. هدف این آزمون آن است که ببینیم GPT-3 برچسب‌های تودرتو را درست به کار می‌برد یا نه.

<!--Output-->
copper plates: <m>copper plates</m>
walnut oil: <m><pa>walnut</pa> oil</m>
wood block: <m>wood block</m>

نتیجه اما دوگانه است: Davinci-codex تنها walnut oil را درست برچسب زد و برچسب‌های تودرتوی tl و m را در copper plates و wood block تشخیص نداد. با این حال، چنان‌که آزمون بعدی در زیر نشان می‌دهد، این خطاها را می‌توان با پرامپت آموزشی بهتری کاهش داد. پس از افزودن پنج نمونهٔ دیگر از برچسب‌های تودرتو، Davinci-codex نتیجه‌ای تقریباً بی‌نقص برگرداند، با تنها یک خطا (oil paintbrushes):

<!--Output-->
cannon powder: <m><wp>cannon</wp> powder</m>
arquebus powder: <m><wp>arquebus</wp> powder</m>
oil paintbrushes: <m><al>oil</al> paintbrushes</m>
sheep footbones: <m><al>sheep</al> footbones</m>
bronze mortar: <tl><m>bronze</m> mortar</tl>

نتیجه‌گیری

نباید از یاد برد که این آزمون‌ها با قطعه‌های کوتاهی از متن انجام شد. گمان می‌کنم اگر در مثال‌ها و پرامپت زمینهٔ بیشتری فراهم شود، مدل‌های GPT-3 نتایج بهتری هم بدهند. افزون بر این، ریزتنظیم مدل با مجموعه‌داده‌های آموزشی اختصاصی بی‌تردید دقت برچسب‌زنی را باز هم بالا خواهد برد.
هرچند این آزمایش‌ها باید در مقیاسی بزرگ‌تر تکرار شوند تا قابل اعتماد بودن مدل‌های زبانی پیش‌آموخته اثبات شود، همین حالا می‌توان نتیجه گرفت که این رویکرد به مصححان امکان می‌دهد چندین کار حاشیه‌نویسی را در چند گام ساده خودکار کنند و از این راه بالقوه زمان و هزینهٔ هنگفتی را صرفه‌جویی کنند.