किफ़ायती संपादन |

पूर्व-प्रशिक्षित भाषा मॉडलों से बड़े पैमाने पर ग्रंथसूची की पार्सिंग

Thu, 07 Jul 2022 19:04:14 +0200

डिजिटल मानविकी की परियोजनाओं की लागत घटानी है, तो कुंजी है स्वचालन। आज तक अकादमिक दुनिया में संपादकीय काम से जुड़े दोहराव भरे और उबाऊ काम या तो पहले से बोझ तले दबे शोधकर्ता भारी ख़र्च पर करते आए हैं, या फिर उन्हें छात्रों को “आउटसोर्स” कर दिया जाता रहा है। में मेरी दलील है कि इन बेगार जैसे कामों में से ज़्यादातर को स्वचालित किया जा सकता है, यही नहीं, किया जाना चाहिए। संपादकीय कामों का स्वचालन डिजिटल मानविकी की परियोजनाओं की कुल लागत घटाता है। और सबसे अहम बात, यह कम आय वाले क्षेत्रों के शोधकर्ताओं को बहुमूल्य दस्तावेज़ जल्दी और सस्ते में प्रकाशित करने का रास्ता देता है।

में मैंने मिसाल के तौर पर दिखाया था कि पूर्व-प्रशिक्षित भाषा मॉडल किसी डिजिटल संस्करण की XML लेबलिंग का ज़्यादातर काम कैसे सँभाल सकते हैं।

इस पोस्ट में मैं दूसरी मिसाल पेश करता हूँ – इस बार ग्रंथसूची की।

समस्या

किसी शोध-लेख में उल्लिखित संदर्भों से ग्रंथसूची-डेटाबेस बनाना काफ़ी सीधा काम है। आप जैसे कैटलॉग में झटपट खोज कर सकते हैं, संदर्भ को किसी ख़ास प्रारूप में डाउनलोड कर सकते हैं, या उसे स्थानीय डेटाबेस से स्वतः आयात कर सकते हैं। एक-दो लेखों के साथ यह ठीक चलता है। लेकिन संदर्भों की एक निश्चित संख्या के बाद यह काम उबाऊ और समय खाने वाला बन जाता है। इसके इलाज के लिए जैसे पार्सिंग एल्गोरिद्म इस्तेमाल किए जा सकते हैं। पर इन एल्गोरिद्मों को बड़े पैमाने पर चलाना मुश्किल हो सकता है। जब मैंने हमारे में शामिल 150 से ज़्यादा शोध-निबंधों को anystyle से बदलने की कोशिश की, तो जमा हुई ग़लतियाँ सँभालने लायक़ ही नहीं रहीं। वह हमारे कई स्रोतों को ठीक से पहचान नहीं पाया – मसलन, आरंभिक आधुनिक काल की किताबों के लंबे-लंबे शीर्षकों को कुछ और ही समझ बैठा – और कम प्रचलित दस्तावेज़ों, जैसे ख़ास वेबपेजों या ऑनलाइन वीडियो, को पहचानने में भी नाकाम रहा। पार्सर तभी ठीक काम करते हैं, जब लेखक Chicago, Turabian या MLA जैसी किसी जानी-मानी शैली के नियमों का धर्म की तरह पालन करे। मानक से ज़रा-सा हटे नहीं कि ग़लतियाँ शुरू।

समाधान

यहीं पूर्व-प्रशिक्षित भाषा मॉडल काम आते हैं, क्योंकि वे किसी भी ग्रंथसूची-शैली के पैटर्न झट से समझ लेते हैं – आपकी अपनी ईजाद की हुई शैली के भी – और चंद उदाहरणों के सहारे स्वरूपित ग्रंथसूची के बड़े ढेर को ठीक-ठीक में बदल देते हैं।

2021 की शुरुआत में मुझे सौभाग्य से OpenAI के तक शुरुआती पहुँच मिल गई थी। Codex ऐसा मॉडल है जो प्राकृतिक भाषा को कोड में और कोड को प्राकृतिक भाषा में बदलने देता है। OpenAI का दावा है कि यह एक दर्जन से ज़्यादा प्रोग्रामिंग भाषाओं में दक्ष है, और हालाँकि यह पोस्ट लिखे जाने तक इसका API अभी बीटा संस्करण के रूप में ही उपलब्ध है, यह GitHub के जैसे लोकप्रिय ऐप्लिकेशनों को पहले से चला रहा है।

इस API से थोड़ा खेलने के बाद मुझे एहसास हुआ कि यह BibTeX जैसे सरल कोड के साथ भी बहुत अच्छा काम कर सकता है।

और सचमुच, इसे भरोसेमंद ढंग से चलाने के लिए मुझे इनपुट प्रॉम्प्ट में सिर्फ़ चार उदाहरण देने पड़े।

इनपुट प्रॉम्प्ट

References: Bayle, Ariane. “Patients exemplaires: la correspondance médicale de Fioravanti.” In Vulgariser la médecine. Du style médical en France et en Italie, edited by Andrea Carlino and Michel Jeanneret, 181–212. Geneva: Droz, 2009.

Berns, Andrew D. The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth. Cambridge: Cambridge University Press, 2015.

Gabler, Hans Walter. “Theorizing the Digital Scholarly Edition.” Literature Compass 7, no. 2 (2010): 43–56. .

Findlen, Paula. Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy. Berkeley: University of California Press, 1994.

@incollection{bayle2009,
 author = {Bayle, Ariane},
 booktitle = {Vulgariser la médecine. Du style médical en France et en Italie},
 title = {Patients exemplaires: la correspondance médicale de Fioravanti},
 editor = {Carlino, Andrea and Michel Jeanneret},
 year = {2009},
 address = {Geneva},
 publisher = {Droz},
 langid = {french}
}
@book{berns2015,
 title = {The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth},
 author = {Berns, Andrew D.},
 address = {Cambridge},
 publisher = {Cambridge University Press},
 langid = {english},
 date = {2015}
}
@article{gabler2010,
 author = {Gabler, Hans Walter},
 title = {Theorizing the Digital Scholarly Edition},
 journal = {Literature Compass},
 volume = {7},
 number = {2},
 pages = {43-56},
 doi = {10.1111/j.1741-4113.2009.00675.x},
 langid = {english},
 year = {2010}
}
@book{findlen1994,
 title = {Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy},
 author = {Findlen, Paula},
 address = {Berkeley},
 publisher = {University of California Press},
 langid = {english},
 date = {1994}
}

नतीजे

चौंकाने वाले हैं: 2,000 से ज़्यादा ग्रंथसूची-संदर्भ चंद दिनों में बदल गए। इस तरीक़े ने मेरे इनपुट प्रॉम्प्ट में दिखाए पैटर्न को सटीक ढंग से दोहराया ही नहीं, बल्कि ऐसे प्रविष्टि-प्रकार और फ़ील्ड-प्रकार भी सही-सही जोड़ दिए, जो इनपुट प्रॉम्प्ट में थे ही नहीं। दूसरे शब्दों में, GPT-3 BibTeX में पूरी तरह धाराप्रवाह है। और मूलतः अंग्रेज़ी में प्रशिक्षित मॉडल के लिए शायद ज़्यादा हैरानी की बात यह कि उसने सारी भाषाएँ (रूसी, फ़्रांसीसी, इतालवी, लातीनी, यूनानी, जर्मन, स्पेनी वग़ैरह) पहचान लीं और हर बार सही langid फ़ील्ड जोड़ा।

टिप्पणी

GPT-3 के इनपुट और आउटपुट का आकार फ़िलहाल सीमित है: यह अधिकतम 2048 भाषाई टोकन प्रोसेस कर सकता है। यह सीमा हटते ही यही काम शायद एक घंटे या उससे भी कम में हो जाएगा।

कुछ अप्रत्याशित ढंग से, GPT-3 ने ऐसी जानकारी भी जोड़ी जो मूल संदर्भों में नहीं थी।

Baillot, Anne, and Anna Busch. “Editing for Man and Machine.” In Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting, Vol. 13. Variants (Journal of the European Society for Textual Scholarship). Leicester, 2015.

मसलन, इस ग्रंथसूची-संदर्भ में GPT-3 ने उस ओपन-एक्सेस रिपॉज़िटरी ( ) का स्थायी लिंक जोड़ दिया, जहाँ यह लेख पढ़ा जा सकता है – HAL रिपॉज़िटरी की बनाई ख़ास फ़ील्डें HAL_ID और HAL_VERSION समेत:

@inproceedings{baillot2015,
 title = {Editing for Man and Machine},
 author = {Baillot, Anne and Busch, Anna},
 year = 2015,
 booktitle = {Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting},
 address = {Leicester},
 series = {Variants (Journal of the European Society for Textual Scholarship)},
 volume = 13,
 editor = {Bruhn, Siglinde and Schreiber, Manfred},
 langid = {english},
 hal_id = {halshs-01233380},
 hal_version = {v1}
}

ये जोड़ बताते हैं कि GPT-3 ग्रंथसूची-संदर्भ को सिर्फ़ पार्स नहीं करता, बल्कि जो कुछ उसने पहले सीखा है, उसके आधार पर उसे पूरा भी करता है। इस लिहाज़ से यह देखना दिलचस्प होगा कि GPT-3 के प्रशिक्षण के बाद की तारीख़ों वाले संदर्भों के साथ भी वह ऐसा ही करता है या नहीं…

सीमाएँ

पर GPT-3 बेदाग़ नहीं है। उस पर इंसान की निगरानी ज़रूरी है। उसकी एक जानी-मानी कमज़ोरी है: कभी-कभी वह चीज़ें गढ़ लेता है और कुछ अटपटी धारणाएँ बना लेता है।

मेरे प्रयोग में GPT-3 की असंगति के दौरे तब ज़ाहिर हुए, जब उसने अपने-आप एक लेखक का कुलनाम “Ruscelli” से बदलकर “Ruscello” कर दिया। तकनीकी तौर पर यह ग़लती नहीं है, क्योंकि आरंभिक आधुनिक काल के इतालवी कुलनाम बहुवचन या एकवचन में बिना भेद के इस्तेमाल हो सकते थे। लेकिन आज का रिवाज यह है कि कुलनाम बहुवचन में हो या एकवचन में, उसे जस का तस रखा जाए। आज कोई Machiavelli को Machiavello नहीं कहेगा, ठीक जैसे हमसे Rosselli नहीं, Rossello नाम इस्तेमाल करने की अपेक्षा की जाती है। क्या GPT-3 ने कालक्रम-बोध की कमी के कारण इस रिवाज को अनदेखा किया? या फिर उसने आसपास के कुलनामों के आधार पर धारणा बना ली, जो ग्रंथसूची के इस हिस्से में संयोग से सभी एकवचन में हैं (Bariletto, Cesano, Rossello)? कौन जाने।

@book{rossello1565,
 title = {Della summa de’ secreti universali},
 author = {Rossello, Timoteo},
 address = {Venice},
 publisher = {Giovanni Bariletto},
 langid = {italian},
 date = {1565}
}
@book{ruscello1559,
 title = {La seconda parte de’ secreti del Reverendo Donno Alessio Piemontese},
 author = {Ruscello, Girolamo},
 address = {Pesaro},
 publisher = {Bartolomeo Cesano},
 langid = {italian},
 date = {1559}
}

निष्कर्ष

चार साल के गहन सहयोग में लिखे गए, 150 से ज़्यादा निबंध न सिर्फ़ उस पांडुलिपि के बारे में अहम जानकारी देते हैं, जिसका हमने संपादन और अनुवाद किया, बल्कि बहुमूल्य ग्रंथसूची-सामग्री भी समेटे हैं।

इन ग्रंथसूची-संदर्भों को एक डेटाबेस में जुटा लेने से संपादक पलक झपकते ग्रंथसूची का प्रारूप बदल सकते हैं, और इस जानकारी को मनचाहे ढंग से दिखाने की ज़्यादा छूट पा जाते हैं। यह डेटाबेस संस्करण और उसे संभव बनाने वाली परियोजना के बारे में भी बहुमूल्य जानकारी देता है, और शोधकर्ताओं के लिए विश्लेषण के नए दरवाज़े खोलता है। ऐसा डेटाबेस ऊँची सटीकता के साथ और रिकॉर्ड समय में पूरा किया जा सकता है।

माना कि कुछ ग़लतियाँ घुस सकती हैं – ख़ास तौर पर GPT-3 की मतिभ्रम की प्रवृत्ति के कारण। लेकिन पूर्व-प्रशिक्षित भाषा मॉडलों के आने वाले संस्करण इस समस्या को कम कर देंगे।

डिजिटल विद्वत्तापूर्ण संस्करणों में मार्कअप का स्वचालन

Mon, 22 Nov 2021 18:15:00 +0000

भूमिका

तिजोरी ख़ाली किए बिना डिजिटल विद्वत्तापूर्ण संस्करण कैसे बनाए जाएँ? किफ़ायती संपादन पर समर्पित शृंखला की इस पहली पोस्ट में मैं जायज़ा लेता हूँ कि सिमेंटिक मार्कअप जैसे संपादकीय कामों के स्वचालन में पूर्व-प्रशिक्षित भाषा मॉडल क्या भूमिका निभा सकते हैं।

सामग्री तालिका

समस्या

प्रेम का श्रम

प्रेम में हिसाब कौन रखता है… कहावत तो यही कहती है। डिजिटल विद्वत्तापूर्ण संस्करणों पर यह ख़ास तौर पर लागू होती है: उन्हें तैयार करने में प्रतिलेखन, अनुवाद और टिप्पणी का जो काम लगता है, वह हज़ारों घंटों का है, और – जैसा कि के मामले में हुआ – सैकड़ों उच्च-योग्य सहयोगी उसे अंजाम देते हैं।

एक अर्थ में यह वरदान ही है कि डिजिटल मानविकी की चर्चित परियोजनाएँ अपने संचालन के लिए ज़रूरी भारी-भरकम धनराशि जुटा पाती हैं। लेकिन धनी फ़ाउंडेशनों, विश्वविद्यालयों और सरकारी एजेंसियों की उदारता पर इतनी निर्भरता, और लंबे अरसे तक बड़े मानव-संसाधन की ज़रूरत – यह भविष्य के लिए कोई टिकाऊ आर्थिक मॉडल नहीं है।

दरअसल, अगर हम चाहते हैं कि दुनिया भर के शोधकर्ता ऐतिहासिक दस्तावेज़ों को व्यापक जनता तक पहुँचाएँ, तो डिजिटल आलोचनात्मक संस्करणों की लागत कई गुना नहीं, कई दर्जे घटनी चाहिए ।

ऊँची दहलीज़

कुछ विरोधाभासी ढंग से, समाधान जैसी श्रमसाध्य परियोजनाओं से ही आ सकता है, क्योंकि वे एक बहुमूल्य प्रशिक्षण-सामग्री हैं – डिजिटल संपादन के सबसे खीज पैदा करने वाले और दोहराव भरे कामों, जैसे मार्कअप, को स्वचालित करने के लिए।

ऐसा नहीं कि मार्कअप ग़ैर-ज़रूरी है। सच तो यह है कि मार्कअप किसी भी गंभीर डिजिटल विद्वत्तापूर्ण परियोजना का अनिवार्य अंग बन चुका है। द्वारा मानकीकृत यह हमें दस्तावेज़ और उसके ज़रिये आने वाले पाठ के अधिक से अधिक पहलू दर्ज करने देता है: संरचना, हाशिये की टिप्पणियाँ, काट-छाँट, पाठांतर, काग़ज़ का प्रकार, धब्बे, लिखावट… जो चाहे गिन लीजिए।

से लिया गया यह उदाहरण दिखाता है कि मार्कअप पाठ को अतिरिक्त जानकारी (श्रेणी, संरचना, सिमेंटिक क्षेत्र, काट-छाँट आदि) से कैसे समृद्ध करता है, और अंततः डिजिटल संस्करणों को उनके काग़ज़ी पूर्वजों पर एक बड़ी बढ़त देता है।

Plain Text XML Markup

Plain Text	XML Markup
`Pour rompre grenades et donner violence aux artifices de foeu Mects parmy la pouldre et la sixiesme partye dicelle de vif argent`	`<div id="p008r_2" categories="arms and armor"> <head>Pour rompre <wp>grenades</wp> et donner<lb/> violence aux <wp>artifices de foeu</wp></head> <ab>Mects parmy la <m>pouldre</m> <del><ms>six fois autant</ms> de <m>vif argent</m></del><lb/> <del>et</del> <ms>la sixiesme partye</ms> dicelle de <m>vif argent</m></ab> </div>`

Pour rompre grenades et donner
violence aux artifices de foeu

Mects parmy la pouldre et la sixiesme
partye dicelle de vif argent

<div id="p008r_2" categories="arms and armor">
<head>Pour rompre <wp>grenades</wp> et donner<lb/>
violence aux <wp>artifices de foeu</wp></head>
<ab>Mects parmy la <m>pouldre</m>
<del><ms>six fois autant</ms> de
<m>vif argent</m></del><lb/>
<del>et</del> <ms>la sixiesme partye</ms>
 dicelle de <m>vif argent</m></ab>
</div>

यह जानकारी अभिलेखीय उद्देश्यों के लिए तो मूल्यवान है ही, संश्लेषण और विश्लेषण के लिए भी है – जैसा मैं पहले कई मौक़ों पर दिखा चुका हूँ। फिर भी, इस तरह की टिप्पणी में बेहद समय लग सकता है, क्योंकि एक ही पाठ अक्सर कई रूपों में उपलब्ध कराना पड़ता है: अनुवाद के रूप में, प्रतिलेखन के रूप में, आधुनिकीकृत रूप में, वग़ैरह।

समाधान

ट्रांसफ़ॉर्मर: स्वचालन का सबसे सरल रास्ता?

2020 में ने ख़ूब ढोल-नगाड़ों के साथ सामान्य-उद्देश्य वाले बड़े पैमाने के भाषा मॉडलों का अपना नया परिवार जारी किया – GPT-3, यानी “Generative Pre-trained Transformer 3”। ट्रांसफ़ॉर्मर कृत्रिम बुद्धि में हाल की एक बड़ी उपलब्धि हैं। वे नए काम प्रभावशाली रफ़्तार से सीखते हैं – बस एक प्रॉम्प्ट पढ़कर और बहुत थोड़े-से उदाहरण देखकर। उन्हें किसी ख़ास डेटासेट से अतिरिक्त प्रशिक्षण (फ़ाइन-ट्यूनिंग) भी दिया जा सकता है, जिससे प्रतिक्रिया-समय और सटीकता दोनों सुधरते हैं। इसीलिए GPT-3 और उस जैसे ट्रांसफ़ॉर्मरों को कहा जाता है।

OpenAI का दावा है कि GPT-3 में रिकॉर्ड 175 अरब पैरामीटर हैं और उसे 570 GB से ज़्यादा पाठ पर प्रशिक्षित किया गया है, जिसका ज़्यादातर हिस्सा संभवतः से लिए गए अंग्रेज़ी दस्तावेज़ हैं। अपने विशाल आकार के बल पर GPT-3 ने इस क्षेत्र में नया मानदंड स्थापित कर दिया है: बिना किसी अतिरिक्त तैयारी के वह तरह-तरह के काम बेचैन कर देने वाली सजीवता से कर डालता है। वह विश्वसनीय लिखता है, चैट रूम में , , , दस्तावेज़ों का अनुवाद करता है, तकनीकी शब्दजाल समझाता है, वग़ैरह।

मई 2021 से OpenAI के API तक शुरुआती पहुँच होने के कारण मैं मॉडल की क्षमता को कई कथित रूप से कठिन कामों पर आज़मा सका हूँ: फ़्रांसीसी कविता और नव-लातीनी पाठों का अंग्रेज़ी अनुवाद, उपमाओं की व्याख्या, यहाँ तक कि कांट के Groundwork for a Metaphysics of Morals के तीसरे खंड को सात साल के बच्चे के लिए सरल बनाना (हालाँकि वह कुछ ख़ास जमा नहीं)।

Codex

GPT-3 के ताज़ा विकासों में से एक कंप्यूटर भाषाओं पर केंद्रित है। Codex नाम का यह मॉडल प्राकृतिक भाषा को कंप्यूटर भाषा में और कंप्यूटर भाषा को प्राकृतिक भाषा में बदलता है। मिसाल के तौर पर, अगर मुझे ऐसा रेगुलर एक्सप्रेशन चाहिए जो “सिर्फ़ बड़े अक्षर से शुरू होने वाले शब्द ढूँढ़े”, तो GPT-3 झट से इसे एक काम करने वाले रेगुलर एक्सप्रेशन में बदल देता है: [A-Z]+\w+।

OpenAI का दावा है कि Codex एक दर्जन कंप्यूटर भाषाओं के साथ काम कर सकता है, जिनमें Python, JavaScript, Go, Perl, PHP, Ruby और Swift शामिल हैं। छद्म-कोड को सहजता से कोड में बदलकर Codex लोगों को इस लायक़ बनाता है कि वे किसी कंप्यूटर भाषा के थकाऊ सिंटैक्स पर नहीं, बल्कि उन तार्किक चरणों और रणनीतियों पर ध्यान दें, जिनसे ऐप्लिकेशन समस्याएँ सुलझाते हैं।

OpenAI से आगे

ज़ाहिर है, OpenAI मैदान में अकेला खिलाड़ी नहीं है। जैसा पहले कहा, Beijing Academy for Artificial Intelligence ने 2021 में उससे भी बड़े और अधिक सक्षम मॉडल Wu Dao 2 की घोषणा की। Nvidia और Microsoft ने हाथ मिलाकर Megatron-Turing NLG 530B नाम का – नाम के अनुरूप ही विशाल – मॉडल बनाया। और जैसे छोटे स्टार्ट-अप भी जनता को API उपलब्ध कराते हैं। जैसी ओपन-सोर्स पहलों का ज़िक्र भी ज़रूरी है। एआई की दुनिया, ज़ाहिर है, बहुत तेज़ी से बदल रही है; इस क्षेत्र की नई पहलों पर नज़र रखने के लिए देखिए।

प्रयोग

टिप्पणी

इन प्रयोगों का उद्देश्य संपादकीय कामों के भरोसेमंद स्वचालन का सबसे किफ़ायती रास्ता ढूँढ़ना है। कोई कह सकता है कि इनमें से कुछ काम पर्यवेक्षित लर्निंग एल्गोरिद्मों से भी स्वचालित किए जा सकते हैं। इस परिकल्पना को हम आगे किसी पोस्ट में परखेंगे।

क्या GPT-3 जैसा ट्रांसफ़ॉर्मर, मसलन, सोलहवीं सदी की किसी तकनीकी और वैज्ञानिक पांडुलिपि पर टिप्पणी करना सीख सकता है?

प्रयोग 1 – पाठ का वर्गीकरण

शुरुआत अपेक्षाकृत सरल चीज़ से करते हैं। “few-shot learner” होने के नाते GPT-3 को जल्दी समझ लेना चाहिए कि हमारी संपादकीय टीम ने Ms Fr 640 की प्रविष्टियों को कैसे वर्गीकृत किया है।

प्रॉम्प्ट इंजीनियरिंग

उसे प्रशिक्षित करने के लिए मैंने एक बहुत ही न्यूनतम प्रॉम्प्ट इस्तेमाल किया और उदाहरण के तौर पर सादे पाठ की चार छोटी प्रविष्टियाँ चुनीं – जिनमें “medicine”, “arms and armor” और “painting” की एक-एक प्रविष्टि शामिल थी।

परीक्षण

फिर मैंने एक और अंश कॉपी किया, जो शुरुआती क्रम में नहीं था:

Working neatly
Never put down, if you can, two colors one on top of the other.
But next, having made your design carefully, keep the place of shadows for them alone,
& also separately that of lights & highlights, without layering one color all over & then highlighting or else shading on it.
And in this way, you further your work, economize your colors & work neatly.
Which is the reason that, the colors not being muddled nor mixed together, they do not die & you soften the colors better, since they are not so thick.

आउटपुट विषय-वस्तु से पूरी तरह मेल खाता है:

<categories="painting">

अब अगर ऐसी प्रविष्टि आज़माएँ, जिसकी श्रेणी GPT-3 को प्रशिक्षित करने के लिए चुने गए शुरुआती पाठों में शामिल ही नहीं थी, तो नतीजा हैरान करता है।

<categories="jewelry">

नतीजा

Ms. Fr. 640 के हमारे संस्करण में “jewelry” श्रेणी है ही नहीं। संपादकीय टीम ने “Stones” की व्यापक श्रेणी को । फिर भी GPT-3 की सूझ अच्छी है, और यह संकेत देती है कि थोड़े और प्रशिक्षण से वह Ms. Fr. 640 की किसी भी प्रविष्टि को – और शायद सोलहवीं सदी के मिलते-जुलते तकनीकी पाठों की प्रविष्टियों को भी – वर्गीकृत करना सीख सकता है।

प्रयोग 2 – सिमेंटिक मार्कअप

अब दहलीज़ थोड़ी ऊँची करते हैं। अगर GPT-3 जैसे ट्रांसफ़ॉर्मर पाठों को ख़ास संपादकीय कसौटियों के अनुसार वर्गीकृत करना सीख सकते हैं, तो क्या वे पाठ के कुछ मार्कअप की पहचान भी कर सकते हैं?

टिप्पणी

Secrets of Craft and Nature सिमेंटिक और संरचनात्मक लेबलों का पेश करता है। दुर्भाग्य से GPT-3 छवियाँ प्रोसेस नहीं करता, जबकि जैसी दूसरी परियोजनाएँ करती हैं। संभावना है कि GPT के आने वाले संस्करणों में यह क्षमता होगी, जो किसी दस्तावेज़ के ज़्यादातर संरचनात्मक और भौतिक पहलुओं को पहचानने के लिए ज़रूरी है। हम इन ख़ास टैगों को छोड़ देंगे और उस मार्कअप पर ध्यान देंगे, जिसके लिए छवि-पहचान की ज़रूरत नहीं।

प्रॉम्प्ट इंजीनियरिंग

सिमेंटिक टैगों में जानवरों, पौधों, स्थान-नामों, इंद्रिय-अनुभवों आदि के संदर्भ शामिल हैं। प्रशिक्षण-प्रॉम्प्ट में मैंने संस्करण से कुछ उदाहरण चुने:

<!--Input prompt-->
The following is a list of words and their corresponding semantic tags

cannons: <wp>cannons</wp>
powder: <m>powder</m>
flasks: <tl>flasks</tl>
wooden: <m>wooden</m>
iron: <m>iron</m>
parchment: <m>parchment</m>
goats: <al>goats</al>
lambs: <al>lambs</al>
leather: <m>leather</m>
earth: <m>earth</m>
fine fatty earth: <m>fine fatty earth</m>
Venice: <pl>Venice</pl>
Flemish: <pl>Flemish</pl>
almond: <pa>almond</pa>
almond oil: <m><pa>almond</pa> oil</m>
walnuts skin: <m><pa>walnuts</pa> skin</m>
molten lead: <m>molten lead</m>
today: <tmp>today</tmp>
In the past: <tmp>In the past</tmp>
Clockmakers: <pro>Clockmakers</pro>
red copper: <m>red copper</m>
crucible: <tl>crucible</tl>
bellows: <tl>bellows</tl>
charcoal: <m>charcoal</m>
founders: <pro>founders</pro>

परीक्षण

Davinci-codex मॉडल के साथ कुछ आसान शब्द आज़माते हैं, जैसे Apothecary, smoke, glassmakers, latten और snake। नतीजे तुरंत और बेदाग़ हैं:

<!--Output-->
Apothecary: <pro>Apothecary</pro>
smoke: <m>smoke<m>
glassmakers: <pro>glassmakers</pro>
latten: <m>latten</m>
snake: <al>snake</al>

कठिन परीक्षा में copper plates, walnut oil और wood block जैसे यौगिक शब्द आते हैं। इस परीक्षा का मक़सद यह देखना है कि GPT-3 नेस्टेड टैगों को ठीक से सँभालता है या नहीं।

<!--Output-->
copper plates: <m>copper plates</m>
walnut oil: <m><pa>walnut</pa> oil</m>
wood block: <m>wood block</m>

पर नतीजे मिले-जुले हैं: Davinci-codex ने सिर्फ़ walnut oil को सही लेबल किया और copper plates तथा wood block में tl और m के नेस्टेड टैग पकड़ने में चूक गया। हालाँकि, जैसा अगली परीक्षा नीचे दिखाती है, बेहतर प्रशिक्षण-प्रॉम्प्ट से इन ग़लतियों को कम किया जा सकता है। नेस्टेड टैगों के पाँच और उदाहरण जोड़ने के बाद Davinci-codex ने लगभग बेदाग़ नतीजा दिया, बस एक ग़लती के साथ (oil paintbrushes):

<!--Output-->
cannon powder: <m><wp>cannon</wp> powder</m>
arquebus powder: <m><wp>arquebus</wp> powder</m>
oil paintbrushes: <m><al>oil</al> paintbrushes</m>
sheep footbones: <m><al>sheep</al> footbones</m>
bronze mortar: <tl><m>bronze</m> mortar</tl>

निष्कर्ष

यह याद रखना ज़रूरी है कि ये परीक्षण छोटे-छोटे पाठ-खंडों पर किए गए। मेरा अनुमान है कि उदाहरणों और प्रॉम्प्ट में ज़्यादा संदर्भ देने पर GPT-3 मॉडल और भी बेहतर नतीजे देंगे। इसके अलावा, ख़ास प्रशिक्षण-डेटासेट से मॉडल की फ़ाइन-ट्यूनिंग लेबलिंग की सटीकता को निस्संदेह और बढ़ाएगी।
पूर्व-प्रशिक्षित भाषा मॉडलों की विश्वसनीयता साबित करने के लिए ये प्रयोग अभी बड़े पैमाने पर दोहराए जाने बाक़ी हैं, फिर भी हम इतना निष्कर्ष निकाल सकते हैं कि यह तरीक़ा संपादकों को टिप्पणी के कई काम चंद आसान क़दमों में स्वचालित करने देता है, और इस प्रक्रिया में समय और धन की भारी बचत की संभावना रखता है।