वर्तमान शोध |

The Spy Who Wished Them Well

Sun, 12 Dec 2021 00:00:00 +0000

और जानकारी जल्द ही।

डिजिटल विद्वत्तापूर्ण संस्करणों में मार्कअप का स्वचालन

Mon, 22 Nov 2021 18:15:00 +0000

भूमिका

तिजोरी ख़ाली किए बिना डिजिटल विद्वत्तापूर्ण संस्करण कैसे बनाए जाएँ? किफ़ायती संपादन पर समर्पित शृंखला की इस पहली पोस्ट में मैं जायज़ा लेता हूँ कि सिमेंटिक मार्कअप जैसे संपादकीय कामों के स्वचालन में पूर्व-प्रशिक्षित भाषा मॉडल क्या भूमिका निभा सकते हैं।

सामग्री तालिका

समस्या

प्रेम का श्रम

प्रेम में हिसाब कौन रखता है… कहावत तो यही कहती है। डिजिटल विद्वत्तापूर्ण संस्करणों पर यह ख़ास तौर पर लागू होती है: उन्हें तैयार करने में प्रतिलेखन, अनुवाद और टिप्पणी का जो काम लगता है, वह हज़ारों घंटों का है, और – जैसा कि के मामले में हुआ – सैकड़ों उच्च-योग्य सहयोगी उसे अंजाम देते हैं।

एक अर्थ में यह वरदान ही है कि डिजिटल मानविकी की चर्चित परियोजनाएँ अपने संचालन के लिए ज़रूरी भारी-भरकम धनराशि जुटा पाती हैं। लेकिन धनी फ़ाउंडेशनों, विश्वविद्यालयों और सरकारी एजेंसियों की उदारता पर इतनी निर्भरता, और लंबे अरसे तक बड़े मानव-संसाधन की ज़रूरत – यह भविष्य के लिए कोई टिकाऊ आर्थिक मॉडल नहीं है।

दरअसल, अगर हम चाहते हैं कि दुनिया भर के शोधकर्ता ऐतिहासिक दस्तावेज़ों को व्यापक जनता तक पहुँचाएँ, तो डिजिटल आलोचनात्मक संस्करणों की लागत कई गुना नहीं, कई दर्जे घटनी चाहिए ।

ऊँची दहलीज़

कुछ विरोधाभासी ढंग से, समाधान जैसी श्रमसाध्य परियोजनाओं से ही आ सकता है, क्योंकि वे एक बहुमूल्य प्रशिक्षण-सामग्री हैं – डिजिटल संपादन के सबसे खीज पैदा करने वाले और दोहराव भरे कामों, जैसे मार्कअप, को स्वचालित करने के लिए।

ऐसा नहीं कि मार्कअप ग़ैर-ज़रूरी है। सच तो यह है कि मार्कअप किसी भी गंभीर डिजिटल विद्वत्तापूर्ण परियोजना का अनिवार्य अंग बन चुका है। द्वारा मानकीकृत यह हमें दस्तावेज़ और उसके ज़रिये आने वाले पाठ के अधिक से अधिक पहलू दर्ज करने देता है: संरचना, हाशिये की टिप्पणियाँ, काट-छाँट, पाठांतर, काग़ज़ का प्रकार, धब्बे, लिखावट… जो चाहे गिन लीजिए।

से लिया गया यह उदाहरण दिखाता है कि मार्कअप पाठ को अतिरिक्त जानकारी (श्रेणी, संरचना, सिमेंटिक क्षेत्र, काट-छाँट आदि) से कैसे समृद्ध करता है, और अंततः डिजिटल संस्करणों को उनके काग़ज़ी पूर्वजों पर एक बड़ी बढ़त देता है।

Plain Text XML Markup

Plain Text	XML Markup
`Pour rompre grenades et donner violence aux artifices de foeu Mects parmy la pouldre et la sixiesme partye dicelle de vif argent`	`<div id="p008r_2" categories="arms and armor"> <head>Pour rompre <wp>grenades</wp> et donner<lb/> violence aux <wp>artifices de foeu</wp></head> <ab>Mects parmy la <m>pouldre</m> <del><ms>six fois autant</ms> de <m>vif argent</m></del><lb/> <del>et</del> <ms>la sixiesme partye</ms> dicelle de <m>vif argent</m></ab> </div>`

Pour rompre grenades et donner
violence aux artifices de foeu

Mects parmy la pouldre et la sixiesme
partye dicelle de vif argent

<div id="p008r_2" categories="arms and armor">
<head>Pour rompre <wp>grenades</wp> et donner<lb/>
violence aux <wp>artifices de foeu</wp></head>
<ab>Mects parmy la <m>pouldre</m>
<del><ms>six fois autant</ms> de
<m>vif argent</m></del><lb/>
<del>et</del> <ms>la sixiesme partye</ms>
 dicelle de <m>vif argent</m></ab>
</div>

यह जानकारी अभिलेखीय उद्देश्यों के लिए तो मूल्यवान है ही, संश्लेषण और विश्लेषण के लिए भी है – जैसा मैं पहले कई मौक़ों पर दिखा चुका हूँ। फिर भी, इस तरह की टिप्पणी में बेहद समय लग सकता है, क्योंकि एक ही पाठ अक्सर कई रूपों में उपलब्ध कराना पड़ता है: अनुवाद के रूप में, प्रतिलेखन के रूप में, आधुनिकीकृत रूप में, वग़ैरह।

समाधान

ट्रांसफ़ॉर्मर: स्वचालन का सबसे सरल रास्ता?

2020 में ने ख़ूब ढोल-नगाड़ों के साथ सामान्य-उद्देश्य वाले बड़े पैमाने के भाषा मॉडलों का अपना नया परिवार जारी किया – GPT-3, यानी “Generative Pre-trained Transformer 3”। ट्रांसफ़ॉर्मर कृत्रिम बुद्धि में हाल की एक बड़ी उपलब्धि हैं। वे नए काम प्रभावशाली रफ़्तार से सीखते हैं – बस एक प्रॉम्प्ट पढ़कर और बहुत थोड़े-से उदाहरण देखकर। उन्हें किसी ख़ास डेटासेट से अतिरिक्त प्रशिक्षण (फ़ाइन-ट्यूनिंग) भी दिया जा सकता है, जिससे प्रतिक्रिया-समय और सटीकता दोनों सुधरते हैं। इसीलिए GPT-3 और उस जैसे ट्रांसफ़ॉर्मरों को कहा जाता है।

OpenAI का दावा है कि GPT-3 में रिकॉर्ड 175 अरब पैरामीटर हैं और उसे 570 GB से ज़्यादा पाठ पर प्रशिक्षित किया गया है, जिसका ज़्यादातर हिस्सा संभवतः से लिए गए अंग्रेज़ी दस्तावेज़ हैं। अपने विशाल आकार के बल पर GPT-3 ने इस क्षेत्र में नया मानदंड स्थापित कर दिया है: बिना किसी अतिरिक्त तैयारी के वह तरह-तरह के काम बेचैन कर देने वाली सजीवता से कर डालता है। वह विश्वसनीय लिखता है, चैट रूम में , , , दस्तावेज़ों का अनुवाद करता है, तकनीकी शब्दजाल समझाता है, वग़ैरह।

मई 2021 से OpenAI के API तक शुरुआती पहुँच होने के कारण मैं मॉडल की क्षमता को कई कथित रूप से कठिन कामों पर आज़मा सका हूँ: फ़्रांसीसी कविता और नव-लातीनी पाठों का अंग्रेज़ी अनुवाद, उपमाओं की व्याख्या, यहाँ तक कि कांट के Groundwork for a Metaphysics of Morals के तीसरे खंड को सात साल के बच्चे के लिए सरल बनाना (हालाँकि वह कुछ ख़ास जमा नहीं)।

Codex

GPT-3 के ताज़ा विकासों में से एक कंप्यूटर भाषाओं पर केंद्रित है। Codex नाम का यह मॉडल प्राकृतिक भाषा को कंप्यूटर भाषा में और कंप्यूटर भाषा को प्राकृतिक भाषा में बदलता है। मिसाल के तौर पर, अगर मुझे ऐसा रेगुलर एक्सप्रेशन चाहिए जो “सिर्फ़ बड़े अक्षर से शुरू होने वाले शब्द ढूँढ़े”, तो GPT-3 झट से इसे एक काम करने वाले रेगुलर एक्सप्रेशन में बदल देता है: [A-Z]+\w+।

OpenAI का दावा है कि Codex एक दर्जन कंप्यूटर भाषाओं के साथ काम कर सकता है, जिनमें Python, JavaScript, Go, Perl, PHP, Ruby और Swift शामिल हैं। छद्म-कोड को सहजता से कोड में बदलकर Codex लोगों को इस लायक़ बनाता है कि वे किसी कंप्यूटर भाषा के थकाऊ सिंटैक्स पर नहीं, बल्कि उन तार्किक चरणों और रणनीतियों पर ध्यान दें, जिनसे ऐप्लिकेशन समस्याएँ सुलझाते हैं।

OpenAI से आगे

ज़ाहिर है, OpenAI मैदान में अकेला खिलाड़ी नहीं है। जैसा पहले कहा, Beijing Academy for Artificial Intelligence ने 2021 में उससे भी बड़े और अधिक सक्षम मॉडल Wu Dao 2 की घोषणा की। Nvidia और Microsoft ने हाथ मिलाकर Megatron-Turing NLG 530B नाम का – नाम के अनुरूप ही विशाल – मॉडल बनाया। और जैसे छोटे स्टार्ट-अप भी जनता को API उपलब्ध कराते हैं। जैसी ओपन-सोर्स पहलों का ज़िक्र भी ज़रूरी है। एआई की दुनिया, ज़ाहिर है, बहुत तेज़ी से बदल रही है; इस क्षेत्र की नई पहलों पर नज़र रखने के लिए देखिए।

प्रयोग

टिप्पणी

इन प्रयोगों का उद्देश्य संपादकीय कामों के भरोसेमंद स्वचालन का सबसे किफ़ायती रास्ता ढूँढ़ना है। कोई कह सकता है कि इनमें से कुछ काम पर्यवेक्षित लर्निंग एल्गोरिद्मों से भी स्वचालित किए जा सकते हैं। इस परिकल्पना को हम आगे किसी पोस्ट में परखेंगे।

क्या GPT-3 जैसा ट्रांसफ़ॉर्मर, मसलन, सोलहवीं सदी की किसी तकनीकी और वैज्ञानिक पांडुलिपि पर टिप्पणी करना सीख सकता है?

प्रयोग 1 – पाठ का वर्गीकरण

शुरुआत अपेक्षाकृत सरल चीज़ से करते हैं। “few-shot learner” होने के नाते GPT-3 को जल्दी समझ लेना चाहिए कि हमारी संपादकीय टीम ने Ms Fr 640 की प्रविष्टियों को कैसे वर्गीकृत किया है।

प्रॉम्प्ट इंजीनियरिंग

उसे प्रशिक्षित करने के लिए मैंने एक बहुत ही न्यूनतम प्रॉम्प्ट इस्तेमाल किया और उदाहरण के तौर पर सादे पाठ की चार छोटी प्रविष्टियाँ चुनीं – जिनमें “medicine”, “arms and armor” और “painting” की एक-एक प्रविष्टि शामिल थी।

परीक्षण

फिर मैंने एक और अंश कॉपी किया, जो शुरुआती क्रम में नहीं था:

Working neatly
Never put down, if you can, two colors one on top of the other.
But next, having made your design carefully, keep the place of shadows for them alone,
& also separately that of lights & highlights, without layering one color all over & then highlighting or else shading on it.
And in this way, you further your work, economize your colors & work neatly.
Which is the reason that, the colors not being muddled nor mixed together, they do not die & you soften the colors better, since they are not so thick.

आउटपुट विषय-वस्तु से पूरी तरह मेल खाता है:

<categories="painting">

अब अगर ऐसी प्रविष्टि आज़माएँ, जिसकी श्रेणी GPT-3 को प्रशिक्षित करने के लिए चुने गए शुरुआती पाठों में शामिल ही नहीं थी, तो नतीजा हैरान करता है।

<categories="jewelry">

नतीजा

Ms. Fr. 640 के हमारे संस्करण में “jewelry” श्रेणी है ही नहीं। संपादकीय टीम ने “Stones” की व्यापक श्रेणी को । फिर भी GPT-3 की सूझ अच्छी है, और यह संकेत देती है कि थोड़े और प्रशिक्षण से वह Ms. Fr. 640 की किसी भी प्रविष्टि को – और शायद सोलहवीं सदी के मिलते-जुलते तकनीकी पाठों की प्रविष्टियों को भी – वर्गीकृत करना सीख सकता है।

प्रयोग 2 – सिमेंटिक मार्कअप

अब दहलीज़ थोड़ी ऊँची करते हैं। अगर GPT-3 जैसे ट्रांसफ़ॉर्मर पाठों को ख़ास संपादकीय कसौटियों के अनुसार वर्गीकृत करना सीख सकते हैं, तो क्या वे पाठ के कुछ मार्कअप की पहचान भी कर सकते हैं?

टिप्पणी

Secrets of Craft and Nature सिमेंटिक और संरचनात्मक लेबलों का पेश करता है। दुर्भाग्य से GPT-3 छवियाँ प्रोसेस नहीं करता, जबकि जैसी दूसरी परियोजनाएँ करती हैं। संभावना है कि GPT के आने वाले संस्करणों में यह क्षमता होगी, जो किसी दस्तावेज़ के ज़्यादातर संरचनात्मक और भौतिक पहलुओं को पहचानने के लिए ज़रूरी है। हम इन ख़ास टैगों को छोड़ देंगे और उस मार्कअप पर ध्यान देंगे, जिसके लिए छवि-पहचान की ज़रूरत नहीं।

प्रॉम्प्ट इंजीनियरिंग

सिमेंटिक टैगों में जानवरों, पौधों, स्थान-नामों, इंद्रिय-अनुभवों आदि के संदर्भ शामिल हैं। प्रशिक्षण-प्रॉम्प्ट में मैंने संस्करण से कुछ उदाहरण चुने:

<!--Input prompt-->
The following is a list of words and their corresponding semantic tags

cannons: <wp>cannons</wp>
powder: <m>powder</m>
flasks: <tl>flasks</tl>
wooden: <m>wooden</m>
iron: <m>iron</m>
parchment: <m>parchment</m>
goats: <al>goats</al>
lambs: <al>lambs</al>
leather: <m>leather</m>
earth: <m>earth</m>
fine fatty earth: <m>fine fatty earth</m>
Venice: <pl>Venice</pl>
Flemish: <pl>Flemish</pl>
almond: <pa>almond</pa>
almond oil: <m><pa>almond</pa> oil</m>
walnuts skin: <m><pa>walnuts</pa> skin</m>
molten lead: <m>molten lead</m>
today: <tmp>today</tmp>
In the past: <tmp>In the past</tmp>
Clockmakers: <pro>Clockmakers</pro>
red copper: <m>red copper</m>
crucible: <tl>crucible</tl>
bellows: <tl>bellows</tl>
charcoal: <m>charcoal</m>
founders: <pro>founders</pro>

परीक्षण

Davinci-codex मॉडल के साथ कुछ आसान शब्द आज़माते हैं, जैसे Apothecary, smoke, glassmakers, latten और snake। नतीजे तुरंत और बेदाग़ हैं:

<!--Output-->
Apothecary: <pro>Apothecary</pro>
smoke: <m>smoke<m>
glassmakers: <pro>glassmakers</pro>
latten: <m>latten</m>
snake: <al>snake</al>

कठिन परीक्षा में copper plates, walnut oil और wood block जैसे यौगिक शब्द आते हैं। इस परीक्षा का मक़सद यह देखना है कि GPT-3 नेस्टेड टैगों को ठीक से सँभालता है या नहीं।

<!--Output-->
copper plates: <m>copper plates</m>
walnut oil: <m><pa>walnut</pa> oil</m>
wood block: <m>wood block</m>

पर नतीजे मिले-जुले हैं: Davinci-codex ने सिर्फ़ walnut oil को सही लेबल किया और copper plates तथा wood block में tl और m के नेस्टेड टैग पकड़ने में चूक गया। हालाँकि, जैसा अगली परीक्षा नीचे दिखाती है, बेहतर प्रशिक्षण-प्रॉम्प्ट से इन ग़लतियों को कम किया जा सकता है। नेस्टेड टैगों के पाँच और उदाहरण जोड़ने के बाद Davinci-codex ने लगभग बेदाग़ नतीजा दिया, बस एक ग़लती के साथ (oil paintbrushes):

<!--Output-->
cannon powder: <m><wp>cannon</wp> powder</m>
arquebus powder: <m><wp>arquebus</wp> powder</m>
oil paintbrushes: <m><al>oil</al> paintbrushes</m>
sheep footbones: <m><al>sheep</al> footbones</m>
bronze mortar: <tl><m>bronze</m> mortar</tl>

निष्कर्ष

यह याद रखना ज़रूरी है कि ये परीक्षण छोटे-छोटे पाठ-खंडों पर किए गए। मेरा अनुमान है कि उदाहरणों और प्रॉम्प्ट में ज़्यादा संदर्भ देने पर GPT-3 मॉडल और भी बेहतर नतीजे देंगे। इसके अलावा, ख़ास प्रशिक्षण-डेटासेट से मॉडल की फ़ाइन-ट्यूनिंग लेबलिंग की सटीकता को निस्संदेह और बढ़ाएगी।
पूर्व-प्रशिक्षित भाषा मॉडलों की विश्वसनीयता साबित करने के लिए ये प्रयोग अभी बड़े पैमाने पर दोहराए जाने बाक़ी हैं, फिर भी हम इतना निष्कर्ष निकाल सकते हैं कि यह तरीक़ा संपादकों को टिप्पणी के कई काम चंद आसान क़दमों में स्वचालित करने देता है, और इस प्रक्रिया में समय और धन की भारी बचत की संभावना रखता है।

पांडुलिपियों का विज़ुअलाइज़ेशन 2 (अपडेट)

Sat, 20 Nov 2021 16:00:00 +0000

वादे के मुताबिक़, में पेश किए गए इंटरैक्टिव ट्रीमैप का नया संस्करण – इस बार देखने के दो मोड के साथ।

टिप्पणी

बेहतर अनुभव के लिए वेबपेज की सेटिंग Light मोड में रखें (ऊपर दाईं ओर चंद्रमा के आइकन पर क्लिक करें)।

Group folios by category

एक नज़र में पूरा अभिलेखागार

Mon, 24 May 2021 16:00:00 +0000

समस्या

ऐतिहासिक अभिलेखागार डरावनी हद तक अस्त-व्यस्त हो सकते हैं। का Mediceo del Principato इसकी सटीक मिसाल है। उसका बस एक छोटा-सा हिस्सा सूचीबद्ध है, और उसके बहुत-से दस्तावेज़ बिना किसी ज़ाहिर वजह के 6,500 से ज़्यादा जिल्दों में बिखरे पड़े हैं। मुश्किल यहीं ख़त्म नहीं होती: अभिलेखागार एक बार में सीमित संख्या में ही जिल्दें (या filze – फ़ाइल/बस्ता – जैसा वहाँ कहते हैं) देखने देता है। सामान्य दिनों में यह सीमा प्रतिदिन 4 filze की है। महामारी के दौर में यह घटकर हर दो हफ़्ते में 4 रह गई है। विस्तृत सूचियों के अभाव में अभिलेखागार का विशाल आकार शोधकर्ताओं को मजबूर करता है कि वे मनचाहे दस्तावेज़ जल्दी ढूँढ़ने की रणनीतियाँ गढ़ें।

समाधान

कुछ लोग क़िस्मत पर छोड़ देते हैं; कुछ अन्य कालक्रम, प्राप्तकर्ता, लेखक, अभिलेख-समूह के उद्गम, भाषा वग़ैरह के आधार पर सोच-समझकर अंदाज़ा लगाने की कोशिश भी करते हैं। लेकिन इन सारे चरों को एक साथ देखने से अभिलेखागार की बनावट के अप्रत्याशित पैटर्न उभर सकते हैं और हमारे अनुमान बेहतर हो सकते हैं। मेरा अनुभव कहता है कि जो मेटाडेटा शोधकर्ता आम तौर पर किसी स्प्रेडशीट में इकट्ठा करते हैं, उसे ग्राफ़ में उतार दिया जाए तो अभिलेखागार में स्थिति-बोध काफ़ी बढ़ जाता है।

प्रयोग

मेरा वर्तमान शोध सोलहवीं सदी के एक जासूस के पत्र-व्यवहार पर केंद्रित है। उसके पत्र सैकड़ों filze में फैले हुए हैं। वे अलग-अलग पहचानों से, अलग-अलग और कभी-कभी अप्रत्याशित प्राप्तकर्ताओं को, अलग-अलग जगहों से लिखे गए हैं, और भी बहुत कुछ। जिन filze में अपेक्षित पत्र मिलने की संभावना ज़्यादा है, उन्हें ढूँढ़ने के लिए मैंने एक डैशबोर्ड बनाया है – इंटरैक्टिव डेटा विज़ुअलाइज़ेशन का एक वेब ऐप्लिकेशन ( ) – जो हर तरह के डेटा को, भौगोलिक और कालक्रमिक जानकारी समेत, अभिलेख-समूह के एक श्रेणीबद्ध आरेख ( ) से जोड़ देता है। डैशबोर्ड मुझे एक नज़र में बता देता है कि अब तक क्या मिला है, वह कुल का कितना हिस्सा है, और मोटे तौर पर यह भी कि नए पत्र कहाँ ढूँढ़े जा सकते हैं। किसी ख़ास चर पर क्लिक करते ही सारे आरेख ख़ास सहसंबंध दिखाने के लिए अपडेट भी हो जाते हैं।

अगले क़दम

शायद इससे भी अहम बात यह है कि इस डैशबोर्ड को एक दृश्य अनुक्रमणिका के रूप में नए काम में लाया जा सकता है। जब इन पत्रों का आलोचनात्मक संस्करण ऑनलाइन प्रकाशित होगा, तो यह डैशबोर्ड एक वैकल्पिक प्रवेश-द्वार का काम करेगा, जहाँ से पाठक डेटा में घूम-फिर सकेंगे। गोपनीयता के कारणों से फ़िलहाल मैं सिर्फ़ एक ढका-छिपा स्क्रीनशॉट दिखा सकता हूँ, लेकिन अगले साल पूरा डैशबोर्ड जारी करूँगा। तब तक एक प्रोटोटाइप जल्द ही उपलब्ध होगा। इंतज़ार कीजिए!

BnF Ms. Fr. 640 के सिमेंटिक मार्कअप का विज़ुअलाइज़ेशन

Sun, 20 Dec 2020 18:15:00 +0000

परिचय

डेटा-समृद्ध विद्वत्तापूर्ण संस्करणों में बहुमूल्य संपादकीय टिप्पणियाँ होती हैं, जिन्हें तरह-तरह के शोध-उद्देश्यों के लिए निकाला, विश्लेषित और विज़ुअलाइज़ किया जा सकता है। 2020 में जारी इसी तरह का संस्करण है, जो अपनी मेटाडेटा फ़ाइल अपने GitHub रिपॉज़िटरी से डाउनलोड के लिए उपलब्ध कराता है। इस पोस्ट में मैं दिखाता हूँ कि इन सारे चरों को एक सहसंबंध-मैट्रिक्स में कैसे इकट्ठा किया जाए और उन्हें अलग-अलग ढंग से कैसे देखा जाए।

डेटा

Making and Knowing Project पांडुलिपि की विषय-वस्तु की अद्यतन जानकारी वाली एक स्प्रेडशीट तैयार करता है: entry_metadata.csv। यह फ़ाइल Making & Knowing के से ली जा सकती है। वैकल्पिक रूप से, मैथ्यू कुमार के शानदार – BnF Ms. Fr. 640 का Python संस्करण – की मदद से अपनी ज़रूरत के मुताबिक़ .csv फ़ाइलें बनाई जा सकती हैं, और मार्कअप जोड़ते हुए।

Python की तैयारी

डेटा सँवारने के लिए हम Pandas, हीटमैप के लिए Matplotlib और seaborn, और आख़िर में सहसंबंध-आधारित नेटवर्क बनाने के लिए NetworkX इस्तेमाल करेंगे।
इस तरह के चरों के लिए हम Pearson विधि से बचेंगे और उसकी जगह 𝜙𝐾 विधि अपनाएँगे। इस सहसंबंध विधि और उसकी लाइब्रेरी PhiK के बारे में ।

#install packages
pip install phik

# import modules
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import networkx as nx

डेटा तैयार करें

सबसे पहले संस्करण की नवीनतम मेटाडेटा फ़ाइल उनके के metadata फ़ोल्डर से डाउनलोड करते हैं। हम सिर्फ़ ज़रूरी कॉलम चुनेंगे। इस प्रदर्शन के लिए मैं अंग्रेज़ी अनुवाद tl के सारे सिमेंटिक टैग चुन रहा हूँ, लेकिन आप फ़्रांसीसी प्रतिलेखन tc या सामान्यीकृत संस्करण tcn के टैग भी चुन सकते हैं। डेटा अर्धविराम से अलग किए गए मानों के रूप में आता है, और हमें Python से उन्हें गिनवाना है। इसके लिए हम stack-unstack विधि और रेगुलर एक्सप्रेशन [^;\s][^\;]*[^;\s]* का इस्तेमाल करेंगे। मैट्रिक्स को पढ़ने में आसान बनाने के लिए हम हर कॉलम का नाम बदल देते हैं। जल्दी में हों तो यह क़दम छोड़ सकते हैं – बस इतना याद रखें कि इस चरण पर हमारे डेटाफ़्रेम का नाम tagsrn है।

# load the edition's metadata
df = pd.read_csv('entry_metadata.csv')

# select the tags you want to correlate
dftags = df[['al_tl', 'bp_tl', 'cn_tl', 'df_tl', 'env_tl', 'm_tl', 'md_tl', 'ms_tl', 'mu_tl', 'pa_tl', 'pl_tl', 'pn_tl', 'pro_tl', 'sn_tl', 'tl_tl', 'tmp_tl', 'wp_tl', 'de_tl', 'el_tl', 'it_tl', 'la_tl', 'oc_tl', 'po_tl']]

# count comma separated values
tagcount = dftags.stack(dropna=False).str.count(r'[^;\s][^\;]*[^;\s]*').unstack()

# rename columns
tagsrn = tagcount.rename(columns={'al_tl': 'animals', 'bp_tl': 'body parts', 'cn_tl': 'currency', 'df_tl': 'definitions', 'env_tl': 'environment', 'm_tl': 'material', 'md_tl': 'medical', 'ms_tl': 'measurement', 'mu_tl': 'music', 'pa_tl': 'plant', 'pl_tl': 'toponym', 'pn_tl': 'person', 'pro_tl': 'profession', 'sn_tl': 'sensory', 'tl_tl': 'tool', 'tmp_tl': 'temporal', 'wp_tl': 'weapons', 'de_tl': 'German', 'el_tl': 'Greek', 'it_tl': 'Italian', 'la_tl': 'Italian', 'oc_tl': 'Occitan', 'po_tl': 'Poitevin'})

सहसंबंध निकालें

डेटाफ़्रेम साफ़ हो जाए, तो हर चर के बीच सहसंबंध-गुणांक निकालने की ओर बढ़ सकते हैं। इस चरण पर अपने डेटा को समझना और सबसे उपयुक्त सहसंबंध विधि चुनना ज़रूरी है। इस काम में pandas-profiling पैकेज ख़ास तौर पर मददगार है।

# calculate correlation coefficient with the phi k method
cortag = tagsrn.phik_matrix()

cortag हमारा सहसंबंध-मैट्रिक्स है। अब हम अलग-अलग तरह के विज़ुअलाइज़ेशन आज़मा सकते हैं।

विज़ुअलाइज़ करें

सबसे पहले इसे रंग-कोडित मैट्रिक्स के रूप में देखने की कोशिश करते हैं, seaborn के से।

सहसंबंध हीटमैप

f, ax = plt.subplots(figsize=(16, 14))
ax = sns.heatmap(cortag, linewidths=.03, vmin=0, cmap="Oranges", square=True)

पाठ को अच्छी तरह जानते हों, तो तुरंत दिखेगा कि हीटमैप काफ़ी हद तक तर्कसंगत है। मिसाल के तौर पर, नाम लातीनी से मज़बूती से जुड़े हैं, क्योंकि उन्हें लातीनी रूप देना उस ज़माने का – ख़ास तौर पर सोलहवीं सदी के मानववादियों का – रिवाज था।

कुछ लोग कह सकते हैं कि यह हीटमैप तो बस “सूरज को दीया दिखा” रहा है। वे पूरी तरह ग़लत नहीं हैं, और पहली नज़र में चिकित्सा-टैग इसकी मिसाल लगते हैं: वे शरीर के अंगों, मापों और पौधों से जुड़े हैं, जिसका अंदाज़ा पहले से था।

लेकिन हीटमैप को ज़्यादा ध्यान से, पंक्ति-दर-पंक्ति पढ़ें, तो कुछ दिलचस्प और अप्रत्याशित सहसंबंध मिल सकते हैं। मसलन, चिकित्सा-टैगों का इतालवी और लातीनी शब्दों से जुड़ा होना Ms. Fr. 640 के चिकित्सा-नुस्ख़ों के उद्गम का कुछ सुराग़ देता है। इसी तरह पेशों, परिभाषाओं और मापों के बीच का सहसंबंध दिखाता है कि सोलहवीं सदी के तकनीकी विमर्श को पेशेवर पहचान किस हद तक गढ़ती थी।

सहसंबंध क्लस्टरमैप

हीटमैप “खोजबीन” के संदर्भ में उपयोगी हैं, लेकिन श्रोताओं को थोड़े बिखरे-बिखरे लग सकते हैं – ख़ास तौर पर जब आप पांडुलिपि में ख़ास सिमेंटिक क्लस्टरों की चर्चा कर रहे हों, या अभी उन्हें ढूँढ़ ही रहे हों। Seaborn का clustermap मॉड्यूल दिलचस्प नतीजे दे सकता है।

clustermap = sns.clustermap(cortag, figsize=(12, 13), dendrogram_ratio=(.1, .2), vmin=0, cmap="Oranges", cbar_pos=(-.06, .12, .03, .68))

एक पिक्सेलयुक्त (जी हाँ, यह शब्द OED में है) कीड़े जैसा दिखने के अलावा, क्लस्टरमैप अलग-थलग टैगों (ऊपर और बाईं ओर) को उन टैगों से साफ़ अलग करता है जो आपस में ज़्यादा जुड़े हैं। हम अलग-थलग क्लस्टर भी पहचान सकते हैं – जैसे संगीत और प्वातवैं (किसने सोचा होगा!) – और उनके मुक़ाबले ज़्यादा केंद्रीय क्लस्टर, जैसे माप, सामग्री, परिभाषाएँ और हथियार। पेशे ज़्यादा जुड़े हुए हैं, लेकिन कम से कम इस ख़ास सहसंबंध-मैट्रिक्स में वे किसी एक क्लस्टर का हिस्सा नहीं।

सहसंबंध नेटवर्क

अगर हम अपने मैट्रिक्स के सहसंबंधों को और भी संक्षेप में समेटना चाहें, तो नेटवर्क ग्राफ़ एक सुरुचिपूर्ण समाधान है। यह ख़ास तौर पर उन संदर्भों में सच है, जहाँ हमें पांडुलिपि की विषय-वस्तु के बारे में दूसरों को बताना हो।
इसके लिए हमें अपने मैट्रिक्स को किनारों (edges) और गाँठों (nodes) की सूची में बदलना होगा और कमज़ोर सहसंबंधों को ग्राफ़ से हटाने के लिए एक दहलीज़ (threshold) तय करनी होगी।

# transform the data
links = cortag.stack().reset_index()
links.columns = ['var1', 'var2','value']

# threshold 
links_filtered = links.loc[(links['value'] > .6) & (links['var1'] != links['var2'])]
links_filtered

# create edges
G = nx.from_pandas_edgelist(links_filtered, 'var1', 'var2')

# draw network using Kamada & Kawai's algorithm 
plt.figure(3,figsize = (12,12))
nx.draw_kamada_kawai(G, with_labels = True, node_color = 'red', node_size = 400, edge_color = 'black', linewidths = 1, font_size = 14)

किनारे और गाँठें बहुत ज़्यादा हों, तो साफ़ नतीजे के लिए दहलीज़ बदली जा सकती है। वरना .write_gexf() फ़ंक्शन से ग्राफ़ को निर्यात करके Gephi में उससे खेला जा सकता है।

nx.write_gexf(G, 'graph.gexf')

नतीजा इस पोस्ट की शुरुआत में देखा जा सकता है।

अपडेट: वृत्ताकार भारित नेटवर्क

मैं सहसंबंध-मैट्रिक्स को भारित नेटवर्क के रूप में दिखाने के तरीक़े ढूँढ़ रहा था, और मुझे यह दिलचस्प तरीक़ा मिला, जिसे मैं यहाँ अपने डेटासेट के लिए ढाल रहा हूँ।

# create graph weighted by correlation coefficients (unfiltered)
Gx = nx.from_pandas_edgelist(links, 'var1', 'var2', edge_attr=['value'])

# determine a threshold to remove some edges
threshold = 0.4

# list to store edges to remove
remove = []

# loop through edges in Gx and find correlations which are below the threshold
for var1, var2 in Gx.edges():
 corr = Gx[var1][var2]['value']
 #add to remove node list if abs(corr) < threshold
 if abs(corr) < threshold:
 remove.append((var1, var2))

# remove edges contained in the remove list
Gx.remove_edges_from(remove)

print(str(len(remove)) + ' edges removed')

कुछ किनारे हटा देने के बाद हम उनका रंग और मोटाई तय कर सकते हैं।

# determine the colors of edges
def assign_colour(correlation):
 if correlation <= 0.8:
 return '#ff872c' # orange
 else:
 return '#f11d28' # red


def assign_thickness(correlation, benchmark_thickness=3, scaling_factor=3):
 return benchmark_thickness * abs(correlation)**scaling_factor


def assign_node_size(degree, scaling_factor=50):
 return degree * scaling_factor

गाँठों को भी उनके संबंधों की संख्या के अनुपात में आकार देते हैं।

# assign node size depending on number of connections (degree)
node_size = []
for key, value in dict(Gx.degree).items():
 node_size.append(assign_node_size(value))

नतीजा एक भारित ग्राफ़ है, जिसमें ज़्यादा गाँठें और कहीं ज़्यादा किनारे समा जाते हैं, और जो फिर भी पढ़ने योग्य और जानकारी से भरा रहता है।

फ़िलिप्पो कावरियाना का गुप्त पत्र-व्यवहार, 1568—1589

Fri, 27 Dec 2019 00:00:00 +0000

फ़िलिप्पो कावरियाना के गुप्त पत्र फ़्रांस के धर्मयुद्धों की एक अनूठी गवाही हैं: बीस से ज़्यादा वर्षों तक वे उन साज़िशों, लड़ाइयों, समझौतों और षड्यंत्रों का हाल बताते हैं, जिनकी धड़कन पर फ़्रांस के दरबार और उसके बाहर का जीवन चलता था।

ये पत्र में हैं, और उनमें से ज़्यादातर सैकड़ों ऐसे बस्तों में बिखरे पड़े हैं जिनकी कोई सूची नहीं बनी – फ़्लोरेंस में इन्हें filze (फ़ाइल या बस्ता) कहते हैं। पिछले वर्षों में मैं दर्जनों नए पत्र खोज सका हूँ, लेकिन इस तरह का अभिलेखागार अनुसंधान दिन-ब-दिन कठिन होता जा रहा है। फ़्लोरेंस से भौगोलिक दूरी, इटली की कुछ सार्वजनिक सेवाओं की बदहाली और कोविड-19 महामारी – ये सब मिलकर इस तरह की प्रकाशन परियोजनाओं को लंबा और अनिश्चित बना देते हैं।

तमाम बढ़ती कठिनाइयों के बावजूद, प्राथमिक स्रोतों का प्रकाशन इतिहासकार के काम का हिस्सा बना रहना चाहिए। हाँ, इन प्रकाशनों का रूप शायद बदलना चाहिए। प्राथमिक स्रोतों के प्रकाशन को न सिर्फ़ ऊपर बताई गई परिस्थितियों के अनुसार ढलना होगा, बल्कि इस शोध के क्रमिक स्वभाव को बेहतर ढंग से दर्शाना भी होगा – और यह भी संभव करना होगा कि कोई और इसे आगे बढ़ा सके।

यहीं से एक नए ढंग की डिजिटल प्रकाशन परियोजना का विचार जन्मा: ऐसी परियोजना जो बढ़ने योग्य, टिकाऊ, भरोसेमंद, प्लेटफ़ॉर्म से स्वतंत्र और संभवतः सहयोगी हो।

संस्करण अब ऑनलाइन है: । इसमें अब तक प्रतिलिपि किए गए पत्र संकलित हैं – फ़्लोरेंस और मांतुआ के राज्य अभिलेखागारों तथा BnF से – और जैसे-जैसे नए पत्र सामने आते हैं, यह बढ़ता जाता है। इसके डिज़ाइन के पीछे का तर्क मैंने में समझाया है।