https://clementgodbarge.com/hi/HugoBlox Kit (https://hugoblox.com)hi-inMon, 24 Oct 2022 00:00:00 +0000https://clementgodbarge.com/media/icon_hu_64a6c3bec25b3d7b.png<link>https://clementgodbarge.com/hi/</link></image><item><title>persNamer 1.2: एक VIAF नंबर, नौ प्रामाणिक नाम-सूचियाँ</h1> <article> <h1>persNamer 1.2: एक VIAF नंबर, नौ प्रामाणिक नाम-सूचियाँ</h1> Mon, 07 Sep 2026 00:00:00 +0000 शुरू में एक छोटी-सी सुविधा भर था: VIAF नंबर दीजिए, TEI की एक <code><person></code> प्रविष्टि पाइए, साथ में पाठ में लगाने के लिए <code><persName></code> टैग। बस इतना ही — और जो प्रविष्टि बनती थी वह भी दुबली-पतली: एक नाम, दो तिथियाँ, एक पहचानकर्ता। आज जारी हुआ संस्करण 1.2 अब भी वही एक काम करता है, पर इस बार जो प्रविष्टि निकलती है वह सँभालकर रखने लायक है। <h2 id="वयकत-परवषट-म-अब-कय-कय-ह">व्यक्ति-प्रविष्टि में अब क्या-क्या है</h2> पहले नाम की बात। VIAF के क्लस्टर में हर सहयोगी पुस्तकालय अपना-अपना नाम-रूप लेकर आता है, और पुराना persNamer जो लेबल पहले हाथ लगे वही उठा लेता था। उससे वोल्तेयर (Voltaire) के बारे में पूछिए तो जवाब मिलता « فولتير، » — यानी नाम का अरबी रूप, और वह भी पीछे लटके अल्पविराम सहित — ऊपर से एक खाली <code>xml:id</code> मुफ़्त में। अब औज़ार पूरे क्लस्टर में नाम-रूपों की गिनती करके वही रखता है जिस पर स्रोत रिकॉर्ड एकमत हों; बाक़ी रूप <code><persName type="variant"></code> बनकर पीछे-पीछे आते हैं, जो सबसे प्रचलित हो वह सबसे आगे। तिथियाँ मानकीकृत होकर (<code>1572-08-00</code> से <code>1572-08</code>) दो बार दर्ज होती हैं — एक बार पाठ के रूप में, एक बार <code>@when</code> विशेषता में — और तिथियाँ समझने वाली कोई भी प्रोसेसिंग असल में इसी दूसरी को पढ़ती है। लिंग और विवरण भी आते हैं, जहाँ VIAF उन्हें देता है। और अब वह हिस्सा जिसका मुझे सबसे ज़्यादा इंतज़ार था। VIAF जिस-जिस पहचानकर्ता को इस व्यक्ति से जोड़ता है — चाहे <code>schema:sameAs</code> के ज़रिए, चाहे अपने स्रोत-आईडी के ज़रिए — वह सब अब अलग-अलग <code><idno></code> में दर्ज हो जाता है: BnF, GND, लाइब्रेरी ऑफ़ कांग्रेस, SUDOC, Wikidata, ISNI, BNE, LIBRIS, NDL। एक नंबर अंदर गया, नौ कैटलॉग बाहर आए। किसी व्यक्ति-सूची (personography) के लिए नामों की कोरी फ़ेहरिस्त और प्रामाणिक डेटा के जाल की एक गाँठ में जो फ़र्क़ है, वह यही है। <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-xml" data-lang="xml"><person xml:id="pers-teligny-c"> <persName>Charles de Téligny</persName> <birth when="1535">1535</birth> <death when="1572-08-24">1572-08-24</death> <sex value="M">M</sex> <idno type="VIAF">314802260</idno> <idno type="BNF">16133360</idno> <idno type="Wikidata">Q1868249</idno> <idno type="ISNI">0000000071126808</idno> </person> </code></pre></div><h2 id="टकड-स-वयकत-सच-तक">टुकड़ों से व्यक्ति-सूची तक</h2> एक आदमी के लिए टर्मिनल पर XML छाप लेना ठीक है; पर एक संपादित ग्रंथ में तो सैकड़ों लोग होते हैं। इसलिए persNamer अब एक साथ कई VIAF नंबर लेता है, दो अनुरोधों के बीच VIAF को साँस लेने की मोहलत देता है, जो कुछ लाया है उसे कैश में रख लेता है ताकि दोबारा न माँगना पड़े, और <code>--merge</code> मिलते ही नई प्रविष्टियाँ सीधे मौजूदा TEI फ़ाइल के <code><listPerson></code> में बिठा देता है। जो लोग फ़ाइल में पहले से हैं, वे अपने VIAF नंबर से पहचान लिए जाते हैं और उनका <code>xml:id</code> ज्यों का त्यों रहता है; नए आईडी फ़ाइल से मिलाए जाते हैं और कहीं टकराव हो तो पीछे प्रत्यय (<code>-2</code>, <code>-3</code>) लग जाता है; अंत में पूरी फ़ाइल के इंडेंट फिर से सँवार दिए जाते हैं — हाँ, उससे पहले एक <code>.bak</code> प्रति अलग रख ली जाती है। <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash">persnamer --merge edition.xml 314802260 36925746 </code></pre></div>एक बदलाव ज़रूर ध्यान में रखिए: कुलनाम से पहले आने वाला कण (particle) अब डिफ़ॉल्ट रूप से आईडी में नहीं रहता, इसलिए Charles de Téligny पहले के <code>pers-deteligny-c</code> की जगह अब <code>pers-teligny-c</code> हो गया है। आपकी परियोजना पुराने रूप की आदी हो चुकी हो तो <code>--keep-particle</code> उसे वापस ले आता है; और नामों के भरोसे रहना ही न हो तो <code>--id-format viaf</code> से <code>pers-viaf-314802260</code> मिल जाता है। <h2 id="सफ-सफई">साफ़-सफ़ाई</h2> स्क्रिप्ट अब बाक़ायदा एक पैकेज बन गई है, अपनी <code>persnamer</code> कमांड के साथ: <code>uv tool install</code> या <code>pipx</code> से एक लाइन में इंस्टॉल कीजिए, या बिना इंस्टॉल किए बस एक बार आज़माना हो तो <code>uvx</code> से चला लीजिए। छब्बीस टेस्ट VIAF की रिकॉर्ड की हुई प्रतिक्रियाओं पर चलते हैं, इसलिए टेस्ट-सूट को नेटवर्क की कोई ज़रूरत नहीं; CI उन्हीं को Python 3.9 से 3.13 तक दोहराता है, और आउटपुट TEI P5 के मुताबिक़ जाँचा जाता है। लाइसेंस पहले की तरह Apache 2.0 ही है। जो यह अब भी नहीं बता सकता, वह है कि कोई कहाँ पैदा हुआ और रोज़ी-रोटी के लिए क्या करता था: VIAF के क्लस्टर RDF में न जगहें हैं, न पेशे। पर जिन BnF और GND रिकॉर्डों से यह जुड़ा है, उनमें दोनों हैं — और उनके नंबर अब आपके हाथ में हैं। कोड और दस्तावेज़ पर। </article> <article> <h1>बाड़ असली सवाल है, आग नहीं</h1> Sun, 06 Sep 2026 00:00:00 +0000 नॉर्थ लास वेगास के एक गोदाम में Amazon एक ऐसी मशीन चलाता है, जो पुरानी किताबों की रीढ़ काट देती है। खुले पन्ने स्कैनर से गुज़रते हैं, और फिर काग़ज़ लुगदी बनने चला जाता है। एआई को खिलाने के लिए किताबें नष्ट करना: इस कहानी में सांस्कृतिक कांड बनने का हर मसाला मौजूद था। ने इसे आधुनिक ज़माने की किताबों की होली बताया और रास्ते में कोई घिसा-पिटा मुहावरा नहीं छोड़ा: सावोनारोला का हवाला, देखने में दुर्लभ लगती किताबों की स्टॉक तस्वीरें और, ज़ाहिर है, बर्लिन की चिता। जैसी उम्मीद थी, गंभीर अख़बार ठंडे रहे, लेकिन वही तुलना हवा में लटकी छोड़ गए। पर अपने सारे आक्रोश के बावजूद इन लेखों ने एआई उद्योग को हैरतअंगेज़ ढंग से बख़्श दिया। काग़ज़ का अंजाम मंच के बीचोबीच है; इससे बनने वाले डिजिटल पुस्तकालयों का मालिकाना तस्वीर में मुश्किल से आता है। जो ज्ञान स्कैन हो रहा है, उस पर नियंत्रण किसका होगा? इस सवाल को इंतज़ार करना होगा, जब तक हम किताब-दहन की इस बकवास से निपट न लें। <h2 id="सकनर-कई-चत-नह">स्कैनर कोई चिता नहीं</h2> सावोनारोला की चिताओं या नाज़ी किताब-दहन से यह तुलना बेतुकी है: एक प्रति नष्ट करना किसी पाठ को दबाना नहीं है। वे चिताएँ सार्वजनिक परित्याग की कार्रवाइयाँ थीं। वह बेचारा भिक्षु सावोनारोला, जिसका नाम किताब जलाने के हर विवाद में घसीटा जाता है, लोगों से कह रहा था कि वे सार्वजनिक प्रायश्चित के रूप में अपनी कुछ संपत्ति की आहुति दें। नाज़ी चिताओं ने एक अलग तरह का परित्याग मंचित किया: किताबें सरेआम जलाकर यह घोषणा की गई कि उनके लेखकों के लिए जर्मन सांस्कृतिक जीवन में कोई जगह नहीं। दोनों ही मामलों में, चाहे जितना अप्रिय हो, विनाश एक प्रदर्शन था। विनाशक स्कैनिंग – डिजिटलीकरण की एक प्रचलित विधि – का मक़सद दूसरा है: प्रति की गर्दन इसलिए काटी जाती है कि उसकी अंतर्वस्तु बच जाए। किताब नष्ट होती है; पाठ अभौतिक हो जाता है। जो लोग Fahrenheit 451 की दुहाई दे रहे हैं, उन्हें उसका केंद्रीय सबक याद कर लेना चाहिए: पाठ वह काग़ज़ नहीं है जिस पर वह छपा है। Daily Mail से ज़्यादा तीखा पर उतना ही फूहड़, ने अपने शीर्षक में “दुर्लभ किताबें” डालकर हंगामे में और हवा दी। लेकिन उसी की जाँच-रिपोर्ट में उद्धृत एक पुस्तक-विक्रेता ने बताया कि इन थोक ऑर्डरों में – जिसका इशारा मोटे तौर पर 1970 के आसपास ISBN की शुरुआत के बाद छपे संस्करणों की ओर है। यह रद्दी बाज़ार और ख़ैराती दुकानों का माल है, जिसे अक्सर घर की एक सफ़ाई ही कूड़े तक पहुँचा देती है। सांस्कृतिक विपदा का ऐलान करने से पहले पुस्तकालय का कैटलॉग देख लेना चाहिए। ये ठीक वही प्रकाशन हैं जिन्हें सहेजने के लिए वैधानिक-निक्षेप वाले पुस्तकालय बने हैं। माना कि ISBN किसी बची हुई निक्षेप-प्रति की गारंटी नहीं है, लेकिन पुराने बाज़ार में किसी किताब का कम मिलना भी पाठ के लुप्त हो जाने का सबूत नहीं है। किताबों का, ज़ाहिर है, एक भौतिक इतिहास भी होता है। जिन प्रतियों की टिप्पणियाँ, हस्ताक्षर या स्वामित्व-इतिहास उन्हें ऐतिहासिक महत्व देते हैं, वे पहचानी और सहेजी जानी चाहिए। यहाँ पुरानी किताबों के विक्रेताओं की एक भूमिका है: ऐसी प्रति पहचान लेना उसे लुगदी की ओर जाती खेप से बाहर रखने की वजह होनी चाहिए। हम आउट-ऑफ़-प्रिंट किताबों की घटती भौतिक प्रतियों की चिंता भी कर सकते हैं। लेकिन तब हमें यह भी पूछना चाहिए कि उनके अधिकार-धारक उन्हें दोबारा क्यों नहीं छापते, और मौजूद डिजिटल प्रतिरूपों तक पहुँच की अनुमति भी क्यों नहीं देते। शोधकर्ता इस खीज को जानते हैं: Google Books आपको ज़रूरी अंश ढूँढ़ देता है, फिर ऐसी किताब की एक झलक भर दिखाता है जिसे आप न नई ख़रीद सकते हैं, न ऑनलाइन पढ़ सकते हैं। तो यहाँ बहस लायक़ नुक़सान हैं, पर वे स्कैनर को नाज़ी चिता में नहीं बदल देते। इधर पुस्तक-व्यापार तो बिना बिकी किताबें बरसों से दस्तूर की तरह लुगदी बनाता आया है। अकेले फ़्रांस में 2023 में अनुमानतः – वितरकों को बिना बिके लौटे माल का लगभग 60 प्रतिशत। इसे स्टॉक प्रबंधन कहते हैं। बची हुई प्रतियाँ और दुर्लभ पुरानी किताबें पहुँच के अलग-अलग सवाल उठाती हैं, लेकिन काग़ज़ नष्ट करना अपने-आप में सेंसरशिप या तानाशाही नहीं है। <h2 id="जयद-कतब-बहतर-एआई">ज़्यादा किताबें, बेहतर एआई?</h2> एआई कंपनियों का किताबें ख़रीदना और स्कैन करना दरअसल अच्छी ख़बर है। जिस तकनीक की मानव-संस्कृति की उथली समझ के लिए रोज़ आलोचना होती है, वह उसमें से और अपना रही है – और उम्मीद तो यह थी कि शोधकर्ता इस कोशिश का स्वागत करेंगे। किसी भाषा के संचित अभिलेख का वेब एक कमज़ोर विकल्प है। किसी भाषा के दर्ज जीवन का बड़ा हिस्सा – उपन्यास और संस्मरण से लेकर लोकप्रिय गीत और लिखित बातचीत तक – कभी छपाई से वेब तक पहुँचा ही नहीं। इनमें से बहुत-सी किताबें अपने प्रकाशकों से ज़्यादा जी चुकी हैं। उन्हें प्रशिक्षण-डेटा में लाना वहाँ सबसे ज़्यादा मायने रखता है, जहाँ और कुछ उपलब्ध ही नहीं। अंग्रेज़ी में कुछ और किताबें शायद मामूली सुधार ला दें। लेकिन किसी कम प्रतिनिधित्व वाली भाषा में वही किताबें काम के सिस्टम और बेकार सिस्टम के बीच का फ़र्क़ हो सकती हैं। ये उपकरण हमारी सार्वजनिक सेवाओं या रोज़मर्रा की ज़िंदगी में होने चाहिए या नहीं, यह सार्वजनिक बहस का सवाल है। लेकिन जहाँ भी हम उन्हें इस्तेमाल करने का फ़ैसला करें, हमें ऐसा अपनी भाषा में कर पाना चाहिए। स्पेन और नीदरलैंड से आई ऑर्डरों की ख़बरें भाषाई दाँव को ठोस बनाती हैं। मई में ने बादालोना के एक पुस्तक-विक्रेता का ज़िक्र किया, जिसे बार-बार ऑर्डर मिल रहे थे – ख़ास तौर पर कातालान की ग़ैर-कथा किताबों के: इतिहास की किताबें, तकनीकी मैनुअल और पुराने सम्मेलनों की कार्यवाहियाँ। अगस्त तक डच रिपोर्टों में De Slegte से की माँग का ज़िक्र था। किताबों की भाषा कम से कम उतने ही ध्यान की हक़दार है जितना उनकी जिल्दों का अंजाम। Daily Mail से शायद इतनी उम्मीद ज़्यादा है। पर ज़्यादा संजीदा अख़बारों के पास भी इन भाषाओं के बारे में कहने को कम ही था। बड़े प्रकाशकों के साथ लाइसेंस-समझौते भी मूल्यवान सामग्री दे सकते हैं, लेकिन उनके डिजिटल कैटलॉग छपी हुई चीज़ों के एक अंश भर को समेटते हैं। जो किताबें कभी डिजिटल हुई ही नहीं, या जिनके अधिकार अब प्रकाशक के पास नहीं, वे इस पेशकश से बाहर रह जाती हैं। उदार से उदार लाइसेंस-सौदा भी प्रकाशन के इतिहास की जगह नहीं ले सकता, किसी संस्कृति के इतिहास की तो बात ही क्या। पुरानी प्रतियाँ ख़रीदना इन व्यावसायिक सीमाओं के पार पहुँचने का एक तरीक़ा है। <h2 id="चर-कई-दलल-नह">“चोरी” कोई दलील नहीं</h2> इसे “चोरी” कहने से भी कुछ नहीं बनता। जून 2025 में अमेरिका की दो ज़िला अदालतों ने अपने सामने आए मामलों में माना कि भाषा मॉडलों को प्रशिक्षित करने के लिए किताबों का इस्तेमाल उचित उपयोग (fair use) है। में अदालत ने प्रशिक्षण के रूपांतरकारी चरित्र पर ज़ोर दिया: किताबें एक ऐसा सिस्टम बनाने के लिए इस्तेमाल हुईं जो नई अभिव्यक्ति पैदा कर सके। मॉडल अंश याद रख सकते हैं, लेकिन किसी किताब को प्रशिक्षण में इस्तेमाल करने से पूरा पाठ माँगने पर हाज़िर नहीं हो जाता। और शब्दशः पुनरुत्पादन का न होना हर आपत्ति को निपटा भी नहीं देता। में न्यायाधीश ने चेताया कि एआई-निर्मित रचनाएँ बाज़ार में बाढ़ ला सकती हैं और ऐसे नुक़सान का सबूत उचित-उपयोग के बचाव को हरा सकता है। पर इन वादियों ने अपनी रचनाओं को हुए ऐसे नुक़सान का कोई ठोस सबूत पेश नहीं किया था। दोनों में से कोई फ़ैसला एआई कंपनियों को खुली छूट नहीं देता, न नैतिक विवाद को सुलझाता है। वे हमसे फ़र्क़ करने की माँग करते हैं – किताबें कैसे हासिल की गईं, प्रतियाँ कैसे रखी गईं, और प्रशिक्षण उनके साथ क्या करता है। इस सब को “चोरी” कह देना इन सवालों को अनुत्तरित छोड़ देता है। संयोग से, Anthropic वाला फ़ैसला गिलोटिन का एक तर्क भी मुहैया कराता है। अदालत ने ख़रीदी गई प्रतियों के डिजिटलीकरण को सही ठहराया और पाइरेटेड किताबों को एक स्थायी पुस्तकालय में जमा करने को ख़ारिज किया – जिस पर कंपनी बाद में पर राज़ी हुई। डिजिटलीकरण इसलिए भी पास हुआ कि रूपांतरण में हर छपी प्रति नष्ट कर दी गई: डिजिटल प्रति ने उसकी जगह ली और कंपनी के बाहर साझा नहीं हुई। जो विनाश कुछ लोगों को इतना विचलित करता है, उसी ने Anthropic को यह साबित करने में मदद की कि उसका डिजिटलीकरण कार्यक्रम उचित उपयोग था। ख़रीदना, स्कैन करना और फेंक देना – उस मामले में एक क़ानूनी रास्ता साबित हुआ। गिलोटिन यहाँ नियम-पालन का औज़ार है। यह चाहने की अच्छी वजहें हैं कि एआई ज़्यादा भाषाओं, ज़्यादा शोध और इंटरनेट से पहले की दुनिया के ज़्यादा हिस्से से सीखे। ये वजहें इसलिए ग़ायब नहीं हो जातीं कि एक ऐसी कंपनी ने, जो हमें पसंद नहीं, इसमें व्यावसायिक मौक़ा देख लिया है। <h2 id="उधर-क-आकरश">उधार का आक्रोश</h2> तो लौटते हैं Daily Mail पर। उसका लेख का हिस्सा है – अख़बार-मालिकों और प्रकाशकों का एक अभियान, जो एआई के लिए चाहता है। दो सुविधाजनक अदला-बदलियाँ सारा काम करती हैं: Big Tech एआई की जगह खड़ा हो जाता है, और अधिकार-धारक “ब्रिटिश रचनात्मकता” की जगह। पाठकों को संस्कृति की रक्षा के लिए बुलाया जाता है, जबकि प्रकाशक उसकी बिक्री की शर्तों पर मोल-भाव कर रहे होते हैं। इस कहानी को साझा करने वाले शोधकर्ता ख़ुद से पूछ सकते हैं कि उनका आक्रोश किसका काम कर रहा है। Big Tech और किराये पर झगड़ रहे हैं, लेकिन बाड़ पर किसी को आपत्ति नहीं। टेक-दिग्गज के हाथों लुटे अकेले लेखक की कहानी उस चीज़ को ढँक देती है, जो महँगे लाइसेंस-सौदे दोनों कॉर्पोरेट खेमों को देते हैं: प्रकाशकों को पैसा मिलता है, और Big Tech को ऐसा बाज़ार, जिसमें उसके छोटे प्रतिद्वंद्वी मुक़ाबले का ख़र्च ही नहीं उठा सकते। पीटर थील ने सिलिकॉन वैली की पसंद को और दो-टूक कहा था: । लाइसेंसिंग का यह नतीजा निकलना ज़रूरी नहीं। किफ़ायती, ग़ैर-अनन्य पहुँच छोटे डेवलपरों की मदद कर सकती है। लेकिन जो व्यवस्था हर नए प्रवेशी को बड़े अधिकार-धारकों से महँगे सौदे करने पर मजबूर करे, वह ख़रीदने की ताक़त को प्रवेश की शर्त बना देती है। सांस्कृतिक उद्योगों को रियायत के रूप में पेश किया गया भुगतान अंततः भावी प्रतिद्वंद्वियों से सुरक्षा ख़रीद लेता है। <h2 id="एआई-big-tech-क-जगर-नह">एआई Big Tech की जागीर नहीं</h2> एक और गहरा मसला है। एआई की बहुत-सी आलोचना उसके सबसे बड़े व्यावसायिक आपूर्तिकर्ताओं को ही पूरा क्षेत्र मान लेती है। उत्पाद सुर्ख़ियों पर छाए रहते हैं; उन कंपनियों से बाहर का शोध और विकास नज़र से ओझल हो जाता है। Big Tech इससे ज़्यादा फ़ायदेमंद ग़लतफ़हमी की कामना नहीं कर सकता। पूरे क्षेत्र पर क़ब्ज़े की उसकी महत्वाकांक्षा उसी के ख़िलाफ़ की जाने वाली आलोचना की पूर्वधारणा बन जाती है। एकाधिकार अभी पक्का नहीं हुआ है। उसे तय मान लेना इन कंपनियों पर बहुत बड़ा एहसान है। और यह ध्यान को ओपन सोर्स से भी हटा देता है: उसकी ज़रूरतों से, उसके अस्तित्व की संभावनाओं से, उसके हितों से, विकल्प के रूप में उसकी वैधता से। ओपन-सोर्स एआई लोगों को ऐसे सिस्टम बनाने और ढालने देता है, जो भाषाओं, संस्कृतियों और अभिव्यक्ति के रूपों की ज़्यादा विविधता को दर्शाएँ। यूरोप, अफ़्रीका, लातिन अमेरिका और एशिया के देशों के लिए यह तकनीकी और सांस्कृतिक संप्रभुता का व्यावहारिक आधार है: यह तय कर पाने की क्षमता कि सिस्टम कैसे काम करें, किन भाषाओं की सेवा करें और कहाँ इस्तेमाल हों। एआई इस्तेमाल करना है या नहीं, और किन उद्देश्यों के लिए, यह सार्वजनिक चुनाव रहना चाहिए – न कि किसी विदेशी अल्पतंत्र पर निर्भरता से थोपा गया फ़ैसला। लेकिन किसी सिस्टम को बदलने की आज़ादी बदलने के साधनों के बिना ज़्यादा मायने नहीं रखती। स्वतंत्र काम के लिए विशेषज्ञता, कंप्यूटिंग इन्फ़्रास्ट्रक्चर और प्रशिक्षण-सामग्री तक पहुँच चाहिए। और यहीं हम किताबों पर लौट आते हैं। अगर हर शोध-दल या सार्वजनिक संस्था को अपने-अपने प्रकाशन-सौदे करने या अपना निजी पुस्तकालय जुटाना पड़े, तो स्वतंत्रता कुछ धनी देशों की भी पहुँच से बाहर हो जाएगी। <h2 id="कतब-त-पहल-स-यह-ह">किताबें तो पहले से यहीं हैं</h2> पुस्तकालय और अभिलेखागार पीढ़ियों से वही सामग्री जुटाते आए हैं, जिसकी इन सिस्टमों को ज़रूरत है। उनके संग्रह इसलिए हैं कि ज्ञान तक पहुँच उसे बेचने के व्यावसायिक हित से ज़्यादा टिकनी चाहिए। बहुत कुछ पहले ही स्कैन हो चुका है: के पास शोध-पुस्तकालयों से आए क़रीब 1.9 करोड़ डिजिटल खंड हैं, जिनमें से कई अब भी कॉपीराइट में हैं। पुस्तकालय किताब स्कैन करता है और उसे रख लेता है। वहाँ किसी को गिलोटिन नहीं चाहिए। HathiTrust , लेकिन उसने की घोषणा भी की है – ग़ैर-व्यावसायिक एआई शोध और विकास के लिए कॉर्पस तक पहुँच देने की परियोजना। इन शर्तों पर पहुँच भी कुछ स्वतंत्र डेवलपरों को बाहर ही छोड़ देगी। हालाँकि किताबों का मालिक होना किसी पुस्तकालय को उनकी कॉपीराइट-सुरक्षित अंतर्वस्तु को प्रशिक्षण-कॉर्पस के रूप में बाँटने का हक़ नहीं देता। शोध-संस्थाओं और पुस्तकालयों को वैज्ञानिक शोध के लिए क़ानूनी रूप से सुलभ रचनाओं की माइनिंग की अनुमति देता है, और जहाँ अधिकार-धारकों ने अपने अधिकार आरक्षित नहीं किए हैं, वहाँ व्यापक माइनिंग की भी। : उसका माइनिंग-अपवाद ग़ैर-व्यावसायिक शोध तक सीमित है और प्रतियों के हस्तांतरण को सीमित करता है। दोनों में से कोई ढाँचा पुस्तकालयों को यह सामान्य अधिकार नहीं देता कि वे अपनी कॉपीराइट-सुरक्षित सामग्री दूसरों के निर्माण के लिए साझा करें। हम इस पर भी दोबारा सोच सकते हैं कि किताबों के कंप्यूटेशनल उपयोग पर अधिकार-धारकों का नियंत्रण कितने समय तक रहना चाहिए। औषधि-पेटेंट एक सौदे की मिसाल हैं: अस्थायी एकाधिकार नवाचार का इनाम देता है, फिर आविष्कार दूसरों के इस्तेमाल के लिए खुल जाता है। उनकी सामान्य बीस-वर्षीय अवधि कॉपीराइट की – लेखक के जीवनकाल और उसके बाद सत्तर साल की – सुरक्षा से कहीं छोटी है। किताबों के कंप्यूटेशनल उपयोग पर ऐसा ही सिद्धांत क्यों न लागू हो? मान लीजिए, पहले प्रकाशन के बीस साल बाद कोई किताब बिना लाइसेंस-शुल्क के टेक्स्ट और डेटा माइनिंग के लिए उपलब्ध हो जाए, जबकि पुनर्प्रकाशन और बिक्री के अधिकार सुरक्षित रहें। लेखक अपनी किताबों से कमाते रह सकते हैं, और शोधकर्ताओं की पीढ़ियों को उनका विश्लेषण करने की इजाज़त के लिए मोल-भाव नहीं करना पड़ेगा। मैंने दो साल पहले में दलील दी थी कि विरासत-डेटा को सार्वजनिक संपदा माना जाए। सरकारों को पुस्तकालयों और अभिलेखागारों को अपने संग्रहों के डिजिटलीकरण, प्रतिलेखन और दस्तावेज़ीकरण के लिए धन देना चाहिए, और उन्हें यह क़ानूनी अधिकार भी कि वे इससे बने कॉर्पस दूसरों के निर्माण के लिए उपलब्ध कराएँ। Big Tech एक समर्पित उपकर के ज़रिये इस ख़र्च में हाथ बँटा सकता है। सार्वजनिक धन के साथ प्रकाशित संग्रह-नीतियाँ और पहुँच के नियम आने चाहिए, जो अकादमिक और व्यावसायिक काम दोनों को समेटें – बिना अनन्य सौदों या दानदाताओं के लिए विशेष पहुँच के। प्रशिक्षण के लिए पहुँच का मतलब कॉपीराइट-सुरक्षित किताबों का बेरोक पुनर्वितरण होना ज़रूरी नहीं। लेखकों को सार्वजनिक योजना के डिज़ाइन में शामिल होना चाहिए – इसमें भी कि वह सहमति, पारिश्रमिक और उनकी रचनाओं से प्रतिस्पर्धा के सवालों को कैसे सँभाले। उपयोगकर्ताओं के लिए मुफ़्त पहुँच का यह मतलब नहीं कि लेखकों को सार्वजनिक धन से पारिश्रमिक न मिल सके। ब्रिटेन की योजना – जो किताबें उधार लिए जाने पर लेखकों को सार्वजनिक कोष से भुगतान करती है – एक मिसाल है। आग कभी असली कहानी थी ही नहीं। बाड़ है। </article> <article> <h1>प्रिय संपादको: मेरी आवाज़ चाहिए तो मेरी भाषा लौटा दीजिए</h1> Thu, 27 Aug 2026 00:00:00 +0000 फिर एक दिन, फिर एक पत्रिका अपनी एआई-नीति का ढोल पीटती हुई। इस बार Progress in Human Geography है, जिसके संपादकों ने छापकर चेताया है कि अपने पढ़ने, सोचने और लिखने की जगह एआई को बिठा देना “साहित्यिक चोरी जैसा अकादमिक नैतिकता का उल्लंघन” है। उल्लंघन में पकड़े गए लेख “वापस लिए जा सकते हैं”; अच्छे से अच्छे मामले में उन्हें सुधारा जाएगा, और पत्रिका में एक सूचना छपेगी। लेखकों को, संपादक जोड़ते हैं, “ध्यान से सोच लेना चाहिए कि क्या वे चाहते हैं कि उनका नाम वापसी और सुधार-सूचनाओं से जुड़े”। इस वाक्य पर ज़रा ठहरिए। अकादमिक प्रकाशन की सज़ाओं में लेख की वापसी सबसे ऊपर है – वह दंड जो आम तौर पर मनगढ़ंत आँकड़ों और धोखाधड़ी के लिए रखा जाता है। यहाँ उसे एक ऐसे अपराध से जोड़ दिया गया है, जिसे वही संपादकीय परिभाषित तक नहीं कर पाता। संपादक मानते हैं कि “सचमुच धुँधले क्षेत्र” हैं और “‘ग़ैर-ज़िम्मेदारी’ के दायरे को सीमांकित करने वाली कोई स्पष्ट रेखाएँ नहीं”। नीति लागू होगी “विवेक-आधारित फ़ैसलों” से, “जो कुछ लेखकों को नागवार लग सकते हैं, जो दावा करेंगे कि उन्होंने एआई का अनुचित उपयोग नहीं किया”: यानी आपकी अपनी घोषणा को ख़ारिज किया जा सकता है। इसके बाद सलाह है कि “‘ज़िम्मेदारी’ के दायरे में सुरक्षित” रहिए – और सुरक्षा की सलाह वहीं दी जाती है जहाँ ख़तरा हो। जिस रेखा को आप ख़ुद मानते हैं कि खींच नहीं सकते, उसे लाँघने पर लोगों को सज़ा देना तभी समझ में आता है, जब मक़सद डर का राज क़ायम करना हो। इस बात को याद रखिए, आगे काम आएगी। <h2 id="आवज-क-बहन">आवाज़ का बहाना</h2> तो ज़िम्मेदार उपयोग दिखता कैसा है? लेखकों से कहा गया है: “बहुत सावधानी बरतनी चाहिए … अपनी आवाज़ बचाए रखने की”। दुरुपयोग है एआई का सहारा लेकर “ऐसी भाषा में लिखना जिसे लेखक सामान्यतः कभी ख़ुद इस्तेमाल न करते”। मातृभाषी के लिए यह बात समझ में आती है: जो आप नहीं हैं, वह होने का ढोंग मत कीजिए। लेकिन उन विदेशियों के लिए, जिन्हें पराई भाषा में लिखना ही पड़ता है, यह आदेश ख़ुद को ही काटता है। नीति जिस आवाज़ की हिफ़ाज़त करती है, वही एकमात्र चीज़ है जो पत्रिका के अपने नियम हमसे छीन लेते हैं। मिसाल के तौर पर मुझे ही ले लीजिए। अंग्रेज़ी मेरी चौथी भाषा है – ठीक वैसी, जिसे मैं “सामान्यतः” कभी इस्तेमाल न करता। अंग्रेज़ीभाषी विश्वविद्यालयों ने मुझे उसे छोटे वाक्यों में, संकेत-पट्टियों के साथ, लगभग यांत्रिक ढंग से लिखना सिखाया: मुख्य वाक्य सबसे पहले, संकोच-सूचक शब्द तय जगहों पर, संयोजक तय सूची से। प्रशिक्षण कामयाब रहा: मेरी अंग्रेज़ी में बचाने लायक़ कोई आवाज़ कभी थी ही नहीं; सबसे पहले उसी की बलि चढ़ी थी। संपादकों की अपनी परिभाषा के मुताबिक़, मैंने अंग्रेज़ी में जो कुछ भी लिखा है, वह अनुचित उपयोग ठहरेगा – मशीन के साथ या उसके बिना। <h2 id="दतरफ-फद">दोतरफ़ा फंदा</h2> संपादक कहते हैं कि उन्होंने हमारे बारे में सोचा है: नीति मानती है कि ग़ैर-मातृभाषी लेखकों को अपनी अंग्रेज़ी एआई से जँचवाने का फ़ायदा मिलता है, यहाँ तक कि उसकी “अनुवाद, लेखन और संपादन सेवाओं” का भी। लेकिन लेखन में एआई की भागीदारी “अधिक से अधिक संपादन और प्रूफ़-रीडिंग की सहायता तक” सीमित रहनी चाहिए, और “एआई-लिखित पाठ के बड़े-बड़े टुकड़ों” से पहले रुक जानी चाहिए। मशीन से अनूदित लेख पहले शब्द से आख़िरी शब्द तक एआई-लिखित है; वह ऐसे टुकड़ों के सिवा कुछ है ही नहीं। तो यह रियायत तभी टिकती है, जब अनुवाद करना लिखना न हो। यह रेखा कहाँ से गुज़रती है? वे हमें पहले ही बता चुके हैं: “कोई स्पष्ट रेखाएँ नहीं”। बात इससे भी बदतर है, क्योंकि यह संदेह सिर्फ़ अखंडनीय नहीं है। इसका पलड़ा पहले से झुका हुआ है। 2023 में स्टैनफ़ोर्ड की एक टीम ने इंसानों के लिखे निबंधों पर सात प्रचलित एआई-डिटेक्टर आज़माए: डिटेक्टरों ने ग़ैर-मातृभाषियों के TOEFL निबंधों में से औसतन 61% को मशीन-निर्मित ठहराया, जबकि मातृभाषियों के निबंधों को लगभग पूरी सटीकता से पहचाना; एक डिटेक्टर ने तो TOEFL सेट के 97.8% पर झंडी लगा दी ( )। वजह शिक्षाप्रद है। डिटेक्टर पूर्वानुमेयता नापते हैं, और दूसरी भाषा के रूप में सीखी गई अंग्रेज़ी – जिसे औसत की ओर ढाला गया है – बनावट से ही पूर्वानुमेय है: सबसे संभावित शब्द, सबसे संभावित क्रम में। उसी अध्ययन ने यह संकेत असली शोध में भी पाया: ग़ैर-मातृभाषी प्रथम लेखकों के सम्मेलन-पत्रों में भाषाई विविधता कम थी। जो शैलीगत लक्षण “एआई” जैसे पढ़े जाते हैं, वे दक्ष द्वितीय-भाषा अंग्रेज़ी के लक्षण हैं, और इंसान का विवेक-आधारित फ़ैसला उन्हीं लक्षणों को मशीन की तरह पढ़ता है। फंदा दोनों तरफ़ से कस गया: अपनी अंग्रेज़ी लिखूँ तो मशीन जैसा दिखूँ; मशीन इस्तेमाल करूँ तो उनका नियम टूटे। <h2 id="भष-क-कर">भाषा का कर</h2> यह विरोधाभास बेज़रर होता, अगर उसके साथ धमकियाँ न जुड़ी होतीं। लेकिन धमकियाँ एक और गहरी, और पुरानी समस्या उघाड़ती हैं, जिसका नाम नीति कभी नहीं लेती: एकभाषिकता। “यथासंभव व्यापक अंतरराष्ट्रीय दायरे” की माँग करते हैं, और उसी पन्ने पर लिखते हैं: “पत्रिका की भाषा अंग्रेज़ी है।” इस व्यवस्था की क़ीमत काल्पनिक नहीं है। 908 पर्यावरण-वैज्ञानिकों के सर्वेक्षण में अमानो और उनके सहयोगियों ने पाया कि जिनकी मातृभाषा अंग्रेज़ी नहीं, वे एक लेख लिखने में 51% तक ज़्यादा समय लगाते हैं, उनके लेख 2.5 गुना ज़्यादा बार अस्वीकृत होते हैं और 12.5 गुना ज़्यादा बार संशोधन के लिए लौटाए जाते हैं – सिर्फ़ भाषा के आधार पर ( )। यह कर किसी एआई-नीति के आने से पहले ही वसूला जा रहा है; घोषणा-पत्र और उसकी धमकियाँ उसके ऊपर लदा एक ऑडिट भर हैं। <h2 id="fin-dempire">Fin d’empire</h2> एकभाषिकता वह स्वयंसिद्ध है जिस पर कोई चर्चा नहीं करता। यह एक साम्राज्यवादी विरासत है, जिसे समय के साथ एक व्यावहारिक औचित्य मिल गया: अनुवाद धीमा और महँगा था, और कोई संपादक-मंडल उस चीज़ को नहीं परख सकता था जिसे वह पढ़ न सके। लेकिन मशीनी अनुवाद की प्रगति के आगे इनमें से कुछ भी नहीं टिकता। अत्याधुनिक मशीनी अनुवाद को लेखकों और संपादकों के बीच एक भरोसेमंद परत के रूप में इस्तेमाल किया जा सकता है। आदर्श रास्ता इंसानी है: शोधकर्ताओं को एक से ज़्यादा भाषाएँ पढ़नी चाहिए। इसके बजाय अंग्रेज़ीभाषी विश्वविद्यालय आधुनिक भाषाओं के विभाग बंद करना पसंद करते हैं। ग़ौर कीजिए कि ये बंदियाँ एंग्लो-अमेरिकी परिघटना हैं: बाक़ी दुनिया के शोधकर्ताओं को एकभाषिकता का ऐशो-आराम कभी मिला ही नहीं। और समय पर भी ग़ौर कीजिए। भाषा-विभाग बंद करना एक दाँव लगाना है – कि अंग्रेज़ी हमेशा के लिए जीत चुकी है और पढ़ने लायक़ कोई चीज़ अब किसी और भाषा में कभी नहीं लिखी जाएगी। यह दाँव ठीक ग़लत वक़्त पर लगाया जा रहा है, और दोहरे ढंग से। पहला, क्योंकि मशीनी अनुवाद पहली बार यह संभव बना रहा है कि किसी साझा भाषा (lingua franca) के बिना ही काम चल जाए; दूसरा, क्योंकि जिस विश्व-व्यवस्था ने अंग्रेज़ी को डिफ़ॉल्ट बनाया, वह पीछे हट रही है: अंग्रेज़ी-जगत अंतर्मुखी हो रहा है, वैश्वीकरण का ज्वार उतर रहा है, मुक्त व्यापार अपने ही घर में विवादित है, और एक बहुध्रुवीय दुनिया आकार ले रही है, जिसमें पढ़ने लायक़ भाषाएँ बढ़ती जाएँगी। विश्वविद्यालय ऐसे शोधकर्ता तैयार कर रहे हैं जो सिर्फ़ अंग्रेज़ी पढ़ते हैं – एक ऐसी दुनिया के लिए, जहाँ अंग्रेज़ी काफ़ी नहीं होगी। इस नुक़सान की विरासत सबसे पहले संपादक-मंडलों को मिलेगी। <h2 id="सपदक-क-लए-एक-परकष">संपादकों के लिए एक परीक्षा</h2> जब कोई संपादक-मंडल शिकायत करे कि उसे अपने लेखकों की अपनी आवाज़ नहीं सुनाई देती, तो शायद समस्या का एक हिस्सा ख़ुद मंडल में है। यह गंभीर आरोप है, और इसके साथ एक गंभीर परीक्षा भी है। क्या Progress in Human Geography फ़्रांसीसी, इतालवी या जापानी में लिखे और मशीन-अनूदित अंग्रेज़ी संस्करण के साथ भेजे गए लेख की समीक्षा करवाएगा? पत्रिका के अपने दिशानिर्देश उन “अनुवाद” सेवाओं को मान्यता देते हैं, जो इसे संभव बनाती हैं। “हाँ” से समस्या ख़त्म हो जाती है। “नहीं” हमें बता देगा कि यह नीति असल में किस चीज़ की हिफ़ाज़त करती है। दोनों ही सूरतों में, चुनाव संपादकों का है। अगर आवाज़ मायने रखती है, जैसा वे दावा करते हैं, तो पत्रिका को लेख उन भाषाओं में लेने चाहिए जिनमें लेखक सोचते हैं। अगर नहीं रखती, तो घोषणा-पत्र जाना चाहिए, और उसके साथ धमकियाँ भी। </article> <article> <h1>tei-mcp v0.3: स्रोत को दोबारा लिखे बिना TEI एनकोडिंग</h1> Tue, 05 May 2026 00:00:00 +0000 जब मैंने , तो मक़सद था एआई असिस्टेंटों को TEI मार्कअप गढ़ने से रोकना। स्कीमा-आधार ने समस्या का एक हिस्सा सुलझा दिया: P5 विनिर्देश तक सीधी, उपकरण-आधारित पहुँच मिल जाने पर मॉडल को अब यह अनुमान नहीं लगाना पड़ता कि किसी एलिमेंट का मतलब क्या है या वह कौन-से एट्रिब्यूट स्वीकार करता है। आउटपुट वैध निकलता है। लेकिन TEI एनकोडिंग में मतिभ्रम के दो चेहरे हैं, और स्कीमा उनमें से सिर्फ़ एक को पकड़ती है। विनिर्देश पर परखने से इतना पता चलता है कि मार्कअप सही बना है। उस पाठ के बारे में यह कुछ नहीं कहती, जिसे वह मार्कअप लपेटे हुए है। और यहीं – पाठ में ही – ज़्यादा घातक मतिभ्रम बसते हैं। v0.3 की प्रमुख सुविधा, स्पैन-लॉक्ड कंपोज़िशन, ख़ास तौर पर इन्हीं को रोकने के लिए बनाई गई है। <details class="print:hidden xl:hidden" > <summary>सामग्री तालिका</summary> <div class="text-sm"> <nav id="TableOfContents"> <ul> <li><a href="#वह-मतभरम-जस-सकम-नह-पकड-सकत">वह मतिभ्रम जिसे स्कीमा नहीं पकड़ सकती</a></li> <li><a href="#सपन-लकड-कपजशन">स्पैन-लॉक्ड कंपोज़िशन</a></li> <li><a href="#यह-कय-ह-और-कय-नह">यह क्या है, और क्या नहीं</a></li> <li><a href="#tei-स-आग-यह-कय-मयन-रखत-ह">TEI से आगे यह क्यों मायने रखता है</a></li> <li><a href="#अपडट-कस-पए">अपडेट कैसे पाएँ</a></li> </ul> </nav> </div> </details> <h2 id="वह-मतभरम-जस-सकम-नह-पकड-सकत">वह मतिभ्रम जिसे स्कीमा नहीं पकड़ सकती</h2> किसी मॉडल से सोलहवीं सदी का एक फ़्रांसीसी पत्र एनकोड करने को कहिए, और अक्सर आपको एक ऐसा TEI दस्तावेज़ मिलेगा जो देखने में बेदाग़ लगेगा। हेडर भरा हुआ है, <code><persName></code> टैग सही जगह पर हैं, <code><dateline></code> ठीक बना है। उसे <code>validate_document</code> से गुज़ारिए, और वह पास हो जाता है। फिर उसके मूल पाठ का स्रोत से मिलान कीजिए। <code>mesme</code> बनकर <code>même</code> हो गया है। एक अल्पविराम अपनी जगह से खिसक गया है। <code>luy</code> चुपचाप आधुनिक होकर <code>lui</code> बन गया है। पांडुलिपि में जो वाक्यांश पढ़ने में कठिन था, उसे “सुधारकर” कुछ ज़्यादा साफ़-सुथरा बना दिया गया है। इनमें से कोई बदलाव माँगा नहीं गया था। कोई चिह्नित नहीं है। दस्तावेज़ स्कीमा के हिसाब से वैध है, और चुपचाप ग़लत। अभिलेखीय वर्कफ़्लो में – जहाँ एनकोड किया गया पाठ वह स्थायी अभिलेख बन जाता है जिस पर आगे के पाठक, खोज-अनुक्रमणिकाएँ और उद्धरण टिके होते हैं – यही वह विफलता है जो सबसे ज़्यादा मायने रखती है। एक बिगड़ा हुआ टैग खीज पैदा करता है। एक आधुनिक की गई वर्तनी, जिस पर पाँच साल तक किसी की नज़र न पड़े, पाठ का भ्रष्ट हो जाना है। <h2 id="सपन-लकड-कपजशन">स्पैन-लॉक्ड कंपोज़िशन</h2> नया रिलीज़ (v0.3) मतिभ्रम रोकने की एक ऐसी व्यवस्था लेकर आया है, जिसका निशाना ठीक यही विफलता है। डिज़ाइन का लक्ष्य: मूल पाठ के मतिभ्रम को केवल असंभाव्य नहीं, बल्कि बनावट से ही असंभव बना देना। विचार सीधा-सा है: मॉडल मूल पाठ कभी टाइप नहीं करता। इसके बजाय वर्कफ़्लो यों चलता है: <ol> <li>मॉडल <code>get_source("letter_001")</code> बुलाता है और उसे स्रोत का सादा पाठ एक अपरिवर्तनीय स्ट्रिंग के रूप में मिलता है।</li> <li>जो भी टैग वह लगाना चाहता है, उसके लिए वह <code>tag_span("letter_001", start, end, element_path, attrs)</code> बुलाता है – यानी स्रोत की एक वर्ण-सीमा पर एक TEI एलिमेंट दर्ज करता है।</li> <li>काम पूरा होने पर वह <code>compose("letter_001")</code> बुलाता है। सर्वर दर्ज किए गए टैगों को मूल सादे पाठ में पिरोता है, अंतिम TEI तैयार करता है, और फिर बाइट-दर-बाइट जाँचता है कि तैयार दस्तावेज़ का सपाट पाठ स्रोत के बराबर है या नहीं।</li> </ol> बाइट मिल गए, तो दस्तावेज़ लौट आता है। नहीं मिले – अगर मॉडल के टैगों से किसी तरह ऐसा मूल पाठ निकलता है जो स्रोत से एक भी वर्ण में भिन्न हो – तो <code>compose()</code> भ्रष्ट दस्तावेज़ लौटाने के बजाय त्रुटि उठा देता है। इस वर्कफ़्लो में कोई ऐसा रास्ता नहीं जिससे मॉडल एक ऐसा TEI दस्तावेज़ बना सके जिसका मूल पाठ स्रोत से भिन्न हो। यह अपरिवर्तनीय शर्त यांत्रिक है, व्यवहार पर टिकी नहीं। आपको यह भरोसा नहीं करना कि मॉडल मतिभ्रम नहीं करेगा; आपको बस दो बाइट-स्ट्रिंगों के बीच एक <code>==</code> जाँच पर भरोसा करना है। <h2 id="यह-कय-ह-और-कय-नह">यह क्या है, और क्या नहीं</h2> स्पैन-लॉक्ड कंपोज़िशन स्कीमा-आधार की पूरक है, उसका विकल्प नहीं। स्कीमा-आधार के उपकरण (<code>validate_document</code>, <code>lookup_element</code>, <code>valid_children</code> और मूल सोलह में से बाक़ी) मॉडल को वैध TEI बनाने में मदद करते हैं। स्पैन-लॉक्ड कंपोज़िशन इसकी गारंटी देती है कि उस TEI के भीतर का मूल पाठ स्रोत के प्रति वफ़ादार है। काम में लाने लायक़ एनकोडिंग वर्कफ़्लो को दोनों कसौटियों पर खरा उतरना होता है, और अब दोनों एक ही सर्वर से सधती हैं। यह हर मर्ज़ की दवा भी नहीं है। <code>compose()</code> अभी यह नहीं जाँचता कि दर्ज किए गए टैग किसी लोड किए गए ODD अनुकूलन के अनुसार स्वीकार्य हैं या नहीं – यह अगला क़दम है। दर्ज किए गए टैग प्रोसेस की मेमोरी में रहते हैं और रीस्टार्ट के बाद नहीं बचते। और स्रोत फ़ाइलें वहाँ से पढ़ने योग्य होनी चाहिए जहाँ सर्वर चल रहा है। ये सब सुलझाए जा सकते हैं; इनमें से कोई भी मूल अपरिवर्तनीय शर्त को कमज़ोर नहीं करता। <h2 id="tei-स-आग-यह-कय-मयन-रखत-ह">TEI से आगे यह क्यों मायने रखता है</h2> यह पैटर्न सामान्यीकृत होता है। जब भी किसी मॉडल से किसी पाठ पर टिप्पणी करने, उसे रूपांतरित करने या लपेटने को कहा जाए – और जब भी मूल पाठ की अखंडता मॉडल की “सुधारने” की क्षमता से ज़्यादा मायने रखे – तो इसी आकार का समाधान लागू होता है। मॉडल से पाठ दोबारा टाइप करने को मत कहिए। उससे पाठ पर निर्देश बनवाइए, और एक नियतात्मक कंपोज़र को समानता की अपरिवर्तनीय शर्त के तहत उन्हें लागू करने दीजिए। ख़ास तौर पर डिजिटल संस्करणों के लिए इससे यह बदल जाता है कि आप ज़िम्मेदारी के साथ किसी मॉडल से क्या करवा सकते हैं। एनकोडिंग अचानक ऐसा काम बन जाती है जिसे आप हर आउटपुट का स्रोत से हाथ से मिलान किए बिना सौंप सकते हैं। मशीन उबाऊ रास्ता चलती है; संपादक मार्कअप की समीक्षा करता है, वर्तनी की नहीं। <h2 id="अपडट-कस-पए">अपडेट कैसे पाएँ</h2> अगर tei-mcp पहले से इंस्टॉल है: <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash">uvx tei-mcp@latest </code></pre></div>या नए सिरे से: <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash">pip install tei-mcp </code></pre></div>स्पैन-लॉक्ड कंपोज़िशन इस्तेमाल करने के लिए सर्वर को स्रोत की सादा-पाठ फ़ाइलों की किसी डायरेक्टरी की ओर मोड़िए: <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash">export TEI_MCP_SPAN_SOURCE_ROOT=/path/to/sources uvx tei-mcp </code></pre></div>हर फ़ाइल का मूल नाम उसका दस्तावेज़ ID बन जाता है (<code>letter_001.txt</code> → <code>letter_001</code>)। स्रोत कोड, पूरा दस्तावेज़ीकरण और अपरिवर्तनीय शर्त के डिज़ाइन-नोट: </article> <article> <h1>एक अलग ढंग का डिजिटल संस्करण</h1> Tue, 24 Mar 2026 00:00:00 +0000 ज़्यादातर प्राथमिक स्रोत कभी प्रकाशित नहीं होते। इसका इलाज जिस मॉडल से करने की हम कोशिश करते हैं – अनुदान पर टिके डिजिटल संस्करण – वह इतना महँगा, इतना केंद्रीकृत और इतना नाज़ुक है कि बड़े पैमाने पर चल ही नहीं सकता। मैंने अभी-अभी प्रकाशित की है, जिसमें बताया है कि मैं कावरियाना के पत्रों का आलोचनात्मक संस्करण अलग ढंग से क्यों बना रहा हूँ: डिजिटल रूप में प्राथमिक स्रोत, जो अपने-आप, धीरे-धीरे बढ़ते हैं – न्यूनतम इन्फ़्रास्ट्रक्चर के साथ, स्वचालित रखरखाव के साथ, सहयोग के लिए खुले, और इतने सस्ते कि अनुदान की ज़रूरत ही न पड़े। यह दरअसल एक ऐसी डिजिटल मानविकी के पक्ष में दलील है, जो संस्थागत सहारे के होने-न-होने की परवाह किए बिना चलती रहे। </article> <article> <h1>tei-mcp</h1> Sun, 15 Mar 2026 00:00:00 +0000 <h2 id="tei-mcp-एआई-एजट-क-लए-tei-p5">tei-mcp: एआई एजेंटों के लिए TEI P5</h2> tei-mcp एक ओपन-सोर्स सर्वर है, जो एआई कोडिंग असिस्टेंटों को विनिर्देश तक सीधी पहुँच देता है। प्रशिक्षण-डेटा की धुँधली याद के भरोसे रहने के बजाय – जिससे अक्सर देखने में ठीक-ठाक पर ग़लत मार्कअप निकलता है – एआई विनिर्देश से सीधे, उसी वक़्त पूछ सकता है। <h2 id="वशषतए">विशेषताएँ</h2> सर्वर TEI P5 के ODD को पार्स करता है और 16 उपकरण उपलब्ध कराता है: <ul> <li>किसी भी एलिमेंट, क्लास, मैक्रो या मॉड्यूल की खोज नाम से – बड़े-छोटे अक्षर का भेद किए बिना, और टाइपिंग की ग़लती पर सुझाव के साथ</li> <li>पूरी TEI क्लास-श्रेणी में एट्रिब्यूट का निर्धारण (स्थानीय + विरासत में मिले)</li> <li>क्लास और मैक्रो को खोलते हुए कंटेंट मॉडल का विस्तार संरचित वृक्ष के रूप में</li> <li>नेस्टिंग की जाँच – सीधा अभिभावक-संतान संबंध या पथ के साथ पुनरावर्ती पहुँच</li> <li>TEI P5 के विरुद्ध दस्तावेज़ की वैधता-जाँच: कंटेंट मॉडल, एट्रिब्यूट, बंद मान-सूचियाँ, संदर्भों की अखंडता और अप्रचलन की चेतावनियाँ</li> <li>क्रमिक संपादन के लिए एकल एलिमेंट की वैधता-जाँच</li> <li>स्कीमा को किसी परियोजना-विशेष उपसमुच्चय तक सीमित करने के लिए ODD अनुकूलन लोड करना</li> <li>रेगुलर एक्सप्रेशन से सभी प्रकार की इकाइयों में खोज</li> </ul> <h2 id="इसटलशन">इंस्टॉलेशन</h2> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash">pip install tei-mcp </code></pre></div>या सीधे चलाइए: <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash">uvx tei-mcp </code></pre></div><h2 id="उपयग">उपयोग</h2> किसी भी MCP-संगत क्लाइंट (Claude, Cursor, Windsurf आदि) में जोड़िए: <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-json" data-lang="json">{ "mcpServers": { "tei": { "command": "uvx", "args": ["tei-mcp"] } } } </code></pre></div>स्रोत कोड और दस्तावेज़ीकरण पर उपलब्ध हैं। </article> <article> <h1>tei-mcp: एआई एजेंटों के लिए TEI P5</h1> Sun, 15 Mar 2026 00:00:00 +0000 अगर आपने कभी किसी एआई कोडिंग असिस्टेंट से TEI XML लिखवाया है, तो ग़ौर किया होगा कि वह गड़बड़ कर बैठता है। एलिमेंट वहाँ आ जाते हैं जहाँ उन्हें नहीं होना चाहिए। एट्रिब्यूट गढ़ लिए जाते हैं। नेस्टिंग के नियम अनदेखे रह जाते हैं। मॉडल को मोटा-मोटी अंदाज़ा है कि TEI कैसी दिखती है, पर विनिर्देश का कोई भरोसेमंद ज्ञान नहीं। tei-mcp इसका हल है: यह एआई एजेंटों को TEI P5 दिशानिर्देशों तक सीधी, उपकरण-आधारित पहुँच देता है। <details class="print:hidden xl:hidden" > <summary>सामग्री तालिका</summary> <div class="text-sm"> <nav id="TableOfContents"> <ul> <li><a href="#mcp-कय-ह">MCP क्या है?</a></li> <li><a href="#tei-mcp-कय-करत-ह">tei-mcp क्या करता है</a></li> <li><a href="#यह-कय-मयन-रखत-ह">यह क्यों मायने रखता है</a></li> <li><a href="#शरआत-कस-कर">शुरुआत कैसे करें</a></li> </ul> </nav> </div> </details> <h2 id="mcp-कय-ह">MCP क्या है?</h2> (MCP) एक खुला मानक है, जो एआई ऐप्लिकेशनों को बाहरी डेटा-स्रोतों और उपकरणों से जोड़ने देता है। इसे एआई का USB पोर्ट समझिए: एक ही प्रोटोकॉल, जिससे कोई भी संगत क्लाइंट – Claude, Cursor, Windsurf और अन्य – विशेष सेवाओं में प्लग हो सकता है। एक MCP सर्वर ऐसे उपकरण उपलब्ध कराता है, जिन्हें एआई बातचीत के दौरान बुला सकता है। रटे हुए प्रशिक्षण-डेटा के भरोसे रहने के बजाय मॉडल किसी जीवंत, प्रामाणिक स्रोत से पूछ सकता है। <h2 id="tei-mcp-कय-करत-ह">tei-mcp क्या करता है</h2> tei-mcp TEI P5 के ODD विनिर्देश को पार्स करता है और 16 उपकरण उपलब्ध कराता है, जो किसी संपादक या एनकोडर के सबसे आम सवालों का जवाब देते हैं: <ul> <li>यह एलिमेंट क्या है? किसी भी एलिमेंट, क्लास, मैक्रो या मॉड्यूल को नाम से खोजिए – बड़े-छोटे अक्षर का भेद किए बिना, और टाइपिंग की ग़लती पर सुझाव के साथ।</li> <li>यह कौन-से एट्रिब्यूट लेता है? पूरी क्लास-श्रेणी में एट्रिब्यूट का निर्धारण – पहले स्थानीय, फिर क्रम से विरासत में मिले।</li> <li>इसके भीतर क्या आ सकता है? कंटेंट मॉडल को संरचित वृक्ष के रूप में खोलिए, या वैध संतानों की सपाट सूची पाइए।</li> <li>क्या यह एलिमेंट यहाँ आ सकता है? अभिभावक-संतान नेस्टिंग की जाँच कीजिए, या पूरी एलिमेंट-श्रेणी में पहुँच का पता लगाइए।</li> <li>क्या मेरा दस्तावेज़ वैध है? किसी TEI XML फ़ाइल को विनिर्देश पर परखिए: कंटेंट मॉडल, एट्रिब्यूट के मान, बंद मान-सूचियाँ, संदर्भों की अखंडता और अप्रचलन की चेतावनियाँ।</li> <li>और मेरी परियोजना की स्कीमा? ODD अनुकूलन फ़ाइल लोड कीजिए, ताकि ऊपर का सब कुछ आपकी परियोजना के TEI उपसमुच्चय तक सीमित रहे।</li> </ul> <h2 id="यह-कय-मयन-रखत-ह">यह क्यों मायने रखता है</h2> TEI एनकोडिंग में दिशानिर्देशों को बार-बार देखना पड़ता है। अनुभवी एनकोडर सबसे आम पैटर्न आत्मसात कर लेते हैं, लेकिन कम परिचित एलिमेंटों या जटिल कंटेंट मॉडलों के लिए उन्हें भी विनिर्देश खोलना पड़ता है। एआई असिस्टेंटों के पास ऐसा कोई आत्मसात ज्ञान नहीं होता, इसलिए उनकी समस्या और गंभीर है: वे देखने में ठीक-ठाक पर ग़लत मार्कअप गढ़ लेते हैं। tei-mcp के साथ एआई को अनुमान लगाने की ज़रूरत नहीं। पहला कोण-कोष्ठक लिखने से पहले वह विनिर्देश में जवाब देख सकता है। नतीजा: ऐसा मार्कअप जो TEI P5 के – या आपकी परियोजना के ODD अनुकूलन के – अनुरूप हो। <h2 id="शरआत-कस-कर">शुरुआत कैसे करें</h2> PyPI से इंस्टॉल कीजिए: <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash">pip install tei-mcp </code></pre></div>फिर इसे अपने MCP क्लाइंट की कॉन्फ़िगरेशन में जोड़िए: <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-json" data-lang="json">{ "mcpServers": { "tei": { "command": "uvx", "args": ["tei-mcp"] } } } </code></pre></div>सर्वर पहली बार चलने पर TEI विनिर्देश डाउनलोड करता है और किसी भी MCP-संगत क्लाइंट के साथ काम करता है। स्रोत कोड और पूरा दस्तावेज़ीकरण: </article> <article> <h1>Multi-Saxon</h1> Fri, 28 Mar 2025 00:00:00 +0000 <h2 id="multi-saxon-बड-tei-करपस-क-लए-समनतर-xslt-परससग">Multi-Saxon: बड़े TEI कॉर्पस के लिए समानांतर XSLT प्रोसेसिंग</h2> XML प्रोसेसिंग के औज़ारों में एक बड़ी कमी रही है: LXML (Python की लोकप्रिय XML लाइब्रेरी) XSLT 2.0 और 3.0 के रूपांतरण नहीं सँभाल पाती। Multi-Saxon इसी कमी को पूरा करता है और ऐसे रूपांतरणों को समानांतर चलाने की सुविधा देता है। यह ख़ास तौर पर XML TEI दस्तावेज़ों के बड़े संग्रहों के लिए बनाया गया है, और समानांतर निष्पादन से प्रोसेसिंग का समय काफ़ी घटा देता है। <h2 id="मखय-वशषतए">मुख्य विशेषताएँ</h2> <ul> <li>उन्नत XSLT समर्थन: LXML की सीमा से आगे जाकर XSLT 2.0 और 3.0 के रूपांतरण</li> <li>समानांतर प्रोसेसिंग: बड़े दस्तावेज़-संग्रहों के रूपांतरण का समय समानांतरीकरण से नाटकीय रूप से कम</li> <li>TEI के लिए अनुकूलित: विशेष रूप से Text Encoding Initiative (TEI) के XML दस्तावेज़ों के लिए बनाया गया</li> <li>बढ़ते आकार पर भी प्रदर्शन: सैकड़ों से हज़ारों दस्तावेज़ों तक के कॉर्पस को कुशलता से सँभालता है</li> <li>क्रॉस-प्लेटफ़ॉर्म: अलग-अलग ऑपरेटिंग सिस्टम और परिवेशों में चलता है</li> </ul> <h2 id="multi-saxon-कस-समसय-क-हल-ह">Multi-Saxon किस समस्या का हल है</h2> TEI के साथ काम करने वाले डिजिटल मानविकी के शोधकर्ता अक्सर दो बड़ी अड़चनों से जूझते हैं: <ol> <li>LXML (Python की आम XML प्रोसेसिंग लाइब्रेरी) केवल XSLT 1.0 का समर्थन करती है, जिससे XSLT 2.0/3.0 की उन्नत सुविधाओं का इस्तेमाल असंभव हो जाता है</li> <li>TEI दस्तावेज़ों का बड़ा कॉर्पस एक-एक करके प्रोसेस करने में इतना समय लग सकता है कि काम ही अव्यावहारिक हो जाए</li> </ol> Multi-Saxon दोनों समस्याओं को हल करता है: यह Saxon की उन्नत XSLT क्षमताओं का लाभ उठाता है और प्रोसेसिंग को कई कोर पर बाँटकर प्रदर्शन में बड़ी बढ़त देता है। <h2 id="करयनवयन">कार्यान्वयन</h2> Multi-Saxon Python को Java के Saxon प्रोसेसर से जोड़कर एक तेज़ रूपांतरण-पाइपलाइन बनाता है: <ul> <li>मज़बूत XSLT 2.0/3.0 प्रोसेसिंग के लिए Java की Saxon लाइब्रेरी का उपयोग</li> <li>उपलब्ध CPU कोर पर रूपांतरण बाँटने के लिए मल्टीप्रोसेसिंग</li> <li>अधिकतम थ्रूपुट के लिए प्रोसेसर-पूल का कुशल प्रबंधन</li> <li>TEI दस्तावेज़ों की बैच-प्रोसेसिंग के लिए सीधा-सादा इंटरफ़ेस</li> </ul> <h2 id="उपयग-क-उदहरण">उपयोग का उदाहरण</h2> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python">from multi_saxon import MultiSaxon # Initialize with your XSLT stylesheet transformer = MultiSaxon("transform.xsl") # Transform a single document transformer.transform("input.xml", "output.xml") # Transform an entire directory in parallel transformer.transform_directory("input_dir", "output_dir") </code></pre></div><h2 id="डजटल-मनवक-क-लए-महतव">डिजिटल मानविकी के लिए महत्व</h2> TEI दस्तावेज़ों के बड़े संग्रहों से जूझ रही डिजिटल मानविकी परियोजनाओं के लिए Multi-Saxon संभव बनाता है: <ul> <li>पूरे कॉर्पस पर ऐसे जटिल रूपांतरण, जो LXML से असंभव होते</li> <li>प्रोसेसिंग समय में नाटकीय कमी (मल्टी-कोर सिस्टम पर अक्सर 5–10 गुना)</li> <li>XSLT 2.0/3.0 की उन्नत सुविधाओं से और परिष्कृत विश्लेषण</li> <li>पूरे दस्तावेज़-संग्रह को प्रोसेस करने का सरल वर्कफ़्लो</li> </ul> स्रोत कोड और दस्तावेज़ीकरण पर उपलब्ध हैं। </article> <article> <h1>persNamer</h1> Fri, 28 Mar 2025 00:00:00 +0000 <h2 id="persnamer-tei-क-virtual-international-authority-file-स-जडन">persNamer: TEI को Virtual International Authority File से जोड़ना</h2> persNamer एक विशेष Python उपकरण है, जो VIAF (Virtual International Authority File) के प्रामाणिक व्यक्ति-डेटा को TEI XML दस्तावेज़ों में जोड़ने का काम सरल बनाता है। VIAF पहचानकर्ता को तैयार TEI मार्कअप में बदलकर persNamer डिजिटल विद्वत्तापूर्ण संस्करणों के लिए संरचित व्यक्ति-प्रविष्टियाँ बनाने की हाथ की मेहनत काफ़ी घटा देता है। <h2 id="tei-म-परमणक-नम-सच-क-चनत">TEI में प्रामाणिक नाम-सूची की चुनौती</h2> डिजिटल विद्वत्तापूर्ण संस्करणों में ऐतिहासिक व्यक्तियों की सटीक पहचान ज़रूरी होती है – मानकीकृत नाम और जन्म-मृत्यु की तिथियों समेत। पूरी परियोजना में प्रामाणिक नाम-सूची को एकरूप रखने के लिए चाहिए: <ol> <li>ऐतिहासिक पाठों में व्यक्तियों की पहचान</li> <li>उनके बारे में प्रामाणिक डेटा की खोज</li> <li>सही ढंग से गढ़ी गई TEI प्रविष्टियाँ</li> <li>पूरी परियोजना में एक जैसे संदर्भ</li> </ol> ये सारे चरण आम तौर पर हाथ से किए जाते हैं, समय खाते हैं और असंगति की गुंजाइश छोड़ते हैं। <h2 id="persnamer-कस-कम-करत-ह">persNamer कैसे काम करता है</h2> persNamer इस वर्कफ़्लो को स्वचालित करता है: <ol> <li>VIAF डेटा लाना: VIAF पहचानकर्ता मिलने पर उपकरण HTTP कंटेंट नेगोशिएशन के ज़रिये RDF डेटा प्राप्त करता है</li> <li>मुख्य जानकारी निकालना: RDF को पार्स करके पसंदीदा नाम, जन्म-तिथि और मृत्यु-तिथि निकालता है</li> <li>TEI मार्कअप बनाना: दो ज़रूरी XML खंड तैयार करता है: <ul> <li>एक प्रामाणिक नाम-सूची की प्रविष्टि (<code><person></code> एलिमेंट, जिसमें स्वतः बना <code>xml:id</code>, <code><persName></code>, <code><birth></code>, <code><death></code> और <code><idno type="VIAF"></code> होते हैं)</li> <li>एक अलग टिप्पणी-टैग (<code><persName></code>, जिसका <code>ref</code> एट्रिब्यूट नाम-सूची की प्रविष्टि की ओर संकेत करता है)</li> </ul> </li> </ol> इस दोहरे आउटपुट से संपादक एक केंद्रीय नाम-सूची रख सकते हैं और साथ ही अपने TEI पाठों में टिप्पणी-टैग आसानी से डाल सकते हैं। <h2 id="मखय-वशषतए">मुख्य विशेषताएँ</h2> <ul> <li>मानक ID निर्माण: <code>pers-[familyname]-[givenname initial]</code> के प्रारूप में एकरूप XML ID बनाता है (जैसे <code>pers-deteligny-c</code>)</li> <li>RDF पार्सिंग: <code>rdflib</code> के ज़रिये विभिन्न RDF प्रॉपर्टियों (जैसे <code>rdfs:label</code>, <code>schema:name</code>, <code>viaf:mainHead</code>) से जानकारी निकालता है</li> <li>कमांड-लाइन इंटरफ़ेस: बस एक VIAF नंबर देकर चलाइए – और कुछ ज़रूरी नहीं</li> <li>विस्तृत आउटपुट: अंतिम XML के साथ प्रोसेसिंग का पूरा ब्योरा भी देता है</li> </ul> <h2 id="उपयग-क-उदहरण">उपयोग का उदाहरण</h2> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash">python persNamer.py 314802260 </code></pre></div>यह कमांड देती है: <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-xml" data-lang="xml"><person xml:id="pers-deteligny-c"> <persName>Charles deTéligny</persName> <birth>1535</birth> <death>1572-08-24</death> <idno type="VIAF">314802260</idno> </person> <persName ref="#pers-deteligny-c">Charles deTéligny</persName> </code></pre></div><h2 id="डजटल-मनवक-म-उपयग">डिजिटल मानविकी में उपयोग</h2> persNamer ख़ास तौर पर इनके लिए उपयोगी है: <ul> <li>प्रामाणिक नाम-सूची की ज़रूरत वाले डिजिटल विद्वत्तापूर्ण संस्करण</li> <li>ऐतिहासिक व्यक्तियों से जुड़ी TEI एनकोडिंग परियोजनाएँ</li> <li>दस्तावेज़ों को प्रामाणिक अभिलेखों से जोड़ने वाली लिंक्ड डेटा पहलें</li> <li>बड़े TEI कॉर्पस में एकरूपता बनाए रखना</li> <li>डिजिटल मानविकी के पाठ्यक्रमों में प्रामाणिक नाम-सूची की अवधारणा पढ़ाना</li> </ul> <h2 id="करयनवयन">कार्यान्वयन</h2> persNamer Python में लिखा गया है और इन पर निर्भर है: <ul> <li>HTTP अनुरोधों के लिए <code>requests</code></li> <li>RDF पार्सिंग के लिए <code>rdflib</code></li> <li>XML सँभालने के लिए <code>lxml</code></li> </ul> स्रोत कोड और दस्तावेज़ीकरण पर उपलब्ध हैं। </article> <article> <h1>ITA2 टेलीग्राफ़ एम्युलेटर</h1> Thu, 13 Feb 2025 00:00:00 +0000 यह ITA2 एम्युलेटर पढ़ाने का एक व्यावहारिक औज़ार है: एनकोडिंग जैसी अमूर्त अवधारणा को यह आँखों के सामने और हाथ में ले आता है। जब विद्यार्थी कोई पाठ टाइप करते हैं और उसे तुरंत छेदों के पैटर्न में बदलते देखते हैं, तो वे कंप्यूटिंग और दूरसंचार की कई बुनियादी बातें एक साथ सीख रहे होते हैं। <h2 id="शकषक-लभ">शैक्षिक लाभ</h2> पहली बात, यह बाइनरी निरूपण दिखाता है – पाठ किस तरह 1 और 0 के पैटर्न में बदल जाता है। आम तौर पर हम इसे किताबी ढंग से पढ़ाते हैं, लेकिन जब टेप पर सचमुच छेद उभरते दिखते हैं, तो विद्यार्थी समझ पाते हैं कि कोई भौतिक व्यवस्था डिजिटल सूचना को कैसे धारण कर सकती है। <div class="baudot-emulator"> <h2>ITA2 (Baudot-Murray) Telegraph Type Emulator</h2> Type a word in the input below to see its representation on the ITA2 tape. <div class="baudot-controls"> <label for="baudot-input">Type word:</label> <input id="baudot-input" class="text-input" size="50" maxlength="50" /> <button type="button" id="baudot-ltr-button" class="control-button active">LTR</button> <button type="button" id="baudot-fig-button" class="control-button">FIG</button> </div> <div class="tape-outer-container"> <div class="tape-container"> <table> <tbody id="baudot-tape"></tbody> </table> </div> </div> <style> .baudot-emulator { --light-color: #f3f4f6; --dark-color: #1f2937; --light-alt-color: #e5e7eb; --dark-alt-color: #374151; font-family: -apple-system, BlinkMacSystemFont, 'Segoe UI', Roboto, Oxygen-Sans, Ubuntu, Cantarell, 'Helvetica Neue', sans-serif; max-width: 100%; margin: 2rem 0; padding: 0; box-sizing: border-box; } .baudot-emulator { --tape-bg: var(--light-color); --hole-bg: var(--light-color); --hole-border: #d1d5db; --punched-bg: var(--dark-color); --punched-border: var(--dark-color); --sprocket-bg: var(--light-color); --sprocket-border: #9ca3af; --button-bg: var(--light-color); --button-bg-active: #d1d5db; --button-text: var(--dark-color); --button-border: #d1d5db; --input-bg: white; --input-border: #d1d5db; --input-text: var(--dark-color); --line-number: #6b7280; } html.dark .baudot-emulator, html[data-theme='dark'] .baudot-emulator, body.dark .baudot-emulator { --tape-bg: var(--dark-alt-color); --hole-bg: var(--dark-alt-color); --hole-border: #4b5563; --punched-bg: var(--light-color); --punched-border: var(--light-color); --sprocket-bg: var(--dark-alt-color); --sprocket-border: #9ca3af; --button-bg: var(--dark-alt-color); --button-bg-active: #4b5563; --button-text: var(--light-color); --button-border: #4b5563; --input-bg: var(--dark-alt-color); --input-border: #4b5563; --input-text: var(--light-color); --line-number: #9ca3af; } .baudot-controls { margin-bottom: 1.5rem; display: flex; flex-wrap: wrap; align-items: center; gap: 0.5rem; } .baudot-emulator .text-input { flex: 1; min-width: 200px; padding: 0.5rem; font-size: 1rem; border: 1px solid var(--input-border); border-radius: 4px; background: var(--input-bg); color: var(--input-text); } .baudot-emulator .control-button { padding: 0.5rem 1rem; background: var(--button-bg); color: var(--button-text); border: 1px solid var(--button-border); border-radius: 4px; cursor: pointer; font-size: 0.9rem; } .baudot-emulator .control-button.active { background: var(--button-bg-active); font-weight: bold; } .tape-outer-container { padding: 0; margin-bottom: 1.5rem; border-radius: 4px; overflow: hidden; } .tape-container { width: 100%; overflow-x: auto; background: var(--tape-bg); padding: 1rem 0.5rem; } .baudot-emulator table { border-collapse: collapse; width: 100%; table-layout: fixed; border: none; } .baudot-emulator tr { height: 24px; border: none; } .baudot-emulator td { border: none; padding: 0; } .baudot-emulator .line-number { width: 20px; text-align: center; color: var(--line-number); font-size: 0.8rem; padding: 0 8px 0 0; font-weight: bold; } .baudot-emulator .cell { position: relative; width: 20px; height: 20px; } .baudot-emulator .cell-content { position: absolute; top: 50%; left: 50%; transform: translate(-50%, -50%); width: 12px; height: 12px; border-radius: 50%; background: var(--hole-bg); border: 1px solid var(--hole-border); } .baudot-emulator .punched .cell-content { background: var(--punched-bg); border: 1px solid var(--punched-border); } .baudot-emulator .sprocket-hole { position: absolute; left: 50%; top: 100%; transform: translate(-50%, -50%); width: 4px; height: 4px; border-radius: 50%; background: var(--sprocket-bg); border: 1px solid var(--sprocket-border); z-index: 2; } </style> <script> document.addEventListener('DOMContentLoaded', function() { initBaudotEmulator(); }); function initBaudotEmulator() { if (!document.getElementById('baudot-input')) return; const textInput = document.getElementById('baudot-input'); const tape = document.getElementById('baudot-tape'); const ltrButton = document.getElementById('baudot-ltr-button'); const figButton = document.getElementById('baudot-fig-button'); const ita2Code = { 'A': '00011', 'B': '11001', 'C': '01110', 'D': '01001', 'E': '00001', 'F': '01101', 'G': '11010', 'H': '10100', 'I': '00110', 'J': '01011', 'K': '01111', 'L': '10010', 'M': '11100', 'N': '01100', 'O': '11000', 'P': '10110', 'Q': '10111', 'R': '01010', 'S': '00101', 'T': '10000', 'U': '00111', 'V': '11110', 'W': '10011', 'X': '11101', 'Y': '10101', 'Z': '10001', '1': '00011', '2': '11001', '3': '01110', '4': '01001', '5': '00001', '6': '01101', '7': '11010', '8': '10100', '9': '01011', '0': '11000', '-': '00011', '?': '00100', ':': '01010', '(': '11000', ')': '11101', '.': '01000', ',': '00010', "'": '10001', '=': '01111', '/': '10011', '+': '11011', ' ': '00100', 'FIG': '11011', 'LTR': '11111', }; function generateTape() { let rows = ''; for (let row = 0; row < 5; row++) { rows += '<tr>'; rows += `<td class="line-number">${row + 1}</td>`; for (let col = 0; col < 50; col++) { rows += `<td id="baudot_${row}_${col}" class="cell unpunched"> <div class="cell-content"></div> ${row === 2 ? '<div class="sprocket-hole"></div>' : ''} </td>`; } rows += '</tr>'; } tape.innerHTML = rows; } function updateITA2Code(word) { clearTape(); word = word.toUpperCase(); let tapePosition = 0; let currentCharType = 'LTR'; ltrButton.classList.add('active'); figButton.classList.remove('active'); for (let i = 0; i < word.length; i++) { const char = word[i]; let code = ita2Code[char] || ita2Code[' ']; let requiredCharType = /[A-Z ]/.test(char) ? 'LTR' : 'FIG'; if (requiredCharType !== currentCharType) { const shiftCode = requiredCharType === 'LTR' ? ita2Code['LTR'] : ita2Code['FIG']; punchTape(shiftCode, tapePosition++); currentCharType = requiredCharType; ltrButton.classList.toggle('active', currentCharType === 'LTR'); figButton.classList.toggle('active', currentCharType === 'FIG'); } punchTape(code, tapePosition++); } } function punchTape(code, tapePosition) { if (tapePosition >= 50) return; for (let bit = 0; bit < 5; bit++) { const cell = document.getElementById(`baudot_${bit}_${tapePosition}`); if (cell) { cell.className = code[bit] === '1' ? 'cell punched' : 'cell unpunched'; } } } function clearTape() { for (let i = 0; i < 50; i++) { for (let bit = 0; bit < 5; bit++) { const cell = document.getElementById(`baudot_${bit}_${i}`); if (cell) { cell.className = 'cell unpunched'; } } } } generateTape(); textInput.addEventListener('input', function() { updateITA2Code(this.value); }); ltrButton.addEventListener('click', function() { this.classList.add('active'); figButton.classList.remove('active'); if (textInput.value) { updateITA2Code(textInput.value); } }); figButton.addEventListener('click', function() { this.classList.add('active'); ltrButton.classList.remove('active'); if (textInput.value) { updateITA2Code(textInput.value); } }); if (textInput.value) { updateITA2Code(textInput.value); } } </script> </div> LETTERS/FIGURES शिफ़्ट की युक्ति स्टेट मशीन की अवधारणा को सहज ढंग से सामने ले आती है। विद्यार्थी प्रयोग करते-करते ख़ुद खोज लेते हैं कि एक ही पैटर्न मौजूदा मोड के हिसाब से अलग-अलग वर्ण दर्शा सकता है। अवस्था-आधारित एनकोडिंग का यह हाथों-हाथ अनुभव उन्हें कंप्यूटिंग की और जटिल अवधारणाओं के लिए तैयार करता है। <h2 id="करयनवयन-क-बयर">कार्यान्वयन का ब्योरा</h2> एम्युलेटर JavaScript और HTML/CSS में लिखा गया है, इसलिए इसे किसी भी वेब-पेज में आसानी से जोड़ा जा सकता है। कोड मॉड्यूलर है और अलग-अलग शैक्षिक संदर्भों के अनुसार ढाला जा सकता है। स्रोत कोड यहाँ मिलेगा, और एम्युलेटर को आप ख़ुद भी आज़मा सकते हैं: । </article> <article> <h1>ITA2 टेलीग्राफ़ एम्युलेटर से बाइनरी की पढ़ाई</h1> Thu, 13 Feb 2025 00:00:00 +0000 <h2 id="अमरत-क-मरत-बनन">अमूर्त को मूर्त बनाना</h2> यह ITA2 एम्युलेटर पढ़ाने का एक व्यावहारिक औज़ार है। एनकोडिंग जैसी अमूर्त अवधारणा को आँखों के सामने और हाथ में ले आकर यह विद्यार्थियों को कंप्यूटिंग और दूरसंचार की एक बुनियादी बात से परिचित कराता है: बाइनरी निरूपण – यानी पाठ किस तरह एक और शून्य के पैटर्न में बदल जाता है। आम तौर पर हम इसे किताबी ढंग से पढ़ाते हैं, लेकिन जब टेप पर सचमुच छेद उभरते दिखते हैं, तो विद्यार्थी समझ पाते हैं कि कोई भौतिक व्यवस्था डिजिटल सूचना को कैसे धारण कर सकती है। <div class="baudot-emulator"> <h2>ITA2 (Baudot-Murray) Telegraph Type Emulator</h2> Type a word in the input below to see its representation on the ITA2 tape. <div class="baudot-controls"> <label for="baudot-input">Type word:</label> <input id="baudot-input" class="text-input" size="50" maxlength="50" /> <button type="button" id="baudot-ltr-button" class="control-button active">LTR</button> <button type="button" id="baudot-fig-button" class="control-button">FIG</button> </div> <div class="tape-outer-container"> <div class="tape-container"> <table> <tbody id="baudot-tape"></tbody> </table> </div> </div> <style> .baudot-emulator { --light-color: #f3f4f6; --dark-color: #1f2937; --light-alt-color: #e5e7eb; --dark-alt-color: #374151; font-family: -apple-system, BlinkMacSystemFont, 'Segoe UI', Roboto, Oxygen-Sans, Ubuntu, Cantarell, 'Helvetica Neue', sans-serif; max-width: 100%; margin: 2rem 0; padding: 0; box-sizing: border-box; } .baudot-emulator { --tape-bg: var(--light-color); --hole-bg: var(--light-color); --hole-border: #d1d5db; --punched-bg: var(--dark-color); --punched-border: var(--dark-color); --sprocket-bg: var(--light-color); --sprocket-border: #9ca3af; --button-bg: var(--light-color); --button-bg-active: #d1d5db; --button-text: var(--dark-color); --button-border: #d1d5db; --input-bg: white; --input-border: #d1d5db; --input-text: var(--dark-color); --line-number: #6b7280; } html.dark .baudot-emulator, html[data-theme='dark'] .baudot-emulator, body.dark .baudot-emulator { --tape-bg: var(--dark-alt-color); --hole-bg: var(--dark-alt-color); --hole-border: #4b5563; --punched-bg: var(--light-color); --punched-border: var(--light-color); --sprocket-bg: var(--dark-alt-color); --sprocket-border: #9ca3af; --button-bg: var(--dark-alt-color); --button-bg-active: #4b5563; --button-text: var(--light-color); --button-border: #4b5563; --input-bg: var(--dark-alt-color); --input-border: #4b5563; --input-text: var(--light-color); --line-number: #9ca3af; } .baudot-controls { margin-bottom: 1.5rem; display: flex; flex-wrap: wrap; align-items: center; gap: 0.5rem; } .baudot-emulator .text-input { flex: 1; min-width: 200px; padding: 0.5rem; font-size: 1rem; border: 1px solid var(--input-border); border-radius: 4px; background: var(--input-bg); color: var(--input-text); } .baudot-emulator .control-button { padding: 0.5rem 1rem; background: var(--button-bg); color: var(--button-text); border: 1px solid var(--button-border); border-radius: 4px; cursor: pointer; font-size: 0.9rem; } .baudot-emulator .control-button.active { background: var(--button-bg-active); font-weight: bold; } .tape-outer-container { padding: 0; margin-bottom: 1.5rem; border-radius: 4px; overflow: hidden; } .tape-container { width: 100%; overflow-x: auto; background: var(--tape-bg); padding: 1rem 0.5rem; } .baudot-emulator table { border-collapse: collapse; width: 100%; table-layout: fixed; border: none; } .baudot-emulator tr { height: 24px; border: none; } .baudot-emulator td { border: none; padding: 0; } .baudot-emulator .line-number { width: 20px; text-align: center; color: var(--line-number); font-size: 0.8rem; padding: 0 8px 0 0; font-weight: bold; } .baudot-emulator .cell { position: relative; width: 20px; height: 20px; } .baudot-emulator .cell-content { position: absolute; top: 50%; left: 50%; transform: translate(-50%, -50%); width: 12px; height: 12px; border-radius: 50%; background: var(--hole-bg); border: 1px solid var(--hole-border); } .baudot-emulator .punched .cell-content { background: var(--punched-bg); border: 1px solid var(--punched-border); } .baudot-emulator .sprocket-hole { position: absolute; left: 50%; top: 100%; transform: translate(-50%, -50%); width: 4px; height: 4px; border-radius: 50%; background: var(--sprocket-bg); border: 1px solid var(--sprocket-border); z-index: 2; } </style> <script> document.addEventListener('DOMContentLoaded', function() { initBaudotEmulator(); }); function initBaudotEmulator() { if (!document.getElementById('baudot-input')) return; const textInput = document.getElementById('baudot-input'); const tape = document.getElementById('baudot-tape'); const ltrButton = document.getElementById('baudot-ltr-button'); const figButton = document.getElementById('baudot-fig-button'); const ita2Code = { 'A': '00011', 'B': '11001', 'C': '01110', 'D': '01001', 'E': '00001', 'F': '01101', 'G': '11010', 'H': '10100', 'I': '00110', 'J': '01011', 'K': '01111', 'L': '10010', 'M': '11100', 'N': '01100', 'O': '11000', 'P': '10110', 'Q': '10111', 'R': '01010', 'S': '00101', 'T': '10000', 'U': '00111', 'V': '11110', 'W': '10011', 'X': '11101', 'Y': '10101', 'Z': '10001', '1': '00011', '2': '11001', '3': '01110', '4': '01001', '5': '00001', '6': '01101', '7': '11010', '8': '10100', '9': '01011', '0': '11000', '-': '00011', '?': '00100', ':': '01010', '(': '11000', ')': '11101', '.': '01000', ',': '00010', "'": '10001', '=': '01111', '/': '10011', '+': '11011', ' ': '00100', 'FIG': '11011', 'LTR': '11111', }; function generateTape() { let rows = ''; for (let row = 0; row < 5; row++) { rows += '<tr>'; rows += `<td class="line-number">${row + 1}</td>`; for (let col = 0; col < 50; col++) { rows += `<td id="baudot_${row}_${col}" class="cell unpunched"> <div class="cell-content"></div> ${row === 2 ? '<div class="sprocket-hole"></div>' : ''} </td>`; } rows += '</tr>'; } tape.innerHTML = rows; } function updateITA2Code(word) { clearTape(); word = word.toUpperCase(); let tapePosition = 0; let currentCharType = 'LTR'; ltrButton.classList.add('active'); figButton.classList.remove('active'); for (let i = 0; i < word.length; i++) { const char = word[i]; let code = ita2Code[char] || ita2Code[' ']; let requiredCharType = /[A-Z ]/.test(char) ? 'LTR' : 'FIG'; if (requiredCharType !== currentCharType) { const shiftCode = requiredCharType === 'LTR' ? ita2Code['LTR'] : ita2Code['FIG']; punchTape(shiftCode, tapePosition++); currentCharType = requiredCharType; ltrButton.classList.toggle('active', currentCharType === 'LTR'); figButton.classList.toggle('active', currentCharType === 'FIG'); } punchTape(code, tapePosition++); } } function punchTape(code, tapePosition) { if (tapePosition >= 50) return; for (let bit = 0; bit < 5; bit++) { const cell = document.getElementById(`baudot_${bit}_${tapePosition}`); if (cell) { cell.className = code[bit] === '1' ? 'cell punched' : 'cell unpunched'; } } } function clearTape() { for (let i = 0; i < 50; i++) { for (let bit = 0; bit < 5; bit++) { const cell = document.getElementById(`baudot_${bit}_${i}`); if (cell) { cell.className = 'cell unpunched'; } } } } generateTape(); textInput.addEventListener('input', function() { updateITA2Code(this.value); }); ltrButton.addEventListener('click', function() { this.classList.add('active'); figButton.classList.remove('active'); if (textInput.value) { updateITA2Code(textInput.value); } }); figButton.addEventListener('click', function() { this.classList.add('active'); ltrButton.classList.remove('active'); if (textInput.value) { updateITA2Code(textInput.value); } }); if (textInput.value) { updateITA2Code(textInput.value); } } </script> </div> <h2 id="ऐतहसक-पषठभम-टलगरफ-स-कपयटग-तक">ऐतिहासिक पृष्ठभूमि: टेलीग्राफ़ से कंप्यूटिंग तक</h2> ITA2 (International Telegraph Alphabet No. 2) कोड, जिसे बोदो-मरे कोड भी कहते हैं, 1920 के दशक में एमिल बोदो के 1870 के दशक वाले मूल टेलीग्राफ़ कोड को सुधारकर बनाया गया था। इन शुरुआती दूरसंचार प्रणालियों का बाद के कंप्यूटिंग विकास पर सीधा असर पड़ा: <ul> <li>5-बिट एनकोडिंग योजना कैरेक्टर एनकोडिंग का एक आरंभिक उदाहरण थी</li> <li>वर्ण-समुच्चय की सीमा (5 बिट से केवल 32 संयोजन संभव) ने LETTERS/FIGURES शिफ़्ट की चतुर युक्ति को जन्म दिया</li> <li>यह प्रणाली टेलीटाइप मशीनों में बीसवीं सदी के काफ़ी अंदर तक इस्तेमाल होती रही</li> </ul> <h2 id="खल-खल-म-सटट-मशन">खेल-खेल में स्टेट मशीन</h2> LETTERS/FIGURES शिफ़्ट की युक्ति स्टेट मशीन की अवधारणा को सहज ढंग से सामने ले आती है। विद्यार्थी प्रयोग करते-करते ख़ुद खोज लेते हैं कि एक ही पैटर्न मौजूदा मोड के हिसाब से अलग-अलग वर्ण दर्शा सकता है। अवस्था-आधारित एनकोडिंग का यह हाथों-हाथ अनुभव उन्हें कंप्यूटिंग की और जटिल अवधारणाओं के लिए तैयार करता है। मिसाल के तौर पर, बिट-पैटर्न <code>00011</code> का अर्थ है: <ul> <li>LETTERS मोड में अक्षर ‘A’</li> <li>FIGURES मोड में अंक ‘1’ अवस्था के अनुसार बदलने वाली यह दोहरी व्याख्या कंप्यूटर के डेटा-संचालन की बुनियाद में है।</li> </ul> <h2 id="ककष-क-गतवधय">कक्षा की गतिविधियाँ</h2> ITA2 एम्युलेटर को पढ़ाई में शामिल करने के कुछ तरीक़े: <ol> <li>कोड तोड़ने की चुनौती: विद्यार्थियों से ITA2 पैटर्न में लिखे संदेश डिकोड करवाइए</li> <li>किफ़ायती एनकोडिंग: चर्चा कीजिए कि बैंडविड्थ बचाने के लिए शिफ़्ट की युक्ति क्यों ज़रूरी थी</li> <li>एनकोडिंग का विकास: ITA2 के 5-बिट कोड की तुलना ASCII (7-बिट) और Unicode से कीजिए</li> <li>फ़िज़िकल कंप्यूटिंग: इस ऐतिहासिक प्रणाली को Arduino जैसे आधुनिक माइक्रोकंट्रोलरों से जोड़िए</li> </ol> <h2 id="सगमत-क-लभ">सुगमता के लाभ</h2> ऐतिहासिक दिलचस्पी से आगे, यह तरीक़ा अलग-अलग ढंग से सीखने वाले विद्यार्थियों के काम आता है: <ul> <li>देखकर सीखने वाले पैटर्न देखते हैं</li> <li>हाथ से करके सीखने वाले एनकोडिंग की प्रक्रिया से सीधे जुड़ते हैं</li> <li>सैद्धांतिक रुचि वाले सूचना सिद्धांत के गणितीय पहलू खंगाल सकते हैं</li> </ul> <h2 id="करयनवयन-क-बयर">कार्यान्वयन का ब्योरा</h2> एम्युलेटर JavaScript में लिखा गया है और किसी भी वेब-आधारित शिक्षण मंच में आसानी से जोड़ा जा सकता है। कोड मॉड्यूलर है और अलग-अलग शैक्षिक संदर्भों के अनुसार ढाला जा सकता है। स्रोत कोड यहाँ मिलेगा, और एम्युलेटर को आप ख़ुद भी आज़मा सकते हैं: </article> <article> <h1>लेवांते का एक अनुभूत भूगोल</h1> Sat, 29 Oct 2022 10:02:52 -0500 <h1 id="भमक">भूमिका</h1> लेवांते एक फिसलती हुई जगह है। उसकी परिभाषा आम तौर पर किसी दूसरे इलाक़े के संबंध में – या उसके विरोध में – की जाती है, इसलिए उसका अर्थ शायद ही कभी स्थिर रहा; जिस जगह और जिस समय यह शब्द इस्तेमाल हुआ, उसके हिसाब से यह अलग-अलग भूगोल जगाता रहा। लेकिन अगर इस शब्द की वस्तुनिष्ठ और सटीक परिभाषा गढ़ना कठिन है, तो भी उम्मीद की जा सकती है कि किसी दिए हुए पाठ-कॉर्पस के भीतर मौजूद सहसंबंधों के आधार पर उस क्षेत्र का एक व्यक्तिपरक नक़्शा खींचा जाए। दूसरे शब्दों में, पाठकों के किसी ख़ास समूह के मन में लेवांते कौन-सा भूभाग जगा सकता था? इस पोस्ट में मैं आपको दिखाऊँगा कि Medici Archive Project के के डेटा से उन ख़ास जगहों को कैसे देखा जा सकता है, जिनसे यह स्थान-नाम जुड़ा हुआ था। <h1 id="mia-डटबस">MIA डेटाबेस</h1> MIA डेटाबेस उन शोधकर्ताओं का साझा मंच है, जो की अभिलेखीय सामग्री की अपनी तस्वीरें अपलोड और साझा करना चाहते हैं। पिछले एक साल में, के संरक्षण में, हमारी टीम ने फ़्लोरेंस के Mediceo del Principato अभिलेखागार के avvisi खंड में रखे हज़ारों दस्तावेज़ों की तस्वीरें ली हैं, उनकी प्रतिलिपि की है, सार लिखे हैं और उन्हें वर्गीकृत किया है। हमारा डेटाबेस मूलतः सांख्यिकीय विश्लेषण के लिए नहीं बना था, फिर भी जो मेटाडेटा हमने उपलब्ध कराया है, उसे डाउनलोड करके डेटासेट के रूप में इस्तेमाल किया जा सकता है। <h1 id="डटसट">डेटासेट</h1> यहाँ मैंने जो डेटासेट बनाया है, वह 1543 से 1566 तक लेवांते से आई सारी ख़बरों को समेटता है – यानी अभिलेखागार में दर्ज पहले avviso से लेकर उस साल तक, जब सुल्तान की मृत्यु होती है। सर्वर से निकाले गए डेटा का एक नमूना यह रहा। तीन कॉलम के इस डेटा में एक अद्वितीय दस्तावेज़-संख्या, एक स्थान-नाम और एक तारीख़ है। <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-csv" data-lang="csv">57386 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3 57386 Modon / Messinias, Nomos / Peloponnisos / Ellas 1565-1-3 57386 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3 57386 Evvoia / Evvoias, Nomos / Sterea Ellas-Evvoia / Ellas 1565-1-3 57386 Venetian Republic / Italia / Europe / World 1565-1-3 57386 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3 57386 Black Sea / Asia / World / Top of the TGN hierarchy 1565-1-3 57389 Otranto / Lecce / Puglia / Italia 1565-1-3 57389 Nisoi Aiyaiou / Ellas / Europe / World 1565-1-3 57389 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3 57389 Buda / Budapest / Budapest / Magyarorszag 1565-1-3 57389 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3 57389 Kipros / Asia / World / Top of the TGN hierarchy 1565-1-3 57389 Rodhos / Rodos, Nisos / Sporadhes / Nisoi Aiyaiou 1565-1-3 57389 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3 57389 Çorlu / Thraki / Ellas / Europe 1565-1-3 </code></pre></div><h2 id="डट-क-सफई">डेटा की सफ़ाई</h2> इस डेटा को देखने लायक़ बनाने के लिए पहले इसे csv (comma separated values) डेटासेट के रूप में पढ़ने योग्य बनाना होगा। साथ ही यहाँ दी गई भौगोलिक जानकारी को एक ज़्यादा “मशीन-अनुकूल” रूप में बदलना होगा: GPS निर्देशांक। डेटासेट में सैकड़ों प्रविष्टियाँ हैं, इसलिए बेहतर है कि यह काम स्वचालित हो। , या जैसे पूर्व-प्रशिक्षित भाषा मॉडलों – और ऐसे कई अन्य – की मदद से यह काफ़ी जल्दी और काफ़ी सटीकता से हो जाता है। हाँ, इस पर कड़ी निगरानी रखनी होगी, क्योंकि पूर्व-प्रशिक्षित भाषा मॉडलों में मतिभ्रम की – यानी मनगढ़ंत बातें कहने की – हल्की-सी प्रवृत्ति होती है। <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-csv" data-lang="csv">documentId,latitude,longitude,documentDate 57386,35.899167,14.514167,1565-1-3 57386,37.05,22.116667,1565-1-3 57386,31.200028,29.918719,1565-1-3 57386,38.366667,23.666667,1565-1-3 57386,45.438333,12.331333,1565-1-3 57386,41.018611,28.984444,1565-1-3 57386,42.7,18.8,1565-1-3 57389,40.216667,18.166667,1565-1-3 57389,37.966667,23.716667,1565-1-3 57389,35.899167,14.514167,1565-1-3 57389,47.4925,19.051389,1565-1-3 57389,31.200028,29.918719,1565-1-3 57389,34.916667,33.616667,1565-1-3 57389,36.405419,28.227778,1565-1-3 57389,41.018611,28.984444,1565-1-3 57389,41.133333,27.416667,1565-1-3 </code></pre></div><h1 id="घनतव-मनचतर">घनत्व-मानचित्र</h1> घनत्व-मानचित्र एक ऐसा विज़ुअलाइज़ेशन है, जो दिखाता है कि किसी डेटासेट में कोई जगह कितनी बार आती है। इससे न सिर्फ़ अपने डेटा का भौगोलिक दायरा समझ आता है, बल्कि उसके केंद्र-बिंदु भी। नक़्शे पर कौन-सी जगहों का ज़िक्र ज़्यादा होता है? और कौन-सी बस कभी-कभार आती हैं? केंद्र कहाँ हैं, और परिधि कितनी दूर? नक़्शे पर पाठक का ध्यान सबसे ज़्यादा कहाँ टिकने की संभावना है? इस प्रयोग के लिए – और चूँकि मुझे जल्दी थी – मैंने के एक API का इस्तेमाल किया। वैसे कई विज़ुअलाइज़ेशन लाइब्रेरियाँ और भौगोलिक सूचना प्रणालियाँ (GIS) इसी तरह का घनत्व-मानचित्र बनाने देती हैं। <h1 id="कछ-अवलकन">कुछ अवलोकन</h1> नतीजा किसी साफ़-साफ़ परिभाषित अवधारणा के सटीक चित्रण से ज़्यादा एक प्रभाववादी चित्र है, और इस प्रयोग में मुझे यही बात भाती है। दरअसल, डेटा विज्ञान मानविकी का ताक़तवर साथी हो सकता है, लेकिन हमें उसके नियमों से बँधना ज़रूरी नहीं। इस प्रयोग का एक और दिलचस्प पहलू यह है कि नक़्शा एक ऐसा लेवांते सामने लाता है, जो बाक़ी यूरोप और भूमध्यसागर से पूरी तरह जुड़ा हुआ है। यह उस्मानी साम्राज्य के राजनीतिक भूगोल में एदिर्ने की केंद्रीयता को भी उभारता है। इसके अलावा, नक़्शे पर स्पेन का सबसे अहम शहर न मैड्रिड है, न एस्कोरियाल, बल्कि नेपल्स। और आख़िर में – पर कम अहम नहीं – द्वीप और रागूज़ा जैसे छोटे नगर-राज्य क्षेत्र की विभिन्न शक्तियों के बीच मध्यस्थता की महत्वपूर्ण भूमिका निभाते दिखते हैं। <h1 id="mia-स-डट-कस-मग">MIA से डेटा कैसे माँगें</h1> MIA शोधकर्ताओं के लिए सहयोग का शानदार उपकरण तो है, लेकिन उसके सर्वरों पर रखा डेटा आसानी से हाथ नहीं आता। मिसाल के तौर पर, उसका बैक-एंड सार्वजनिक रिपॉज़िटरी में प्रकाशित नहीं है। फिर भी, MIA पर पंजीकरण करके और python से सर्वर को अनुरोध भेजकर आप डेटा हासिल कर सकते हैं। <h3 id="अनरध">अनुरोध</h3> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python">url = "https://mia.medici.org/Mia/json/de/advancedsearch/advancedSearchResults/0/90/docYear/asc/?isNewsFeedSearch=False" payload = [{"searchSection":"archivalLocationSearch","type":"archivalLocationAdvancedSearch","isActiveFilter":True,"repository":None,"collection":"Mediceo del Principato","series":None,"volume":"2863","insert":None},{"searchSection":"categoryAndTypologySearch","type":"categoryAndTypologyAdvancedSearch","isActiveFilter":True,"category":"News","typology":None},{"searchSection":"transcriptionSearch","type":"transcriptionAdvancedSearch","isActiveFilter":False,"transcription":""},{"isActiveFilter":False,"searchSection":"synopsisSearch","type":"synopsisAdvancedSearch","synopsis":""},{"searchSection":"placesSearch","type":"placesAdvancedSearch","isActiveFilter":False,"places":[]},{"searchSection":"peopleSearch","type":"peopleAdvancedSearch","isActiveFilter":False,"people":[]},{"searchSection":"topicsSearch","type":"topicsAdvancedSearch","isActiveFilter":True,"topics":[{"topicTitle":"Place Index","topicId":"51","placeAllId":""}]},{"searchSection":"dateSearch","type":"dateAdvancedSearch","isActiveFilter":False,"dateFilterType":"","dateYear":"","dateMonth":"","dateDay":"","dateBYear":"","dateBMonth":"","dateBDay":""},{"searchSection":"documentOwnerSearch","type":"documentOwnerAdvancedSearch","isActiveFilter":False,"editType":"owner","account":""},{"searchSection":"languagesSearch","type":"languagesAdvancedSearch","isActiveFilter":False,"languages":[]}] headers = {'Content-type': 'application/json', 'Accept': '*/*'} r = requests.post(url, data=json.dumps(payload), headers=headers, auth=('LOGIN','PASSWORD')) </code></pre></div>LOGIN और PASSWORD की जगह अपने क्रेडेंशियल डालना न भूलें। <h3 id="परतकरय-क-फइल-म-लख">प्रतिक्रिया को फ़ाइल में लिखें</h3> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python">with open('response.json', 'wb') as fd: for chunk in r.iter_content(chunk_size=128): fd.write(chunk) </code></pre></div><h3 id="json-खल">JSON खोलें</h3> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python">f = open('response.json', encoding="utf8") </code></pre></div><h3 id="json-ऑबजकट-क-डकशनर-क-रप-म-लटए">JSON ऑब्जेक्ट को डिक्शनरी के रूप में लौटाएँ</h3> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python">json_complete = json.load(f) </code></pre></div><h3 id="json-स-डट-चन-और-उस-csv-पररप-म-परट-कर">JSON से डेटा चुनें और उसे CSV प्रारूप में प्रिंट करें</h3> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python">with open('results.csv', 'w', newline='') as csvfile: fieldnames = ['documentId', 'placeCited', 'documentDate'] writer = csv.DictWriter(csvfile, fieldnames=fieldnames) writer.writeheader() for i in json_complete['data']: if i['topics'] != None: for x in i['topics']: documentId=x['documentId'] placeCited=x['topicPlaceName'] year=i['date']['docYear'] month=i['date']['docMonth'] day=i['date']['docDay'] documentDate=str(year)+ "-" + str(month)+"-" + str(day) writer.writerow({'documentId': documentId, 'placeCited': placeCited, 'documentDate': documentDate}) </code></pre></div><code>results.csv</code> फ़ाइल डाउनलोड हो जाने के बाद आप ऊपर बताए तरीक़े से डेटा की सफ़ाई कर सकते हैं। </article> <article> <h1>पूर्व-प्रशिक्षित भाषा मॉडलों से बड़े पैमाने पर ग्रंथसूची की पार्सिंग</h1> Thu, 07 Jul 2022 19:04:14 +0200 डिजिटल मानविकी की परियोजनाओं की लागत घटानी है, तो कुंजी है स्वचालन। आज तक अकादमिक दुनिया में संपादकीय काम से जुड़े दोहराव भरे और उबाऊ काम या तो पहले से बोझ तले दबे शोधकर्ता भारी ख़र्च पर करते आए हैं, या फिर उन्हें छात्रों को “आउटसोर्स” कर दिया जाता रहा है। में मेरी दलील है कि इन बेगार जैसे कामों में से ज़्यादातर को स्वचालित किया जा सकता है, यही नहीं, किया जाना चाहिए। संपादकीय कामों का स्वचालन डिजिटल मानविकी की परियोजनाओं की कुल लागत घटाता है। और सबसे अहम बात, यह कम आय वाले क्षेत्रों के शोधकर्ताओं को बहुमूल्य दस्तावेज़ जल्दी और सस्ते में प्रकाशित करने का रास्ता देता है। में मैंने मिसाल के तौर पर दिखाया था कि पूर्व-प्रशिक्षित भाषा मॉडल किसी डिजिटल संस्करण की XML लेबलिंग का ज़्यादातर काम कैसे सँभाल सकते हैं। इस पोस्ट में मैं दूसरी मिसाल पेश करता हूँ – इस बार ग्रंथसूची की। <h2 id="समसय">समस्या</h2> किसी शोध-लेख में उल्लिखित संदर्भों से ग्रंथसूची-डेटाबेस बनाना काफ़ी सीधा काम है। आप जैसे कैटलॉग में झटपट खोज कर सकते हैं, संदर्भ को किसी ख़ास प्रारूप में डाउनलोड कर सकते हैं, या उसे स्थानीय डेटाबेस से स्वतः आयात कर सकते हैं। एक-दो लेखों के साथ यह ठीक चलता है। लेकिन संदर्भों की एक निश्चित संख्या के बाद यह काम उबाऊ और समय खाने वाला बन जाता है। इसके इलाज के लिए जैसे पार्सिंग एल्गोरिद्म इस्तेमाल किए जा सकते हैं। पर इन एल्गोरिद्मों को बड़े पैमाने पर चलाना मुश्किल हो सकता है। जब मैंने हमारे में शामिल 150 से ज़्यादा शोध-निबंधों को anystyle से बदलने की कोशिश की, तो जमा हुई ग़लतियाँ सँभालने लायक़ ही नहीं रहीं। वह हमारे कई स्रोतों को ठीक से पहचान नहीं पाया – मसलन, आरंभिक आधुनिक काल की किताबों के लंबे-लंबे शीर्षकों को कुछ और ही समझ बैठा – और कम प्रचलित दस्तावेज़ों, जैसे ख़ास वेबपेजों या ऑनलाइन वीडियो, को पहचानने में भी नाकाम रहा। पार्सर तभी ठीक काम करते हैं, जब लेखक Chicago, Turabian या MLA जैसी किसी जानी-मानी शैली के नियमों का धर्म की तरह पालन करे। मानक से ज़रा-सा हटे नहीं कि ग़लतियाँ शुरू। <h2 id="समधन">समाधान</h2> यहीं पूर्व-प्रशिक्षित भाषा मॉडल काम आते हैं, क्योंकि वे किसी भी ग्रंथसूची-शैली के पैटर्न झट से समझ लेते हैं – आपकी अपनी ईजाद की हुई शैली के भी – और चंद उदाहरणों के सहारे स्वरूपित ग्रंथसूची के बड़े ढेर को ठीक-ठीक में बदल देते हैं। 2021 की शुरुआत में मुझे सौभाग्य से OpenAI के तक शुरुआती पहुँच मिल गई थी। Codex ऐसा मॉडल है जो प्राकृतिक भाषा को कोड में और कोड को प्राकृतिक भाषा में बदलने देता है। OpenAI का दावा है कि यह एक दर्जन से ज़्यादा प्रोग्रामिंग भाषाओं में दक्ष है, और हालाँकि यह पोस्ट लिखे जाने तक इसका API अभी बीटा संस्करण के रूप में ही उपलब्ध है, यह GitHub के जैसे लोकप्रिय ऐप्लिकेशनों को पहले से चला रहा है। इस API से थोड़ा खेलने के बाद मुझे एहसास हुआ कि यह <code>BibTeX</code> जैसे सरल कोड के साथ भी बहुत अच्छा काम कर सकता है। और सचमुच, इसे भरोसेमंद ढंग से चलाने के लिए मुझे इनपुट प्रॉम्प्ट में सिर्फ़ चार उदाहरण देने पड़े। <h3 id="इनपट-परमपट">इनपुट प्रॉम्प्ट</h3> References: Bayle, Ariane. “Patients exemplaires: la correspondance médicale de Fioravanti.” In Vulgariser la médecine. Du style médical en France et en Italie, edited by Andrea Carlino and Michel Jeanneret, 181–212. Geneva: Droz, 2009. Berns, Andrew D. The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth. Cambridge: Cambridge University Press, 2015. Gabler, Hans Walter. “Theorizing the Digital Scholarly Edition.” Literature Compass 7, no. 2 (2010): 43–56. . Findlen, Paula. Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy. Berkeley: University of California Press, 1994. <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-BibTeX" data-lang="BibTeX">@incollection{bayle2009, author = {Bayle, Ariane}, booktitle = {Vulgariser la médecine. Du style médical en France et en Italie}, title = {Patients exemplaires: la correspondance médicale de Fioravanti}, editor = {Carlino, Andrea and Michel Jeanneret}, year = {2009}, address = {Geneva}, publisher = {Droz}, langid = {french} } @book{berns2015, title = {The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth}, author = {Berns, Andrew D.}, address = {Cambridge}, publisher = {Cambridge University Press}, langid = {english}, date = {2015} } @article{gabler2010, author = {Gabler, Hans Walter}, title = {Theorizing the Digital Scholarly Edition}, journal = {Literature Compass}, volume = {7}, number = {2}, pages = {43-56}, doi = {10.1111/j.1741-4113.2009.00675.x}, langid = {english}, year = {2010} } @book{findlen1994, title = {Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy}, author = {Findlen, Paula}, address = {Berkeley}, publisher = {University of California Press}, langid = {english}, date = {1994} } </code></pre></div><h3 id="नतज">नतीजे</h3> चौंकाने वाले हैं: 2,000 से ज़्यादा ग्रंथसूची-संदर्भ चंद दिनों में बदल गए। इस तरीक़े ने मेरे इनपुट प्रॉम्प्ट में दिखाए पैटर्न को सटीक ढंग से दोहराया ही नहीं, बल्कि ऐसे प्रविष्टि-प्रकार और फ़ील्ड-प्रकार भी सही-सही जोड़ दिए, जो इनपुट प्रॉम्प्ट में थे ही नहीं। दूसरे शब्दों में, <code>GPT-3</code> <code>BibTeX</code> में पूरी तरह धाराप्रवाह है। और मूलतः अंग्रेज़ी में प्रशिक्षित मॉडल के लिए शायद ज़्यादा हैरानी की बात यह कि उसने सारी भाषाएँ (रूसी, फ़्रांसीसी, इतालवी, लातीनी, यूनानी, जर्मन, स्पेनी वग़ैरह) पहचान लीं और हर बार सही <code>langid</code> फ़ील्ड जोड़ा। <div class="callout flex px-4 py-3 mb-6 rounded-md border-l-4 bg-blue-100 dark:bg-blue-900 border-blue-500" data-callout="note" data-callout-metadata=""> <svg height="24" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="1.5" d="m16.862 4.487l1.687-1.688a1.875 1.875 0 1 1 2.652 2.652L6.832 19.82a4.5 4.5 0 0 1-1.897 1.13l-2.685.8l.8-2.685a4.5 4.5 0 0 1 1.13-1.897zm0 0L19.5 7.125"/></svg> <div class="callout-content dark:text-neutral-300"> <div class="callout-title font-semibold mb-1">टिप्पणी</div> <div class="callout-body">GPT-3 के इनपुट और आउटपुट का आकार फ़िलहाल सीमित है: यह अधिकतम 2048 भाषाई टोकन प्रोसेस कर सकता है। यह सीमा हटते ही यही काम शायद एक घंटे या उससे भी कम में हो जाएगा।</div> </div> </div> कुछ अप्रत्याशित ढंग से, GPT-3 ने ऐसी जानकारी भी जोड़ी जो मूल संदर्भों में नहीं थी। <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> Baillot, Anne, and Anna Busch. “Editing for Man and Machine.” In Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting, Vol. 13. Variants (Journal of the European Society for Textual Scholarship). Leicester, 2015. </blockquote> मसलन, इस ग्रंथसूची-संदर्भ में GPT-3 ने उस ओपन-एक्सेस रिपॉज़िटरी ( ) का स्थायी लिंक जोड़ दिया, जहाँ यह लेख पढ़ा जा सकता है – HAL रिपॉज़िटरी की बनाई ख़ास फ़ील्डें <code>HAL_ID</code> और <code>HAL_VERSION</code> समेत: <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-BibTeX" data-lang="BibTeX">@inproceedings{baillot2015, title = {Editing for Man and Machine}, author = {Baillot, Anne and Busch, Anna}, year = 2015, booktitle = {Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting}, address = {Leicester}, series = {Variants (Journal of the European Society for Textual Scholarship)}, volume = 13, editor = {Bruhn, Siglinde and Schreiber, Manfred}, langid = {english}, hal_id = {halshs-01233380}, hal_version = {v1} } </code></pre></div>ये जोड़ बताते हैं कि GPT-3 ग्रंथसूची-संदर्भ को सिर्फ़ पार्स नहीं करता, बल्कि जो कुछ उसने पहले सीखा है, उसके आधार पर उसे पूरा भी करता है। इस लिहाज़ से यह देखना दिलचस्प होगा कि GPT-3 के प्रशिक्षण के बाद की तारीख़ों वाले संदर्भों के साथ भी वह ऐसा ही करता है या नहीं… <h2 id="समए">सीमाएँ</h2> पर GPT-3 बेदाग़ नहीं है। उस पर इंसान की निगरानी ज़रूरी है। उसकी एक जानी-मानी कमज़ोरी है: कभी-कभी वह चीज़ें गढ़ लेता है और कुछ अटपटी धारणाएँ बना लेता है। मेरे प्रयोग में GPT-3 की असंगति के दौरे तब ज़ाहिर हुए, जब उसने अपने-आप एक लेखक का कुलनाम “Ruscelli” से बदलकर “Ruscello” कर दिया। तकनीकी तौर पर यह ग़लती नहीं है, क्योंकि आरंभिक आधुनिक काल के इतालवी कुलनाम बहुवचन या एकवचन में बिना भेद के इस्तेमाल हो सकते थे। लेकिन आज का रिवाज यह है कि कुलनाम बहुवचन में हो या एकवचन में, उसे जस का तस रखा जाए। आज कोई Machiavelli को Machiavello नहीं कहेगा, ठीक जैसे हमसे Rosselli नहीं, Rossello नाम इस्तेमाल करने की अपेक्षा की जाती है। क्या GPT-3 ने कालक्रम-बोध की कमी के कारण इस रिवाज को अनदेखा किया? या फिर उसने आसपास के कुलनामों के आधार पर धारणा बना ली, जो ग्रंथसूची के इस हिस्से में संयोग से सभी एकवचन में हैं (Bariletto, Cesano, Rossello)? कौन जाने। <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-Bibtex" data-lang="Bibtex">@book{rossello1565, title = {Della summa de’ secreti universali}, author = {Rossello, Timoteo}, address = {Venice}, publisher = {Giovanni Bariletto}, langid = {italian}, date = {1565} } @book{ruscello1559, title = {La seconda parte de’ secreti del Reverendo Donno Alessio Piemontese}, author = {Ruscello, Girolamo}, address = {Pesaro}, publisher = {Bartolomeo Cesano}, langid = {italian}, date = {1559} } </code></pre></div><h2 id="नषकरष">निष्कर्ष</h2> चार साल के गहन सहयोग में लिखे गए, 150 से ज़्यादा निबंध न सिर्फ़ उस पांडुलिपि के बारे में अहम जानकारी देते हैं, जिसका हमने संपादन और अनुवाद किया, बल्कि बहुमूल्य ग्रंथसूची-सामग्री भी समेटे हैं। इन ग्रंथसूची-संदर्भों को एक डेटाबेस में जुटा लेने से संपादक पलक झपकते ग्रंथसूची का प्रारूप बदल सकते हैं, और इस जानकारी को मनचाहे ढंग से दिखाने की ज़्यादा छूट पा जाते हैं। यह डेटाबेस संस्करण और उसे संभव बनाने वाली परियोजना के बारे में भी बहुमूल्य जानकारी देता है, और शोधकर्ताओं के लिए विश्लेषण के नए दरवाज़े खोलता है। ऐसा डेटाबेस ऊँची सटीकता के साथ और रिकॉर्ड समय में पूरा किया जा सकता है। माना कि कुछ ग़लतियाँ घुस सकती हैं – ख़ास तौर पर GPT-3 की मतिभ्रम की प्रवृत्ति के कारण। लेकिन पूर्व-प्रशिक्षित भाषा मॉडलों के आने वाले संस्करण इस समस्या को कम कर देंगे। </article> <article> <h1>Avviso | उन ख़बरों का प्रकाशन जिन्होंने हमें आधुनिक बनाया (1537—1743)</h1> Sun, 12 Dec 2021 00:00:00 +0000 Avviso परियोजना का मुख्य उद्देश्य है आरंभिक आधुनिक काल की उन 35,000 हस्तलिखित समाचार-पत्रिकाओं – जिन्हें avvisi कहा जाता है – का डिजिटलीकरण, संरक्षण, सूचीकरण, संपादन, संदर्भीकरण और प्रसार, जो मेदिची संग्रह का हिस्सा थीं और अब फ़्लोरेंस के राज्य अभिलेखागार में रखी हैं। लगभग 35,000 avvisi – यानी आरंभिक आधुनिक काल की हस्तलिखित समाचार-पत्रिकाओं – का सूचीकरण, डिजिटलीकरण और प्रसार, Medici Archive Project के Medici Interactive Archive मंच के माध्यम से। </article> <article> <h1>The Spy Who Wished Them Well</h1> Sun, 12 Dec 2021 00:00:00 +0000 और जानकारी जल्द ही। </article> <article> <h1>किफ़ायती संपादन</h1> Sun, 12 Dec 2021 00:00:00 +0000 डिजिटल आलोचनात्मक संस्करण महँगे सौदे हैं। प्रतिलेखन, अनुवाद और टिप्पणी का जो श्रम उच्च-योग्य कार्यबल को करना पड़ता है, वह हज़ारों घंटों का काम है; उसके लिए भारी धन चाहिए, और ऊपर से लंबे समय तक संस्थागत सहारा। एक अर्थ में यह वरदान ही है कि डिजिटल मानविकी की चर्चित परियोजनाएँ अपने संचालन के लिए ज़रूरी भारी-भरकम धनराशि जुटा पाती हैं। लेकिन धनी फ़ाउंडेशनों, विश्वविद्यालयों और सरकारी एजेंसियों की उदारता पर इतनी निर्भरता, और लंबे अरसे तक बड़े मानव-संसाधन की ज़रूरत – यह भविष्य के लिए कोई टिकाऊ आर्थिक मॉडल नहीं है। ज़्यादा से ज़्यादा शोधकर्ता अगर प्राथमिक स्रोतों के महत्वाकांक्षी डिजिटल संस्करण बना भी पा रहे हैं, तो यह चलन अब भी मुट्ठी-भर धनी देशों का विशेषाधिकार बना हुआ है, और इस तरह उनके सांस्कृतिक वर्चस्व को और पुख़्ता करता है। दुनिया भर के ऐतिहासिक दस्तावेज़ों को व्यापक जनता तक पहुँचाना है, तो डिजिटल आलोचनात्मक संस्करणों की लागत कई गुना नहीं, कई दर्जे घटनी चाहिए । ब्लॉग पोस्टों की इस शृंखला में मैं उन अलग-अलग तरीक़ों और तकनीकी ईंटों का जायज़ा लेता हूँ, जिनकी मदद से दुनिया भर के शोधकर्ता प्राथमिक स्रोत ज़्यादा तेज़ी से और न्यूनतम ख़र्च में प्रकाशित कर सकते हैं। ख़ास तौर पर मैं मशीन लर्निंग, ब्लॉकचेन और विकेंद्रीकृत भंडारण जैसी तकनीकों को परखूँगा। </article> <article> <h1>डिजिटल विद्वत्तापूर्ण संस्करणों में मार्कअप का स्वचालन</h1> Mon, 22 Nov 2021 18:15:00 +0000 <h1 id="भमक">भूमिका</h1> तिजोरी ख़ाली किए बिना डिजिटल विद्वत्तापूर्ण संस्करण कैसे बनाए जाएँ? किफ़ायती संपादन पर समर्पित शृंखला की इस पहली पोस्ट में मैं जायज़ा लेता हूँ कि सिमेंटिक मार्कअप जैसे संपादकीय कामों के स्वचालन में पूर्व-प्रशिक्षित भाषा मॉडल क्या भूमिका निभा सकते हैं। <details class="print:hidden xl:hidden" > <summary>सामग्री तालिका</summary> <div class="text-sm"> <nav id="TableOfContents"> <ul> <li><a href="#परम-क-शरम">प्रेम का श्रम</a></li> <li><a href="#ऊच-दहलज">ऊँची दहलीज़</a></li> </ul> <ul> <li><a href="#टरसफरमर-सवचलन-क-सबस-सरल-रसत">ट्रांसफ़ॉर्मर: स्वचालन का सबसे सरल रास्ता?</a> <ul> <li><a href="#codex">Codex</a></li> <li><a href="#openai-स-आग">OpenAI से आगे</a></li> </ul> </li> </ul> <ul> <li><a href="#परयग-1--पठ-क-वरगकरण">प्रयोग 1 – पाठ का वर्गीकरण</a> <ul> <li><a href="#परमपट-इजनयरग">प्रॉम्प्ट इंजीनियरिंग</a></li> <li><a href="#परकषण">परीक्षण</a></li> <li><a href="#नतज">नतीजा</a></li> </ul> </li> <li><a href="#परयग-2--समटक-मरकअप">प्रयोग 2 – सिमेंटिक मार्कअप</a> <ul> <li><a href="#परमपट-इजनयरग-1">प्रॉम्प्ट इंजीनियरिंग</a></li> <li><a href="#परकषण-1">परीक्षण</a></li> </ul> </li> </ul> </nav> </div> </details> <h1 id="समसय">समस्या</h1> <h2 id="परम-क-शरम">प्रेम का श्रम</h2> प्रेम में हिसाब कौन रखता है… कहावत तो यही कहती है। डिजिटल विद्वत्तापूर्ण संस्करणों पर यह ख़ास तौर पर लागू होती है: उन्हें तैयार करने में प्रतिलेखन, अनुवाद और टिप्पणी का जो काम लगता है, वह हज़ारों घंटों का है, और – जैसा कि के मामले में हुआ – सैकड़ों उच्च-योग्य सहयोगी उसे अंजाम देते हैं। एक अर्थ में यह वरदान ही है कि डिजिटल मानविकी की चर्चित परियोजनाएँ अपने संचालन के लिए ज़रूरी भारी-भरकम धनराशि जुटा पाती हैं। लेकिन धनी फ़ाउंडेशनों, विश्वविद्यालयों और सरकारी एजेंसियों की उदारता पर इतनी निर्भरता, और लंबे अरसे तक बड़े मानव-संसाधन की ज़रूरत – यह भविष्य के लिए कोई टिकाऊ आर्थिक मॉडल नहीं है। दरअसल, अगर हम चाहते हैं कि दुनिया भर के शोधकर्ता ऐतिहासिक दस्तावेज़ों को व्यापक जनता तक पहुँचाएँ, तो डिजिटल आलोचनात्मक संस्करणों की लागत कई गुना नहीं, कई दर्जे घटनी चाहिए । <h2 id="ऊच-दहलज">ऊँची दहलीज़</h2> कुछ विरोधाभासी ढंग से, समाधान जैसी श्रमसाध्य परियोजनाओं से ही आ सकता है, क्योंकि वे एक बहुमूल्य प्रशिक्षण-सामग्री हैं – डिजिटल संपादन के सबसे खीज पैदा करने वाले और दोहराव भरे कामों, जैसे मार्कअप, को स्वचालित करने के लिए। ऐसा नहीं कि मार्कअप ग़ैर-ज़रूरी है। सच तो यह है कि मार्कअप किसी भी गंभीर डिजिटल विद्वत्तापूर्ण परियोजना का अनिवार्य अंग बन चुका है। द्वारा मानकीकृत यह हमें दस्तावेज़ और उसके ज़रिये आने वाले पाठ के अधिक से अधिक पहलू दर्ज करने देता है: संरचना, हाशिये की टिप्पणियाँ, काट-छाँट, पाठांतर, काग़ज़ का प्रकार, धब्बे, लिखावट… जो चाहे गिन लीजिए। से लिया गया यह उदाहरण दिखाता है कि मार्कअप पाठ को अतिरिक्त जानकारी (श्रेणी, संरचना, सिमेंटिक क्षेत्र, काट-छाँट आदि) से कैसे समृद्ध करता है, और अंततः डिजिटल संस्करणों को उनके काग़ज़ी पूर्वजों पर एक बड़ी बढ़त देता है। <table> <tr> <th> Plain Text </th> <th> XML Markup</th> </tr> <tr> <td> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text">Pour rompre grenades et donner violence aux artifices de foeu Mects parmy la pouldre et la sixiesme partye dicelle de vif argent </code></pre></div></td> <td> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-xml" data-lang="xml"><div id="p008r_2" categories="arms and armor"> <head>Pour rompre <wp>grenades</wp> et donner<lb/> violence aux <wp>artifices de foeu</wp></head> <ab>Mects parmy la <m>pouldre</m> <del><ms>six fois autant</ms> de <m>vif argent</m></del><lb/> <del>et</del> <ms>la sixiesme partye</ms> dicelle de <m>vif argent</m></ab> </div> </code></pre></div></td> </tr> </table> यह जानकारी अभिलेखीय उद्देश्यों के लिए तो मूल्यवान है ही, संश्लेषण और विश्लेषण के लिए भी है – जैसा मैं पहले कई मौक़ों पर दिखा चुका हूँ। फिर भी, इस तरह की टिप्पणी में बेहद समय लग सकता है, क्योंकि एक ही पाठ अक्सर कई रूपों में उपलब्ध कराना पड़ता है: अनुवाद के रूप में, प्रतिलेखन के रूप में, आधुनिकीकृत रूप में, वग़ैरह। <h1 id="समधन">समाधान</h1> <h2 id="टरसफरमर-सवचलन-क-सबस-सरल-रसत">ट्रांसफ़ॉर्मर: स्वचालन का सबसे सरल रास्ता?</h2> 2020 में ने ख़ूब ढोल-नगाड़ों के साथ सामान्य-उद्देश्य वाले बड़े पैमाने के भाषा मॉडलों का अपना नया परिवार जारी किया – GPT-3, यानी “Generative Pre-trained Transformer 3”। ट्रांसफ़ॉर्मर कृत्रिम बुद्धि में हाल की एक बड़ी उपलब्धि हैं। वे नए काम प्रभावशाली रफ़्तार से सीखते हैं – बस एक प्रॉम्प्ट पढ़कर और बहुत थोड़े-से उदाहरण देखकर। उन्हें किसी ख़ास डेटासेट से अतिरिक्त प्रशिक्षण (फ़ाइन-ट्यूनिंग) भी दिया जा सकता है, जिससे प्रतिक्रिया-समय और सटीकता दोनों सुधरते हैं। इसीलिए GPT-3 और उस जैसे ट्रांसफ़ॉर्मरों को कहा जाता है। OpenAI का दावा है कि GPT-3 में रिकॉर्ड 175 अरब पैरामीटर हैं और उसे 570 GB से ज़्यादा पाठ पर प्रशिक्षित किया गया है, जिसका ज़्यादातर हिस्सा संभवतः से लिए गए अंग्रेज़ी दस्तावेज़ हैं। अपने विशाल आकार के बल पर GPT-3 ने इस क्षेत्र में नया मानदंड स्थापित कर दिया है: बिना किसी अतिरिक्त तैयारी के वह तरह-तरह के काम बेचैन कर देने वाली सजीवता से कर डालता है। वह विश्वसनीय लिखता है, चैट रूम में , , , दस्तावेज़ों का अनुवाद करता है, तकनीकी शब्दजाल समझाता है, वग़ैरह। मई 2021 से OpenAI के API तक शुरुआती पहुँच होने के कारण मैं मॉडल की क्षमता को कई कथित रूप से कठिन कामों पर आज़मा सका हूँ: फ़्रांसीसी कविता और नव-लातीनी पाठों का अंग्रेज़ी अनुवाद, उपमाओं की व्याख्या, यहाँ तक कि कांट के Groundwork for a Metaphysics of Morals के तीसरे खंड को सात साल के बच्चे के लिए सरल बनाना (हालाँकि वह कुछ ख़ास जमा नहीं)। <h3 id="codex">Codex</h3> GPT-3 के ताज़ा विकासों में से एक कंप्यूटर भाषाओं पर केंद्रित है। Codex नाम का यह मॉडल प्राकृतिक भाषा को कंप्यूटर भाषा में और कंप्यूटर भाषा को प्राकृतिक भाषा में बदलता है। मिसाल के तौर पर, अगर मुझे ऐसा रेगुलर एक्सप्रेशन चाहिए जो “सिर्फ़ बड़े अक्षर से शुरू होने वाले शब्द ढूँढ़े”, तो GPT-3 झट से इसे एक काम करने वाले रेगुलर एक्सप्रेशन में बदल देता है: <code>[A-Z]+\w+</code>। OpenAI का दावा है कि Codex एक दर्जन कंप्यूटर भाषाओं के साथ काम कर सकता है, जिनमें Python, JavaScript, Go, Perl, PHP, Ruby और Swift शामिल हैं। छद्म-कोड को सहजता से कोड में बदलकर Codex लोगों को इस लायक़ बनाता है कि वे किसी कंप्यूटर भाषा के थकाऊ सिंटैक्स पर नहीं, बल्कि उन तार्किक चरणों और रणनीतियों पर ध्यान दें, जिनसे ऐप्लिकेशन समस्याएँ सुलझाते हैं। <h3 id="openai-स-आग">OpenAI से आगे</h3> ज़ाहिर है, OpenAI मैदान में अकेला खिलाड़ी नहीं है। जैसा पहले कहा, Beijing Academy for Artificial Intelligence ने 2021 में उससे भी बड़े और अधिक सक्षम मॉडल Wu Dao 2 की घोषणा की। Nvidia और Microsoft ने हाथ मिलाकर Megatron-Turing NLG 530B नाम का – नाम के अनुरूप ही विशाल – मॉडल बनाया। और जैसे छोटे स्टार्ट-अप भी जनता को API उपलब्ध कराते हैं। जैसी ओपन-सोर्स पहलों का ज़िक्र भी ज़रूरी है। एआई की दुनिया, ज़ाहिर है, बहुत तेज़ी से बदल रही है; इस क्षेत्र की नई पहलों पर नज़र रखने के लिए देखिए। <h1 id="परयग">प्रयोग</h1> <div class="callout flex px-4 py-3 mb-6 rounded-md border-l-4 bg-blue-100 dark:bg-blue-900 border-blue-500" data-callout="note" data-callout-metadata=""> <svg height="24" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="1.5" d="m16.862 4.487l1.687-1.688a1.875 1.875 0 1 1 2.652 2.652L6.832 19.82a4.5 4.5 0 0 1-1.897 1.13l-2.685.8l.8-2.685a4.5 4.5 0 0 1 1.13-1.897zm0 0L19.5 7.125"/></svg> <div class="callout-content dark:text-neutral-300"> <div class="callout-title font-semibold mb-1">टिप्पणी</div> <div class="callout-body">इन प्रयोगों का उद्देश्य संपादकीय कामों के भरोसेमंद स्वचालन का सबसे किफ़ायती रास्ता ढूँढ़ना है। कोई कह सकता है कि इनमें से कुछ काम पर्यवेक्षित लर्निंग एल्गोरिद्मों से भी स्वचालित किए जा सकते हैं। इस परिकल्पना को हम आगे किसी पोस्ट में परखेंगे।</div> </div> </div> क्या GPT-3 जैसा ट्रांसफ़ॉर्मर, मसलन, सोलहवीं सदी की किसी तकनीकी और वैज्ञानिक पांडुलिपि पर टिप्पणी करना सीख सकता है? <h2 id="परयग-1--पठ-क-वरगकरण">प्रयोग 1 – पाठ का वर्गीकरण</h2> शुरुआत अपेक्षाकृत सरल चीज़ से करते हैं। “few-shot learner” होने के नाते GPT-3 को जल्दी समझ लेना चाहिए कि हमारी संपादकीय टीम ने Ms Fr 640 की प्रविष्टियों को कैसे वर्गीकृत किया है। <h3 id="परमपट-इजनयरग">प्रॉम्प्ट इंजीनियरिंग</h3> उसे प्रशिक्षित करने के लिए मैंने एक बहुत ही न्यूनतम प्रॉम्प्ट इस्तेमाल किया और उदाहरण के तौर पर सादे पाठ की चार छोटी प्रविष्टियाँ चुनीं – जिनमें “medicine”, “arms and armor” और “painting” की एक-एक प्रविष्टि शामिल थी। <h3 id="परकषण">परीक्षण</h3> फिर मैंने एक और अंश कॉपी किया, जो शुरुआती क्रम में नहीं था: <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text">Working neatly Never put down, if you can, two colors one on top of the other. But next, having made your design carefully, keep the place of shadows for them alone, & also separately that of lights & highlights, without layering one color all over & then highlighting or else shading on it. And in this way, you further your work, economize your colors & work neatly. Which is the reason that, the colors not being muddled nor mixed together, they do not die & you soften the colors better, since they are not so thick. </code></pre></div>आउटपुट विषय-वस्तु से पूरी तरह मेल खाता है: <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-xml" data-lang="xml"><categories="painting"> </code></pre></div>अब अगर ऐसी प्रविष्टि आज़माएँ, जिसकी श्रेणी GPT-3 को प्रशिक्षित करने के लिए चुने गए शुरुआती पाठों में शामिल ही नहीं थी, तो नतीजा हैरान करता है। <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-xml" data-lang="xml"><categories="jewelry"> </code></pre></div><h3 id="नतज">नतीजा</h3> Ms. Fr. 640 के हमारे संस्करण में “jewelry” श्रेणी है ही नहीं। संपादकीय टीम ने “Stones” की व्यापक श्रेणी को । फिर भी GPT-3 की सूझ अच्छी है, और यह संकेत देती है कि थोड़े और प्रशिक्षण से वह Ms. Fr. 640 की किसी भी प्रविष्टि को – और शायद सोलहवीं सदी के मिलते-जुलते तकनीकी पाठों की प्रविष्टियों को भी – वर्गीकृत करना सीख सकता है। <h2 id="परयग-2--समटक-मरकअप">प्रयोग 2 – सिमेंटिक मार्कअप</h2> अब दहलीज़ थोड़ी ऊँची करते हैं। अगर GPT-3 जैसे ट्रांसफ़ॉर्मर पाठों को ख़ास संपादकीय कसौटियों के अनुसार वर्गीकृत करना सीख सकते हैं, तो क्या वे पाठ के कुछ मार्कअप की पहचान भी कर सकते हैं? <div class="callout flex px-4 py-3 mb-6 rounded-md border-l-4 bg-blue-100 dark:bg-blue-900 border-blue-500" data-callout="note" data-callout-metadata=""> <svg height="24" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="1.5" d="m16.862 4.487l1.687-1.688a1.875 1.875 0 1 1 2.652 2.652L6.832 19.82a4.5 4.5 0 0 1-1.897 1.13l-2.685.8l.8-2.685a4.5 4.5 0 0 1 1.13-1.897zm0 0L19.5 7.125"/></svg> <div class="callout-content dark:text-neutral-300"> <div class="callout-title font-semibold mb-1">टिप्पणी</div> <div class="callout-body">Secrets of Craft and Nature सिमेंटिक और संरचनात्मक लेबलों का पेश करता है। दुर्भाग्य से GPT-3 छवियाँ प्रोसेस नहीं करता, जबकि जैसी दूसरी परियोजनाएँ करती हैं। संभावना है कि GPT के आने वाले संस्करणों में यह क्षमता होगी, जो किसी दस्तावेज़ के ज़्यादातर संरचनात्मक और भौतिक पहलुओं को पहचानने के लिए ज़रूरी है। हम इन ख़ास टैगों को छोड़ देंगे और उस मार्कअप पर ध्यान देंगे, जिसके लिए छवि-पहचान की ज़रूरत नहीं।</div> </div> </div> <h3 id="परमपट-इजनयरग-1">प्रॉम्प्ट इंजीनियरिंग</h3> सिमेंटिक टैगों में जानवरों, पौधों, स्थान-नामों, इंद्रिय-अनुभवों आदि के संदर्भ शामिल हैं। प्रशिक्षण-प्रॉम्प्ट में मैंने संस्करण से कुछ उदाहरण चुने: <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-xml" data-lang="xml"> The following is a list of words and their corresponding semantic tags cannons: <wp>cannons</wp> powder: <m>powder</m> flasks: <tl>flasks</tl> wooden: <m>wooden</m> iron: <m>iron</m> parchment: <m>parchment</m> goats: <al>goats</al> lambs: <al>lambs</al> leather: <m>leather</m> earth: <m>earth</m> fine fatty earth: <m>fine fatty earth</m> Venice: <pl>Venice</pl> Flemish: <pl>Flemish</pl> almond: <pa>almond</pa> almond oil: <m><pa>almond</pa> oil</m> walnuts skin: <m><pa>walnuts</pa> skin</m> molten lead: <m>molten lead</m> today: <tmp>today</tmp> In the past: <tmp>In the past</tmp> Clockmakers: <pro>Clockmakers</pro> red copper: <m>red copper</m> crucible: <tl>crucible</tl> bellows: <tl>bellows</tl> charcoal: <m>charcoal</m> founders: <pro>founders</pro> </code></pre></div><h3 id="परकषण-1">परीक्षण</h3> <code>Davinci-codex</code> मॉडल के साथ कुछ आसान शब्द आज़माते हैं, जैसे Apothecary, smoke, glassmakers, latten और snake। नतीजे तुरंत और बेदाग़ हैं: <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-xml" data-lang="xml"> Apothecary: <pro>Apothecary</pro> smoke: <m>smoke<m> glassmakers: <pro>glassmakers</pro> latten: <m>latten</m> snake: <al>snake</al> </code></pre></div>कठिन परीक्षा में copper plates, walnut oil और wood block जैसे यौगिक शब्द आते हैं। इस परीक्षा का मक़सद यह देखना है कि GPT-3 नेस्टेड टैगों को ठीक से सँभालता है या नहीं। <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-xml" data-lang="xml"> copper plates: <m>copper plates</m> walnut oil: <m><pa>walnut</pa> oil</m> wood block: <m>wood block</m> </code></pre></div>पर नतीजे मिले-जुले हैं: <code>Davinci-codex</code> ने सिर्फ़ walnut oil को सही लेबल किया और copper plates तथा wood block में <code>tl</code> और <code>m</code> के नेस्टेड टैग पकड़ने में चूक गया। हालाँकि, जैसा अगली परीक्षा नीचे दिखाती है, बेहतर प्रशिक्षण-प्रॉम्प्ट से इन ग़लतियों को कम किया जा सकता है। नेस्टेड टैगों के पाँच और उदाहरण जोड़ने के बाद <code>Davinci-codex</code> ने लगभग बेदाग़ नतीजा दिया, बस एक ग़लती के साथ (oil paintbrushes): <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-xml" data-lang="xml"> cannon powder: <m><wp>cannon</wp> powder</m> arquebus powder: <m><wp>arquebus</wp> powder</m> oil paintbrushes: <m><al>oil</al> paintbrushes</m> sheep footbones: <m><al>sheep</al> footbones</m> bronze mortar: <tl><m>bronze</m> mortar</tl> </code></pre></div><h1 id="नषकरष">निष्कर्ष</h1> यह याद रखना ज़रूरी है कि ये परीक्षण छोटे-छोटे पाठ-खंडों पर किए गए। मेरा अनुमान है कि उदाहरणों और प्रॉम्प्ट में ज़्यादा संदर्भ देने पर GPT-3 मॉडल और भी बेहतर नतीजे देंगे। इसके अलावा, ख़ास प्रशिक्षण-डेटासेट से मॉडल की फ़ाइन-ट्यूनिंग लेबलिंग की सटीकता को निस्संदेह और बढ़ाएगी। पूर्व-प्रशिक्षित भाषा मॉडलों की विश्वसनीयता साबित करने के लिए ये प्रयोग अभी बड़े पैमाने पर दोहराए जाने बाक़ी हैं, फिर भी हम इतना निष्कर्ष निकाल सकते हैं कि यह तरीक़ा संपादकों को टिप्पणी के कई काम चंद आसान क़दमों में स्वचालित करने देता है, और इस प्रक्रिया में समय और धन की भारी बचत की संभावना रखता है। </article> <article> <h1>पांडुलिपियों का विज़ुअलाइज़ेशन 2 (अपडेट)</h1> Sat, 20 Nov 2021 16:00:00 +0000 वादे के मुताबिक़, में पेश किए गए इंटरैक्टिव ट्रीमैप का नया संस्करण – इस बार देखने के दो मोड के साथ। <div class="callout flex px-4 py-3 mb-6 rounded-md border-l-4 bg-blue-100 dark:bg-blue-900 border-blue-500" data-callout="note" data-callout-metadata=""> <svg height="24" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="1.5" d="m16.862 4.487l1.687-1.688a1.875 1.875 0 1 1 2.652 2.652L6.832 19.82a4.5 4.5 0 0 1-1.897 1.13l-2.685.8l.8-2.685a4.5 4.5 0 0 1 1.13-1.897zm0 0L19.5 7.125"/></svg> <div class="callout-content dark:text-neutral-300"> <div class="callout-title font-semibold mb-1">टिप्पणी</div> <div class="callout-body">बेहतर अनुभव के लिए वेबपेज की सेटिंग Light मोड में रखें (ऊपर दाईं ओर चंद्रमा के आइकन पर क्लिक करें)।</div> </div> </div> <head> <meta charset="UTF-8" /> <meta http-equiv="X-UA-Compatible" content="IE=edge" /> <meta name="viewport" content="width=device-width, initial-scale=1.0" /> <title>

Group folios by category

अभिलेखागार का एक दृश्य ब्राउज़र

Sun, 20 Jun 2021 16:00:00 +0000

समस्या

डिजिटल संस्करण एक विरोधाभास से ग्रस्त हैं: एक ओर वे दुरूह दस्तावेज़ों को व्यापक जनता तक पहुँचाते हैं, दूसरी ओर उनके अभौतिक हो जाने से जो इंद्रिय-अनुभव खो जाता है, वह पाठकों को भटका देता है, यहाँ तक कि उन्हें सामग्री से जुड़ने से हतोत्साहित भी कर देता है। दस्तावेज़ों के विशाल भंडारों में रास्ता ढूँढ़ना बोझिल और डराने वाला काम बन जाता है। यह सिर्फ़ उन पाठकों की बात नहीं है जिन्हें अभिलेखागार अनुसंधान का अनुभव नहीं; संज्ञानात्मक अक्षमताओं से प्रभावित पाठकों के लिए भी यह उतना ही सच है।

समाधान

यहीं अभिलेखीय मेटाडेटा हमारे काम आ सकता है। दरअसल ऐसे डेटा से हम इंटरैक्टिव दृश्य-अमूर्तन रच सकते हैं, जो पाठकों को एक वैकल्पिक इंद्रिय-सहारा देते हैं और इस तरह सुविधा और सुगमता दोनों बढ़ाते हैं। अभिलेखागार को आँखों से घूमने लायक़ बनाने के लिए एक ट्रीमैप – या कोई भी आरेख जो श्रेणीबद्ध डेटा को कुशलता से खोलकर दिखाए – काम कर जाता है।

प्रयोग

मेरा पहला प्रयोग D3.js के लिए बने को अपनाता है और उसमें हाइपरलिंक जोड़ता है। यह पांडुलिपि BnF Ms Fr 640, उसके फ़ोलियो, और हर फ़ोलियो के भीतर की प्रविष्टियों को दर्शाता है। रंग प्रमुख श्रेणी दिखाते हैं। हर प्रविष्टि पर कर्सर ले जाने से और जानकारी मिलती है, पांडुलिपि का हाइपरलिंक भी।
इस तरह ट्रीमैप एक इंटरैक्टिव दृश्य अनुक्रमणिका बन जाता है, जो पाठकों को बहुत तेज़ और सजीव झलक देता है – न सिर्फ़ पांडुलिपि की विषय-वस्तु की, बल्कि हर फ़ोलियो और हर प्रविष्टि के आकार की भी।
आने वाले महीनों में मैं इस विचार पर प्रयोग जारी रखूँगा, दूसरे आरेख और दूसरी श्रेणी-व्यवस्थाएँ आज़माते हुए… इंतज़ार कीजिए! ट्रीमैप के नए संस्करण के लिए क्लिक करें।

टिप्पणी

बेहतर अनुभव के लिए वेबपेज की सेटिंग Light मोड में रखें (ऊपर दाईं ओर चंद्रमा के आइकन पर क्लिक करें)।

Click any cell to zoom in, or the top to zoom out.

एक नज़र में पूरा अभिलेखागार

Mon, 24 May 2021 16:00:00 +0000

समस्या

ऐतिहासिक अभिलेखागार डरावनी हद तक अस्त-व्यस्त हो सकते हैं। का Mediceo del Principato इसकी सटीक मिसाल है। उसका बस एक छोटा-सा हिस्सा सूचीबद्ध है, और उसके बहुत-से दस्तावेज़ बिना किसी ज़ाहिर वजह के 6,500 से ज़्यादा जिल्दों में बिखरे पड़े हैं। मुश्किल यहीं ख़त्म नहीं होती: अभिलेखागार एक बार में सीमित संख्या में ही जिल्दें (या filze – फ़ाइल/बस्ता – जैसा वहाँ कहते हैं) देखने देता है। सामान्य दिनों में यह सीमा प्रतिदिन 4 filze की है। महामारी के दौर में यह घटकर हर दो हफ़्ते में 4 रह गई है। विस्तृत सूचियों के अभाव में अभिलेखागार का विशाल आकार शोधकर्ताओं को मजबूर करता है कि वे मनचाहे दस्तावेज़ जल्दी ढूँढ़ने की रणनीतियाँ गढ़ें।

समाधान

कुछ लोग क़िस्मत पर छोड़ देते हैं; कुछ अन्य कालक्रम, प्राप्तकर्ता, लेखक, अभिलेख-समूह के उद्गम, भाषा वग़ैरह के आधार पर सोच-समझकर अंदाज़ा लगाने की कोशिश भी करते हैं। लेकिन इन सारे चरों को एक साथ देखने से अभिलेखागार की बनावट के अप्रत्याशित पैटर्न उभर सकते हैं और हमारे अनुमान बेहतर हो सकते हैं। मेरा अनुभव कहता है कि जो मेटाडेटा शोधकर्ता आम तौर पर किसी स्प्रेडशीट में इकट्ठा करते हैं, उसे ग्राफ़ में उतार दिया जाए तो अभिलेखागार में स्थिति-बोध काफ़ी बढ़ जाता है।

प्रयोग

मेरा वर्तमान शोध सोलहवीं सदी के एक जासूस के पत्र-व्यवहार पर केंद्रित है। उसके पत्र सैकड़ों filze में फैले हुए हैं। वे अलग-अलग पहचानों से, अलग-अलग और कभी-कभी अप्रत्याशित प्राप्तकर्ताओं को, अलग-अलग जगहों से लिखे गए हैं, और भी बहुत कुछ। जिन filze में अपेक्षित पत्र मिलने की संभावना ज़्यादा है, उन्हें ढूँढ़ने के लिए मैंने एक डैशबोर्ड बनाया है – इंटरैक्टिव डेटा विज़ुअलाइज़ेशन का एक वेब ऐप्लिकेशन ( ) – जो हर तरह के डेटा को, भौगोलिक और कालक्रमिक जानकारी समेत, अभिलेख-समूह के एक श्रेणीबद्ध आरेख ( ) से जोड़ देता है। डैशबोर्ड मुझे एक नज़र में बता देता है कि अब तक क्या मिला है, वह कुल का कितना हिस्सा है, और मोटे तौर पर यह भी कि नए पत्र कहाँ ढूँढ़े जा सकते हैं। किसी ख़ास चर पर क्लिक करते ही सारे आरेख ख़ास सहसंबंध दिखाने के लिए अपडेट भी हो जाते हैं।

अगले क़दम

शायद इससे भी अहम बात यह है कि इस डैशबोर्ड को एक दृश्य अनुक्रमणिका के रूप में नए काम में लाया जा सकता है। जब इन पत्रों का आलोचनात्मक संस्करण ऑनलाइन प्रकाशित होगा, तो यह डैशबोर्ड एक वैकल्पिक प्रवेश-द्वार का काम करेगा, जहाँ से पाठक डेटा में घूम-फिर सकेंगे। गोपनीयता के कारणों से फ़िलहाल मैं सिर्फ़ एक ढका-छिपा स्क्रीनशॉट दिखा सकता हूँ, लेकिन अगले साल पूरा डैशबोर्ड जारी करूँगा। तब तक एक प्रोटोटाइप जल्द ही उपलब्ध होगा। इंतज़ार कीजिए!

Making & Knowing Project

Sun, 27 Dec 2020 00:00:00 +0000

की स्थापना 2014 में पामेला एच. स्मिथ ने की थी। सैकड़ों सहयोगियों को जोड़ने वाली यह शोध और शिक्षण की पहल कोलंबिया विश्वविद्यालय के के अंतर्गत चलती है।

पोस्टडॉक्टरल फ़ेलो के रूप में मैं इस परियोजना का हिस्सा रहा, और दूसरे कामों के अलावा BnF Ms. Fr. 640 के पर काम किया। सोलहवीं सदी की यह अनूठी फ़्रांसीसी पांडुलिपि उस ज़माने के शिल्प और सामग्रियों की पहली-हाथ की झलक देती है, जब कलाकार ही वैज्ञानिक हुआ करते थे।

डिजिटल संस्करण अपने पर ढेर सारा डेटा मुफ़्त उपलब्ध कराता है। अगले साल भर में मैं इस संस्करण और इसके डेटा पर ब्लॉग पोस्टों की एक शृंखला प्रकाशित करने की सोच रहा हूँ। मैं दिखाऊँगा कि Python या R से इस पाठ को डाउनलोड करना और उसका विश्लेषण करना कितना आसान है। इंतज़ार कीजिए!

BnF Ms. Fr. 640 के सिमेंटिक मार्कअप का विज़ुअलाइज़ेशन

Sun, 20 Dec 2020 18:15:00 +0000

परिचय

डेटा-समृद्ध विद्वत्तापूर्ण संस्करणों में बहुमूल्य संपादकीय टिप्पणियाँ होती हैं, जिन्हें तरह-तरह के शोध-उद्देश्यों के लिए निकाला, विश्लेषित और विज़ुअलाइज़ किया जा सकता है। 2020 में जारी इसी तरह का संस्करण है, जो अपनी मेटाडेटा फ़ाइल अपने GitHub रिपॉज़िटरी से डाउनलोड के लिए उपलब्ध कराता है। इस पोस्ट में मैं दिखाता हूँ कि इन सारे चरों को एक सहसंबंध-मैट्रिक्स में कैसे इकट्ठा किया जाए और उन्हें अलग-अलग ढंग से कैसे देखा जाए।

डेटा

Making and Knowing Project पांडुलिपि की विषय-वस्तु की अद्यतन जानकारी वाली एक स्प्रेडशीट तैयार करता है: entry_metadata.csv। यह फ़ाइल Making & Knowing के से ली जा सकती है। वैकल्पिक रूप से, मैथ्यू कुमार के शानदार – BnF Ms. Fr. 640 का Python संस्करण – की मदद से अपनी ज़रूरत के मुताबिक़ .csv फ़ाइलें बनाई जा सकती हैं, और मार्कअप जोड़ते हुए।

Python की तैयारी

डेटा सँवारने के लिए हम Pandas, हीटमैप के लिए Matplotlib और seaborn, और आख़िर में सहसंबंध-आधारित नेटवर्क बनाने के लिए NetworkX इस्तेमाल करेंगे।
इस तरह के चरों के लिए हम Pearson विधि से बचेंगे और उसकी जगह 𝜙𝐾 विधि अपनाएँगे। इस सहसंबंध विधि और उसकी लाइब्रेरी PhiK के बारे में ।

#install packages
pip install phik

# import modules
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import networkx as nx

डेटा तैयार करें

सबसे पहले संस्करण की नवीनतम मेटाडेटा फ़ाइल उनके के metadata फ़ोल्डर से डाउनलोड करते हैं। हम सिर्फ़ ज़रूरी कॉलम चुनेंगे। इस प्रदर्शन के लिए मैं अंग्रेज़ी अनुवाद tl के सारे सिमेंटिक टैग चुन रहा हूँ, लेकिन आप फ़्रांसीसी प्रतिलेखन tc या सामान्यीकृत संस्करण tcn के टैग भी चुन सकते हैं। डेटा अर्धविराम से अलग किए गए मानों के रूप में आता है, और हमें Python से उन्हें गिनवाना है। इसके लिए हम stack-unstack विधि और रेगुलर एक्सप्रेशन [^;\s][^\;]*[^;\s]* का इस्तेमाल करेंगे। मैट्रिक्स को पढ़ने में आसान बनाने के लिए हम हर कॉलम का नाम बदल देते हैं। जल्दी में हों तो यह क़दम छोड़ सकते हैं – बस इतना याद रखें कि इस चरण पर हमारे डेटाफ़्रेम का नाम tagsrn है।

# load the edition's metadata
df = pd.read_csv('entry_metadata.csv')

# select the tags you want to correlate
dftags = df[['al_tl', 'bp_tl', 'cn_tl', 'df_tl', 'env_tl', 'm_tl', 'md_tl', 'ms_tl', 'mu_tl', 'pa_tl', 'pl_tl', 'pn_tl', 'pro_tl', 'sn_tl', 'tl_tl', 'tmp_tl', 'wp_tl', 'de_tl', 'el_tl', 'it_tl', 'la_tl', 'oc_tl', 'po_tl']]

# count comma separated values
tagcount = dftags.stack(dropna=False).str.count(r'[^;\s][^\;]*[^;\s]*').unstack()

# rename columns
tagsrn = tagcount.rename(columns={'al_tl': 'animals', 'bp_tl': 'body parts', 'cn_tl': 'currency', 'df_tl': 'definitions', 'env_tl': 'environment', 'm_tl': 'material', 'md_tl': 'medical', 'ms_tl': 'measurement', 'mu_tl': 'music', 'pa_tl': 'plant', 'pl_tl': 'toponym', 'pn_tl': 'person', 'pro_tl': 'profession', 'sn_tl': 'sensory', 'tl_tl': 'tool', 'tmp_tl': 'temporal', 'wp_tl': 'weapons', 'de_tl': 'German', 'el_tl': 'Greek', 'it_tl': 'Italian', 'la_tl': 'Italian', 'oc_tl': 'Occitan', 'po_tl': 'Poitevin'})

सहसंबंध निकालें

डेटाफ़्रेम साफ़ हो जाए, तो हर चर के बीच सहसंबंध-गुणांक निकालने की ओर बढ़ सकते हैं। इस चरण पर अपने डेटा को समझना और सबसे उपयुक्त सहसंबंध विधि चुनना ज़रूरी है। इस काम में pandas-profiling पैकेज ख़ास तौर पर मददगार है।

# calculate correlation coefficient with the phi k method
cortag = tagsrn.phik_matrix()

cortag हमारा सहसंबंध-मैट्रिक्स है। अब हम अलग-अलग तरह के विज़ुअलाइज़ेशन आज़मा सकते हैं।

विज़ुअलाइज़ करें

सबसे पहले इसे रंग-कोडित मैट्रिक्स के रूप में देखने की कोशिश करते हैं, seaborn के से।

सहसंबंध हीटमैप

f, ax = plt.subplots(figsize=(16, 14))
ax = sns.heatmap(cortag, linewidths=.03, vmin=0, cmap="Oranges", square=True)

पाठ को अच्छी तरह जानते हों, तो तुरंत दिखेगा कि हीटमैप काफ़ी हद तक तर्कसंगत है। मिसाल के तौर पर, नाम लातीनी से मज़बूती से जुड़े हैं, क्योंकि उन्हें लातीनी रूप देना उस ज़माने का – ख़ास तौर पर सोलहवीं सदी के मानववादियों का – रिवाज था।

कुछ लोग कह सकते हैं कि यह हीटमैप तो बस “सूरज को दीया दिखा” रहा है। वे पूरी तरह ग़लत नहीं हैं, और पहली नज़र में चिकित्सा-टैग इसकी मिसाल लगते हैं: वे शरीर के अंगों, मापों और पौधों से जुड़े हैं, जिसका अंदाज़ा पहले से था।

लेकिन हीटमैप को ज़्यादा ध्यान से, पंक्ति-दर-पंक्ति पढ़ें, तो कुछ दिलचस्प और अप्रत्याशित सहसंबंध मिल सकते हैं। मसलन, चिकित्सा-टैगों का इतालवी और लातीनी शब्दों से जुड़ा होना Ms. Fr. 640 के चिकित्सा-नुस्ख़ों के उद्गम का कुछ सुराग़ देता है। इसी तरह पेशों, परिभाषाओं और मापों के बीच का सहसंबंध दिखाता है कि सोलहवीं सदी के तकनीकी विमर्श को पेशेवर पहचान किस हद तक गढ़ती थी।

सहसंबंध क्लस्टरमैप

हीटमैप “खोजबीन” के संदर्भ में उपयोगी हैं, लेकिन श्रोताओं को थोड़े बिखरे-बिखरे लग सकते हैं – ख़ास तौर पर जब आप पांडुलिपि में ख़ास सिमेंटिक क्लस्टरों की चर्चा कर रहे हों, या अभी उन्हें ढूँढ़ ही रहे हों। Seaborn का clustermap मॉड्यूल दिलचस्प नतीजे दे सकता है।

clustermap = sns.clustermap(cortag, figsize=(12, 13), dendrogram_ratio=(.1, .2), vmin=0, cmap="Oranges", cbar_pos=(-.06, .12, .03, .68))

एक पिक्सेलयुक्त (जी हाँ, यह शब्द OED में है) कीड़े जैसा दिखने के अलावा, क्लस्टरमैप अलग-थलग टैगों (ऊपर और बाईं ओर) को उन टैगों से साफ़ अलग करता है जो आपस में ज़्यादा जुड़े हैं। हम अलग-थलग क्लस्टर भी पहचान सकते हैं – जैसे संगीत और प्वातवैं (किसने सोचा होगा!) – और उनके मुक़ाबले ज़्यादा केंद्रीय क्लस्टर, जैसे माप, सामग्री, परिभाषाएँ और हथियार। पेशे ज़्यादा जुड़े हुए हैं, लेकिन कम से कम इस ख़ास सहसंबंध-मैट्रिक्स में वे किसी एक क्लस्टर का हिस्सा नहीं।

सहसंबंध नेटवर्क

अगर हम अपने मैट्रिक्स के सहसंबंधों को और भी संक्षेप में समेटना चाहें, तो नेटवर्क ग्राफ़ एक सुरुचिपूर्ण समाधान है। यह ख़ास तौर पर उन संदर्भों में सच है, जहाँ हमें पांडुलिपि की विषय-वस्तु के बारे में दूसरों को बताना हो।
इसके लिए हमें अपने मैट्रिक्स को किनारों (edges) और गाँठों (nodes) की सूची में बदलना होगा और कमज़ोर सहसंबंधों को ग्राफ़ से हटाने के लिए एक दहलीज़ (threshold) तय करनी होगी।

# transform the data
links = cortag.stack().reset_index()
links.columns = ['var1', 'var2','value']

# threshold 
links_filtered = links.loc[(links['value'] > .6) & (links['var1'] != links['var2'])]
links_filtered

# create edges
G = nx.from_pandas_edgelist(links_filtered, 'var1', 'var2')

# draw network using Kamada & Kawai's algorithm 
plt.figure(3,figsize = (12,12))
nx.draw_kamada_kawai(G, with_labels = True, node_color = 'red', node_size = 400, edge_color = 'black', linewidths = 1, font_size = 14)

किनारे और गाँठें बहुत ज़्यादा हों, तो साफ़ नतीजे के लिए दहलीज़ बदली जा सकती है। वरना .write_gexf() फ़ंक्शन से ग्राफ़ को निर्यात करके Gephi में उससे खेला जा सकता है।

nx.write_gexf(G, 'graph.gexf')

नतीजा इस पोस्ट की शुरुआत में देखा जा सकता है।

अपडेट: वृत्ताकार भारित नेटवर्क

मैं सहसंबंध-मैट्रिक्स को भारित नेटवर्क के रूप में दिखाने के तरीक़े ढूँढ़ रहा था, और मुझे यह दिलचस्प तरीक़ा मिला, जिसे मैं यहाँ अपने डेटासेट के लिए ढाल रहा हूँ।

# create graph weighted by correlation coefficients (unfiltered)
Gx = nx.from_pandas_edgelist(links, 'var1', 'var2', edge_attr=['value'])

# determine a threshold to remove some edges
threshold = 0.4

# list to store edges to remove
remove = []

# loop through edges in Gx and find correlations which are below the threshold
for var1, var2 in Gx.edges():
 corr = Gx[var1][var2]['value']
 #add to remove node list if abs(corr) < threshold
 if abs(corr) < threshold:
 remove.append((var1, var2))

# remove edges contained in the remove list
Gx.remove_edges_from(remove)

print(str(len(remove)) + ' edges removed')

कुछ किनारे हटा देने के बाद हम उनका रंग और मोटाई तय कर सकते हैं।

# determine the colors of edges
def assign_colour(correlation):
 if correlation <= 0.8:
 return '#ff872c' # orange
 else:
 return '#f11d28' # red


def assign_thickness(correlation, benchmark_thickness=3, scaling_factor=3):
 return benchmark_thickness * abs(correlation)**scaling_factor


def assign_node_size(degree, scaling_factor=50):
 return degree * scaling_factor

गाँठों को भी उनके संबंधों की संख्या के अनुपात में आकार देते हैं।

# assign node size depending on number of connections (degree)
node_size = []
for key, value in dict(Gx.degree).items():
 node_size.append(assign_node_size(value))

नतीजा एक भारित ग्राफ़ है, जिसमें ज़्यादा गाँठें और कहीं ज़्यादा किनारे समा जाते हैं, और जो फिर भी पढ़ने योग्य और जानकारी से भरा रहता है।

फ़िलिप्पो कावरियाना का गुप्त पत्र-व्यवहार, 1568—1589

Fri, 27 Dec 2019 00:00:00 +0000

फ़िलिप्पो कावरियाना के गुप्त पत्र फ़्रांस के धर्मयुद्धों की एक अनूठी गवाही हैं: बीस से ज़्यादा वर्षों तक वे उन साज़िशों, लड़ाइयों, समझौतों और षड्यंत्रों का हाल बताते हैं, जिनकी धड़कन पर फ़्रांस के दरबार और उसके बाहर का जीवन चलता था।

ये पत्र में हैं, और उनमें से ज़्यादातर सैकड़ों ऐसे बस्तों में बिखरे पड़े हैं जिनकी कोई सूची नहीं बनी – फ़्लोरेंस में इन्हें filze (फ़ाइल या बस्ता) कहते हैं। पिछले वर्षों में मैं दर्जनों नए पत्र खोज सका हूँ, लेकिन इस तरह का अभिलेखागार अनुसंधान दिन-ब-दिन कठिन होता जा रहा है। फ़्लोरेंस से भौगोलिक दूरी, इटली की कुछ सार्वजनिक सेवाओं की बदहाली और कोविड-19 महामारी – ये सब मिलकर इस तरह की प्रकाशन परियोजनाओं को लंबा और अनिश्चित बना देते हैं।

तमाम बढ़ती कठिनाइयों के बावजूद, प्राथमिक स्रोतों का प्रकाशन इतिहासकार के काम का हिस्सा बना रहना चाहिए। हाँ, इन प्रकाशनों का रूप शायद बदलना चाहिए। प्राथमिक स्रोतों के प्रकाशन को न सिर्फ़ ऊपर बताई गई परिस्थितियों के अनुसार ढलना होगा, बल्कि इस शोध के क्रमिक स्वभाव को बेहतर ढंग से दर्शाना भी होगा – और यह भी संभव करना होगा कि कोई और इसे आगे बढ़ा सके।

यहीं से एक नए ढंग की डिजिटल प्रकाशन परियोजना का विचार जन्मा: ऐसी परियोजना जो बढ़ने योग्य, टिकाऊ, भरोसेमंद, प्लेटफ़ॉर्म से स्वतंत्र और संभवतः सहयोगी हो।

संस्करण अब ऑनलाइन है: । इसमें अब तक प्रतिलिपि किए गए पत्र संकलित हैं – फ़्लोरेंस और मांतुआ के राज्य अभिलेखागारों तथा BnF से – और जैसे-जैसे नए पत्र सामने आते हैं, यह बढ़ता जाता है। इसके डिज़ाइन के पीछे का तर्क मैंने में समझाया है।