Python |

persNamer 1.2: एक VIAF नंबर, नौ प्रामाणिक नाम-सूचियाँ

Mon, 07 Sep 2026 00:00:00 +0000

शुरू में एक छोटी-सी सुविधा भर था: VIAF नंबर दीजिए, TEI की एक <person> प्रविष्टि पाइए, साथ में पाठ में लगाने के लिए <persName> टैग। बस इतना ही — और जो प्रविष्टि बनती थी वह भी दुबली-पतली: एक नाम, दो तिथियाँ, एक पहचानकर्ता। आज जारी हुआ संस्करण 1.2 अब भी वही एक काम करता है, पर इस बार जो प्रविष्टि निकलती है वह सँभालकर रखने लायक है।

व्यक्ति-प्रविष्टि में अब क्या-क्या है

पहले नाम की बात। VIAF के क्लस्टर में हर सहयोगी पुस्तकालय अपना-अपना नाम-रूप लेकर आता है, और पुराना persNamer जो लेबल पहले हाथ लगे वही उठा लेता था। उससे वोल्तेयर (Voltaire) के बारे में पूछिए तो जवाब मिलता « فولتير، » — यानी नाम का अरबी रूप, और वह भी पीछे लटके अल्पविराम सहित — ऊपर से एक खाली xml:id मुफ़्त में। अब औज़ार पूरे क्लस्टर में नाम-रूपों की गिनती करके वही रखता है जिस पर स्रोत रिकॉर्ड एकमत हों; बाक़ी रूप <persName type="variant"> बनकर पीछे-पीछे आते हैं, जो सबसे प्रचलित हो वह सबसे आगे। तिथियाँ मानकीकृत होकर (1572-08-00 से 1572-08) दो बार दर्ज होती हैं — एक बार पाठ के रूप में, एक बार @when विशेषता में — और तिथियाँ समझने वाली कोई भी प्रोसेसिंग असल में इसी दूसरी को पढ़ती है। लिंग और विवरण भी आते हैं, जहाँ VIAF उन्हें देता है।

और अब वह हिस्सा जिसका मुझे सबसे ज़्यादा इंतज़ार था। VIAF जिस-जिस पहचानकर्ता को इस व्यक्ति से जोड़ता है — चाहे schema:sameAs के ज़रिए, चाहे अपने स्रोत-आईडी के ज़रिए — वह सब अब अलग-अलग <idno> में दर्ज हो जाता है: BnF, GND, लाइब्रेरी ऑफ़ कांग्रेस, SUDOC, Wikidata, ISNI, BNE, LIBRIS, NDL। एक नंबर अंदर गया, नौ कैटलॉग बाहर आए। किसी व्यक्ति-सूची (personography) के लिए नामों की कोरी फ़ेहरिस्त और प्रामाणिक डेटा के जाल की एक गाँठ में जो फ़र्क़ है, वह यही है।

<person xml:id="pers-teligny-c">
 <persName>Charles de Téligny</persName>
 <birth when="1535">1535</birth>
 <death when="1572-08-24">1572-08-24</death>
 <sex value="M">M</sex>
 <idno type="VIAF">314802260</idno>
 <idno type="BNF">16133360</idno>
 <idno type="Wikidata">Q1868249</idno>
 <idno type="ISNI">0000000071126808</idno>
</person>

टुकड़ों से व्यक्ति-सूची तक

एक आदमी के लिए टर्मिनल पर XML छाप लेना ठीक है; पर एक संपादित ग्रंथ में तो सैकड़ों लोग होते हैं। इसलिए persNamer अब एक साथ कई VIAF नंबर लेता है, दो अनुरोधों के बीच VIAF को साँस लेने की मोहलत देता है, जो कुछ लाया है उसे कैश में रख लेता है ताकि दोबारा न माँगना पड़े, और --merge मिलते ही नई प्रविष्टियाँ सीधे मौजूदा TEI फ़ाइल के <listPerson> में बिठा देता है। जो लोग फ़ाइल में पहले से हैं, वे अपने VIAF नंबर से पहचान लिए जाते हैं और उनका xml:id ज्यों का त्यों रहता है; नए आईडी फ़ाइल से मिलाए जाते हैं और कहीं टकराव हो तो पीछे प्रत्यय (-2, -3) लग जाता है; अंत में पूरी फ़ाइल के इंडेंट फिर से सँवार दिए जाते हैं — हाँ, उससे पहले एक .bak प्रति अलग रख ली जाती है।

persnamer --merge edition.xml 314802260 36925746

एक बदलाव ज़रूर ध्यान में रखिए: कुलनाम से पहले आने वाला कण (particle) अब डिफ़ॉल्ट रूप से आईडी में नहीं रहता, इसलिए Charles de Téligny पहले के pers-deteligny-c की जगह अब pers-teligny-c हो गया है। आपकी परियोजना पुराने रूप की आदी हो चुकी हो तो --keep-particle उसे वापस ले आता है; और नामों के भरोसे रहना ही न हो तो --id-format viaf से pers-viaf-314802260 मिल जाता है।

साफ़-सफ़ाई

स्क्रिप्ट अब बाक़ायदा एक पैकेज बन गई है, अपनी persnamer कमांड के साथ: uv tool install या pipx से एक लाइन में इंस्टॉल कीजिए, या बिना इंस्टॉल किए बस एक बार आज़माना हो तो uvx से चला लीजिए। छब्बीस टेस्ट VIAF की रिकॉर्ड की हुई प्रतिक्रियाओं पर चलते हैं, इसलिए टेस्ट-सूट को नेटवर्क की कोई ज़रूरत नहीं; CI उन्हीं को Python 3.9 से 3.13 तक दोहराता है, और आउटपुट TEI P5 के मुताबिक़ जाँचा जाता है। लाइसेंस पहले की तरह Apache 2.0 ही है।

जो यह अब भी नहीं बता सकता, वह है कि कोई कहाँ पैदा हुआ और रोज़ी-रोटी के लिए क्या करता था: VIAF के क्लस्टर RDF में न जगहें हैं, न पेशे। पर जिन BnF और GND रिकॉर्डों से यह जुड़ा है, उनमें दोनों हैं — और उनके नंबर अब आपके हाथ में हैं।

कोड और दस्तावेज़ पर।

tei-mcp

Sun, 15 Mar 2026 00:00:00 +0000

tei-mcp: एआई एजेंटों के लिए TEI P5

tei-mcp एक ओपन-सोर्स सर्वर है, जो एआई कोडिंग असिस्टेंटों को विनिर्देश तक सीधी पहुँच देता है। प्रशिक्षण-डेटा की धुँधली याद के भरोसे रहने के बजाय – जिससे अक्सर देखने में ठीक-ठाक पर ग़लत मार्कअप निकलता है – एआई विनिर्देश से सीधे, उसी वक़्त पूछ सकता है।

विशेषताएँ

सर्वर TEI P5 के ODD को पार्स करता है और 16 उपकरण उपलब्ध कराता है:

किसी भी एलिमेंट, क्लास, मैक्रो या मॉड्यूल की खोज नाम से – बड़े-छोटे अक्षर का भेद किए बिना, और टाइपिंग की ग़लती पर सुझाव के साथ
पूरी TEI क्लास-श्रेणी में एट्रिब्यूट का निर्धारण (स्थानीय + विरासत में मिले)
क्लास और मैक्रो को खोलते हुए कंटेंट मॉडल का विस्तार संरचित वृक्ष के रूप में
नेस्टिंग की जाँच – सीधा अभिभावक-संतान संबंध या पथ के साथ पुनरावर्ती पहुँच
TEI P5 के विरुद्ध दस्तावेज़ की वैधता-जाँच: कंटेंट मॉडल, एट्रिब्यूट, बंद मान-सूचियाँ, संदर्भों की अखंडता और अप्रचलन की चेतावनियाँ
क्रमिक संपादन के लिए एकल एलिमेंट की वैधता-जाँच
स्कीमा को किसी परियोजना-विशेष उपसमुच्चय तक सीमित करने के लिए ODD अनुकूलन लोड करना
रेगुलर एक्सप्रेशन से सभी प्रकार की इकाइयों में खोज

इंस्टॉलेशन

pip install tei-mcp

या सीधे चलाइए:

uvx tei-mcp

उपयोग

किसी भी MCP-संगत क्लाइंट (Claude, Cursor, Windsurf आदि) में जोड़िए:

{
 "mcpServers": {
 "tei": {
 "command": "uvx",
 "args": ["tei-mcp"]
 }
 }
}

स्रोत कोड और दस्तावेज़ीकरण पर उपलब्ध हैं।

Multi-Saxon

Fri, 28 Mar 2025 00:00:00 +0000

Multi-Saxon: बड़े TEI कॉर्पस के लिए समानांतर XSLT प्रोसेसिंग

XML प्रोसेसिंग के औज़ारों में एक बड़ी कमी रही है: LXML (Python की लोकप्रिय XML लाइब्रेरी) XSLT 2.0 और 3.0 के रूपांतरण नहीं सँभाल पाती। Multi-Saxon इसी कमी को पूरा करता है और ऐसे रूपांतरणों को समानांतर चलाने की सुविधा देता है। यह ख़ास तौर पर XML TEI दस्तावेज़ों के बड़े संग्रहों के लिए बनाया गया है, और समानांतर निष्पादन से प्रोसेसिंग का समय काफ़ी घटा देता है।

मुख्य विशेषताएँ

उन्नत XSLT समर्थन: LXML की सीमा से आगे जाकर XSLT 2.0 और 3.0 के रूपांतरण
समानांतर प्रोसेसिंग: बड़े दस्तावेज़-संग्रहों के रूपांतरण का समय समानांतरीकरण से नाटकीय रूप से कम
TEI के लिए अनुकूलित: विशेष रूप से Text Encoding Initiative (TEI) के XML दस्तावेज़ों के लिए बनाया गया
बढ़ते आकार पर भी प्रदर्शन: सैकड़ों से हज़ारों दस्तावेज़ों तक के कॉर्पस को कुशलता से सँभालता है
क्रॉस-प्लेटफ़ॉर्म: अलग-अलग ऑपरेटिंग सिस्टम और परिवेशों में चलता है

Multi-Saxon किस समस्या का हल है

TEI के साथ काम करने वाले डिजिटल मानविकी के शोधकर्ता अक्सर दो बड़ी अड़चनों से जूझते हैं:

LXML (Python की आम XML प्रोसेसिंग लाइब्रेरी) केवल XSLT 1.0 का समर्थन करती है, जिससे XSLT 2.0/3.0 की उन्नत सुविधाओं का इस्तेमाल असंभव हो जाता है
TEI दस्तावेज़ों का बड़ा कॉर्पस एक-एक करके प्रोसेस करने में इतना समय लग सकता है कि काम ही अव्यावहारिक हो जाए

Multi-Saxon दोनों समस्याओं को हल करता है: यह Saxon की उन्नत XSLT क्षमताओं का लाभ उठाता है और प्रोसेसिंग को कई कोर पर बाँटकर प्रदर्शन में बड़ी बढ़त देता है।

कार्यान्वयन

Multi-Saxon Python को Java के Saxon प्रोसेसर से जोड़कर एक तेज़ रूपांतरण-पाइपलाइन बनाता है:

मज़बूत XSLT 2.0/3.0 प्रोसेसिंग के लिए Java की Saxon लाइब्रेरी का उपयोग
उपलब्ध CPU कोर पर रूपांतरण बाँटने के लिए मल्टीप्रोसेसिंग
अधिकतम थ्रूपुट के लिए प्रोसेसर-पूल का कुशल प्रबंधन
TEI दस्तावेज़ों की बैच-प्रोसेसिंग के लिए सीधा-सादा इंटरफ़ेस

उपयोग का उदाहरण

from multi_saxon import MultiSaxon

# Initialize with your XSLT stylesheet
transformer = MultiSaxon("transform.xsl")

# Transform a single document
transformer.transform("input.xml", "output.xml")

# Transform an entire directory in parallel
transformer.transform_directory("input_dir", "output_dir")

डिजिटल मानविकी के लिए महत्व

TEI दस्तावेज़ों के बड़े संग्रहों से जूझ रही डिजिटल मानविकी परियोजनाओं के लिए Multi-Saxon संभव बनाता है:

पूरे कॉर्पस पर ऐसे जटिल रूपांतरण, जो LXML से असंभव होते
प्रोसेसिंग समय में नाटकीय कमी (मल्टी-कोर सिस्टम पर अक्सर 5–10 गुना)
XSLT 2.0/3.0 की उन्नत सुविधाओं से और परिष्कृत विश्लेषण
पूरे दस्तावेज़-संग्रह को प्रोसेस करने का सरल वर्कफ़्लो

स्रोत कोड और दस्तावेज़ीकरण पर उपलब्ध हैं।

persNamer

Fri, 28 Mar 2025 00:00:00 +0000

persNamer: TEI को Virtual International Authority File से जोड़ना

persNamer एक विशेष Python उपकरण है, जो VIAF (Virtual International Authority File) के प्रामाणिक व्यक्ति-डेटा को TEI XML दस्तावेज़ों में जोड़ने का काम सरल बनाता है। VIAF पहचानकर्ता को तैयार TEI मार्कअप में बदलकर persNamer डिजिटल विद्वत्तापूर्ण संस्करणों के लिए संरचित व्यक्ति-प्रविष्टियाँ बनाने की हाथ की मेहनत काफ़ी घटा देता है।

TEI में प्रामाणिक नाम-सूची की चुनौती

डिजिटल विद्वत्तापूर्ण संस्करणों में ऐतिहासिक व्यक्तियों की सटीक पहचान ज़रूरी होती है – मानकीकृत नाम और जन्म-मृत्यु की तिथियों समेत। पूरी परियोजना में प्रामाणिक नाम-सूची को एकरूप रखने के लिए चाहिए:

ऐतिहासिक पाठों में व्यक्तियों की पहचान
उनके बारे में प्रामाणिक डेटा की खोज
सही ढंग से गढ़ी गई TEI प्रविष्टियाँ
पूरी परियोजना में एक जैसे संदर्भ

ये सारे चरण आम तौर पर हाथ से किए जाते हैं, समय खाते हैं और असंगति की गुंजाइश छोड़ते हैं।

persNamer कैसे काम करता है

persNamer इस वर्कफ़्लो को स्वचालित करता है:

VIAF डेटा लाना: VIAF पहचानकर्ता मिलने पर उपकरण HTTP कंटेंट नेगोशिएशन के ज़रिये RDF डेटा प्राप्त करता है
मुख्य जानकारी निकालना: RDF को पार्स करके पसंदीदा नाम, जन्म-तिथि और मृत्यु-तिथि निकालता है
TEI मार्कअप बनाना: दो ज़रूरी XML खंड तैयार करता है:
- एक प्रामाणिक नाम-सूची की प्रविष्टि (<person> एलिमेंट, जिसमें स्वतः बना xml:id, <persName>, <birth>, <death> और <idno type="VIAF"> होते हैं)
- एक अलग टिप्पणी-टैग (<persName>, जिसका ref एट्रिब्यूट नाम-सूची की प्रविष्टि की ओर संकेत करता है)

इस दोहरे आउटपुट से संपादक एक केंद्रीय नाम-सूची रख सकते हैं और साथ ही अपने TEI पाठों में टिप्पणी-टैग आसानी से डाल सकते हैं।

मुख्य विशेषताएँ

मानक ID निर्माण: pers-[familyname]-[givenname initial] के प्रारूप में एकरूप XML ID बनाता है (जैसे pers-deteligny-c)
RDF पार्सिंग: rdflib के ज़रिये विभिन्न RDF प्रॉपर्टियों (जैसे rdfs:label, schema:name, viaf:mainHead) से जानकारी निकालता है
कमांड-लाइन इंटरफ़ेस: बस एक VIAF नंबर देकर चलाइए – और कुछ ज़रूरी नहीं
विस्तृत आउटपुट: अंतिम XML के साथ प्रोसेसिंग का पूरा ब्योरा भी देता है

उपयोग का उदाहरण

python persNamer.py 314802260

यह कमांड देती है:

<person xml:id="pers-deteligny-c">
 <persName>Charles deTéligny</persName>
 <birth>1535</birth>
 <death>1572-08-24</death>
 <idno type="VIAF">314802260</idno>
</person>

<persName ref="#pers-deteligny-c">Charles deTéligny</persName>

डिजिटल मानविकी में उपयोग

persNamer ख़ास तौर पर इनके लिए उपयोगी है:

प्रामाणिक नाम-सूची की ज़रूरत वाले डिजिटल विद्वत्तापूर्ण संस्करण
ऐतिहासिक व्यक्तियों से जुड़ी TEI एनकोडिंग परियोजनाएँ
दस्तावेज़ों को प्रामाणिक अभिलेखों से जोड़ने वाली लिंक्ड डेटा पहलें
बड़े TEI कॉर्पस में एकरूपता बनाए रखना
डिजिटल मानविकी के पाठ्यक्रमों में प्रामाणिक नाम-सूची की अवधारणा पढ़ाना

कार्यान्वयन

persNamer Python में लिखा गया है और इन पर निर्भर है:

HTTP अनुरोधों के लिए requests
RDF पार्सिंग के लिए rdflib
XML सँभालने के लिए lxml

स्रोत कोड और दस्तावेज़ीकरण पर उपलब्ध हैं।