البحوث الجارية |

The Spy Who Wished Them Well

Sun, 12 Dec 2021 00:00:00 +0000

تفاصيل أوفى قريبًا.

أتمتة الترميز في الطبعات العلمية الرقمية

Mon, 22 Nov 2021 18:15:00 +0000

مقدمة

كيف نُخرج طبعات علمية رقمية من غير أن نستنزف الخزائن؟ هذه التدوينة أولى سلسلةٍ أفردها للتحقيق الفعّال، وأتناول فيها الدور الذي قد تضطلع به النماذج اللغوية المدرَّبة مسبقًا في أتمتة مهامّ التحقيق، ومنها الترميز الدلالي.

فهرس المحتويات

المشكلة

عمل بدافع الحب

في الحب لا يُحسب الثمن… أو هكذا يقول المثل. ولا أصدق منه على الطبعات العلمية الرقمية، فما تقتضيه من نسخ وترجمة وتعليق يستغرق آلاف الساعات، ينهض بها، كما في ، مئات المتعاونين من ذوي الكفاءة العالية.

ولا شك أن ظفر المشاريع البارزة في الإنسانيات الرقمية بما تحتاج إليه من أموال طائلة نعمة من وجه ما. بيد أن التعويل على سخاء المؤسسات الثرية والجامعات والهيئات الحكومية، والحاجة الممتدة إلى موارد بشرية كبيرة، ليسا نموذجًا اقتصاديًّا يُبنى عليه المستقبل.

والحق أننا إن أردنا أن نشجع الباحثين في أرجاء العالم على وضع الوثائق التاريخية في متناول جمهور أوسع، فلا بد أن تهبط كلفة الطبعات النقدية الرقمية بمراتب عدة .

عتبة عالية

ومن مفارقات الأمر أن الحل قد يأتي من المشاريع كثيفة العمل نفسها، مثل ، لأنها تشكّل مجموعة تدريب نفيسة لأتمتة بعض أشد مهام التحقيق الرقمي نفورًا وتكرارًا، ومنها الترميز.

وليس هذا انتقاصًا من شأن الترميز؛ بل الواقع أن الترميز غدا الركن الذي لا يقوم بدونه أي مشروع علمي رقمي جاد. فمنذ أن قعّدته ، صار يتيح لنا تسجيل ما نشاء من جوانب الوثيقة والنص الذي تحمله: البنية، والحواشي الهامشية، والشطب، والفروق، ونوع الورق، والبقع، والخط… وما شئتم بعد ذلك.

ويُظهر المثال الآتي، المأخوذ من ، كيف يُغني الترميز النص بمعلومات إضافية (الفئة، والبنية، والحقول الدلالية، والشطب، وغيرها)، فيمنح الطبعات الرقمية في نهاية المطاف أفضلية بيّنة على أسلافها الورقية.

نص عادي ترميز XML

نص عادي	ترميز XML
`Pour rompre grenades et donner violence aux artifices de foeu Mects parmy la pouldre et la sixiesme partye dicelle de vif argent`	`<div id="p008r_2" categories="arms and armor"> <head>Pour rompre <wp>grenades</wp> et donner<lb/> violence aux <wp>artifices de foeu</wp></head> <ab>Mects parmy la <m>pouldre</m> <del><ms>six fois autant</ms> de <m>vif argent</m></del><lb/> <del>et</del> <ms>la sixiesme partye</ms> dicelle de <m>vif argent</m></ab> </div>`

Pour rompre grenades et donner
violence aux artifices de foeu

Mects parmy la pouldre et la sixiesme
partye dicelle de vif argent

<div id="p008r_2" categories="arms and armor">
<head>Pour rompre <wp>grenades</wp> et donner<lb/>
violence aux <wp>artifices de foeu</wp></head>
<ab>Mects parmy la <m>pouldre</m>
<del><ms>six fois autant</ms> de
<m>vif argent</m></del><lb/>
<del>et</del> <ms>la sixiesme partye</ms>
 dicelle de <m>vif argent</m></ab>
</div>

وليست هذه المعلومات نفيسة لأغراض الحفظ الأرشيفي وحدها، بل للتركيب والتحليل أيضًا، كما بيّنت في مناسبات سابقة. غير أن هذا الضرب من التعليق قد يلتهم من الوقت الشيء الكثير، لأن النص الواحد كثيرًا ما يلزم إتاحته بصيغ متعددة: ترجمةً، ونسخًا، وتحديثًا للرسم، وما إلى ذلك.

الحل

المحوّلات (Transformers): أقصر الطرق إلى الأتمتة؟

في عام 2020 أطلقت ، بضجة كبيرة، أحدث أسرة من نماذجها اللغوية الكبيرة ذات الأغراض العامة، وسمّتها GPT-3، اختصارًا لـ«Generative Pre-trained Transformer 3». والمحوّلات فتحٌ حديث العهد نسبيًّا في الذكاء الاصطناعي: تتعلم المهام الجديدة بسرعة مذهلة بمجرد قراءة موجّه (prompt) والنظر في عدد قليل جدًّا من الأمثلة، وتقبل كذلك تدريبًا إضافيًّا على مجموعة بيانات مخصوصة (الضبط الدقيق) يحسّن زمن استجابتها ودقتها. ولهذا نقول إن GPT-3 وأشباهه من المحوّلات .

وتزعم OpenAI أن GPT-3 يضم عددًا قياسيًّا من المعاملات يبلغ 175 مليارًا، وأنه دُرّب على ما يزيد على 570 غيغابايت من النصوص، جُلّها وثائق إنجليزية مأخوذة على الأرجح من . وبفضل حجمه الهائل وحده أرسى GPT-3 معيارًا جديدًا في هذا الميدان، فهو ينجز من فوره مهامّ متنوعة بواقعية تبعث على القلق: يكتب مقبولة، و في غرف الدردشة، و ، و ، ويترجم الوثائق، ويفسّر المصطلحات، وغير ذلك.

وقد أتاح لي الوصول المبكر إلى واجهة OpenAI البرمجية منذ مايو 2021 أن أختبر قدرة النموذج على مهامّ يُشهد لها بالصعوبة، كترجمة الشعر الفرنسي والنصوص اللاتينية الحديثة إلى الإنجليزية، وشرح المماثلات (analogies)، بل تبسيط الكتاب الرابع من تأسيس ميتافيزيقا الأخلاق لكانط لطفل في السابعة (وإن جاء التبسيط غير مقنع).

Codex

ومن أحدث ما تفرّع عن GPT-3 نموذج يُعنى بلغات الحاسوب، اسمه Codex، يترجم اللغة الطبيعية إلى لغة حاسوبية والعكس. فإن كنت أبحث مثلًا عن تعبير نمطي «يعثر على الكلمات التي تبدأ بحرف كبير دون سواها»، ترجم GPT-3 ذلك في الحال إلى تعبير نمطي صالح للعمل: [A-Z]+\w+.

وتزعم OpenAI أن Codex يتعامل مع نحو اثنتي عشرة لغة حاسوبية، منها Python وJavaScript وGo وPerl وPHP وRuby وSwift. وإذ يحوّل الشيفرة الزائفة إلى شيفرة حقيقية بسلاسة، فإنه يعفي الناس من التدقيق في نحو اللغة الحاسوبية المضني ليصرفوا همّهم إلى الخطوات المنطقية والاستراتيجيات التي تمكّن التطبيقات من حل المشكلات.

ما وراء OpenAI

وليست OpenAI، بطبيعة الحال، اللاعب الوحيد في الميدان. فكما أسلفت، أعلنت أكاديمية بكين للذكاء الاصطناعي عام 2021 عن نموذج أكبر وأقدر يُعرف باسم Wu Dao 2. وتضافرت Nvidia وMicrosoft على إنتاج نموذج Megatron-Turing NLG 530B الذي جاء اسمه على مسمّاه. وتعرض شركات ناشئة أصغر، مثل و ، واجهات برمجية للجمهور. وتجدر الإشارة كذلك إلى مبادرات مفتوحة المصدر مثل . ولما كان مشهد الذكاء الاصطناعي يتبدل بسرعة، فلمتابعة جديد الميدان راجعوا .

التجارب

ملاحظة

الغاية من هذه التجارب أن نهتدي إلى أقل الطرق كلفةً نحو أتمتة موثوقة لمهام التحقيق. وقد يقال إن بعض هذه المهام يمكن أتمتته أيضًا بخوارزميات التعلم الخاضع للإشراف؛ وسنتحقق من هذه الفرضية في تدوينة مقبلة.

فهل يستطيع محوّل مثل GPT-3 أن يتعلم التعليق على مخطوطة تقنية علمية من القرن السادس عشر، مثلًا؟

التجربة 1 – تصنيف النصوص.

لنبدأ بما هو أيسر نسبيًّا. فما دام GPT-3 «يتعلم من أمثلة قليلة»، فالمنتظر أن يدرك بسرعة كيف صنّف فريقنا التحريري مداخل المخطوطة Ms Fr 640.

هندسة الموجّه

لتدريبه استعملت موجّهًا في غاية الإيجاز، واخترت للتمثيل أربعة مداخل نصية قصيرة بلا ترميز، منها مدخل في «الطب»، وآخر في «الأسلحة والدروع»، وثالث في «الرسم».

الاختبار

ثم نسخت مقطعًا آخر لم يكن في السلسلة الأولى:

Working neatly
Never put down, if you can, two colors one on top of the other.
But next, having made your design carefully, keep the place of shadows for them alone,
& also separately that of lights & highlights, without layering one color all over & then highlighting or else shading on it.
And in this way, you further your work, economize your colors & work neatly.
Which is the reason that, the colors not being muddled nor mixed together, they do not die & you soften the colors better, since they are not so thick.

فجاء المخرج مطابقًا للمحتوى تمام المطابقة:

<categories="painting">

فإذا جرّبنا مدخلًا من فئة لم تكن أصلًا بين النصوص المختارة لتدريب GPT-3، كانت النتيجة مدعاة للدهشة.

<categories="jewelry">

النتيجة

لا وجود لفئة «المجوهرات» (jewelry) في طبعتنا للمخطوطة Ms. Fr. 640، فالفريق التحريري عليها فئة «الأحجار» (Stones) الأوسع. على أن حدس GPT-3 سديد، وهو يدل على أنه بقليل من التدريب الإضافي يستطيع أن يتعلم تصنيف أي مدخل في المخطوطة Ms. Fr. 640، بل ربما مداخل النصوص التقنية المماثلة من القرن السادس عشر.

التجربة 2 – الترميز الدلالي

فلنرفع السقف قليلًا. إذا كانت المحوّلات من قبيل GPT-3 تتعلم تصنيف النصوص وفق معايير تحريرية بعينها، فهل تستطيع أيضًا أن تتعرف على بعض عناصر ترميز النص؟

ملاحظة

تجمع Secrets of Craft and Nature بين . وللأسف لا يعالج GPT-3 الصور، بخلاف مشاريع أخرى مثل . ويُرجَّح أن تشمل الأجيال المقبلة من GPT هذه القدرة، ولا غنى عنها للتعرف على معظم الجوانب البنيوية والمادية للوثيقة. سنتجاوز هذه الوسوم بالذات، ونركّز على الترميز الذي لا يستلزم التعرف على الصور.

هندسة الموجّه

تشمل الوسوم الدلالية الإحالات إلى الحيوانات والنباتات وأسماء الأماكن والمدركات الحسية وغيرها. وقد انتقيت لموجّه التدريب بضعة أمثلة من الطبعة:

<!--Input prompt-->
The following is a list of words and their corresponding semantic tags

cannons: <wp>cannons</wp>
powder: <m>powder</m>
flasks: <tl>flasks</tl>
wooden: <m>wooden</m>
iron: <m>iron</m>
parchment: <m>parchment</m>
goats: <al>goats</al>
lambs: <al>lambs</al>
leather: <m>leather</m>
earth: <m>earth</m>
fine fatty earth: <m>fine fatty earth</m>
Venice: <pl>Venice</pl>
Flemish: <pl>Flemish</pl>
almond: <pa>almond</pa>
almond oil: <m><pa>almond</pa> oil</m>
walnuts skin: <m><pa>walnuts</pa> skin</m>
molten lead: <m>molten lead</m>
today: <tmp>today</tmp>
In the past: <tmp>In the past</tmp>
Clockmakers: <pro>Clockmakers</pro>
red copper: <m>red copper</m>
crucible: <tl>crucible</tl>
bellows: <tl>bellows</tl>
charcoal: <m>charcoal</m>
founders: <pro>founders</pro>

الاختبار

لنجرّب مع نموذج Davinci-codex بضع كلمات سهلة: Apothecary (صيدلاني)، وsmoke (دخان)، وglassmakers (صانعو الزجاج)، وlatten (صفيح نحاسي)، وsnake (ثعبان). فتأتي النتائج فورية لا تشوبها شائبة:

<!--Output-->
Apothecary: <pro>Apothecary</pro>
smoke: <m>smoke<m>
glassmakers: <pro>glassmakers</pro>
latten: <m>latten</m>
snake: <al>snake</al>

والاختبار الأصعب يقتضي كلمات مركبة، من قبيل copper plates (صفائح نحاسية)، وwalnut oil (زيت الجوز)، وwood block (قالب خشبي)؛ والغرض منه أن نرى هل يحسن GPT-3 التعامل مع الوسوم المتداخلة.

<!--Output-->
copper plates: <m>copper plates</m>
walnut oil: <m><pa>walnut</pa> oil</m>
wood block: <m>wood block</m>

وهنا تتفاوت النتائج: فلم يصب Davinci-codex إلا في walnut oil، وفاته الوسمان المتداخلان tl وm في copper plates وwood block. غير أن هذه الأخطاء تخف، كما يُظهر الاختبار التالي، بموجّه تدريب أحسن. فبعد أن أضفت خمسة أمثلة أخرى على الوسوم المتداخلة، عاد Davinci-codex بنتيجة تكاد تكون كاملة، لم يخطئ فيها إلا مرة واحدة (oil paintbrushes):

<!--Output-->
cannon powder: <m><wp>cannon</wp> powder</m>
arquebus powder: <m><wp>arquebus</wp> powder</m>
oil paintbrushes: <m><al>oil</al> paintbrushes</m>
sheep footbones: <m><al>sheep</al> footbones</m>
bronze mortar: <tl><m>bronze</m> mortar</tl>

خاتمة

ينبغي ألا يغيب عن البال أن هذه الاختبارات أُجريت على شذرات نصية قصيرة. وأحسب أن إغناء الأمثلة والموجّه بمزيد من السياق سيخرج من نماذج GPT-3 نتائج أفضل، وأن الضبط الدقيق للنموذج على مجموعات تدريب مخصوصة سيرفع دقة الوسم أكثر فأكثر.
ولئن كانت هذه التجارب لا تزال بحاجة إلى أن تُجرى على نطاق أوسع لإثبات موثوقية النماذج اللغوية المدرَّبة مسبقًا، فإنه يسعنا أن نخلص إلى أن هذه المقاربة تمكّن المحققين من أتمتة عدة مهام من مهام التعليق في خطوات يسيرة، وقد توفر عليهم في ذلك قدرًا هائلًا من الوقت والمال.

تصوّر المخطوطات 2 (تحديث)

Sat, 20 Nov 2021 16:00:00 +0000

وفاءً بما وعدت، هذه نسخة جديدة من الخريطة الشجرية التفاعلية التي عرضتها في ، وقد صارت هذه المرة بوضعَي عرض.

ملاحظة

تحسن المشاهدة إذا ضبطتم الصفحة على الوضع الفاتح (انقروا أيقونة القمر في أعلى اليمين).

Group folios by category

الأرشيف في لمحة

Mon, 24 May 2021 16:00:00 +0000

المشكلة

قد تبلغ الفوضى في الأرشيفات التاريخية حدًّا يبعث على اليأس، ورصيد Mediceo del Principato في خير شاهد. فلم يُجرد منه إلا نزر يسير، وتناثر كثير من وثائقه في ما يزيد على 6500 مجلد من غير سبب ظاهر. ويزيد الطين بلّة أن الأرشيف لا يتيح لكم الاطلاع إلا على عدد محدود من المجلدات (أو الـfilze كما يسمونها): أربع filze في اليوم في الأحوال العادية، هبطت في زمن الجائحة إلى أربع كل أسبوعين. وإذ تغيب الجرود المفصّلة، فإن ضخامة الأرشيف تُلجئ الباحث إلى ابتداع الحيل كي يهتدي سريعًا إلى ما ينشده من وثائق.

الحل

فمن الباحثين من يعوّل على الصدفة، ومنهم من يضيف إليها تخمينات مدروسة يبنيها على التسلسل الزمني، والمرسَل إليهم، والمؤلفين، ومنشأ الرصيد الأرشيفي، واللغة، وما إلى ذلك. غير أن النظر إلى هذه المتغيرات كلها دفعةً واحدة قد يكشف في بنية الأرشيف عن أنماط لم تخطر ببال، فيصقل حدسنا. وقد علّمتني التجربة أن البيانات الوصفية التي يجمعها الباحث عادةً في جدول بيانات تصير، متى رُسمت بيانيًّا، عونًا كبيرًا على إدراك ما حوله في الأرشيف.

التجربة

تدور بحوثي الجارية حول مراسلات جاسوس من القرن السادس عشر، تفرّقت رسائله في مئات الـfilze: كُتبت بهويات شتى، إلى مرسَل إليهم مختلفين لا يُتوقع بعضهم، ومن أماكن متباعدة، وهلم جرًّا. ولكي أهتدي إلى الـfilze الأرجح احتواءً على الرسائل المنشودة، أعددت لوحة متابعة، وهي تطبيق ويب لتصوّر البيانات تفاعليًّا ( ) يربط بين شتى البيانات، ومنها المعلومات الجغرافية والزمنية، وبين مخطط هرمي ( ) للرصيد الأرشيفي. تطلعني اللوحة في لمحة على ما عُثر عليه حتى الآن، وعلى مقداره، وتعطيني فكرة تقريبية عن المواضع التي قد أجد فيها رسائل جديدة؛ فإذا نقرت على متغير بعينه، تجدّدت المخططات كلها لتُظهر ارتباطات محددة.

الخطوات التالية

ولعل الأهم من ذلك أن هذه اللوحة تصلح فهرسًا بصريًّا. فحين تُنشر الطبعة النقدية لهذه الرسائل على الشبكة، ستغدو اللوحة مدخلًا بديلًا يتصفح القراء منه البيانات. ولا يسعني في الوقت الراهن، لدواعي السرية، إلا أن أعرض لقطة شاشة محجوبة الأجزاء، على أن أطلق اللوحة كاملةً في العام المقبل؛ وفي انتظار ذلك سيتاح نموذج أولي عمّا قريب. فترقّبوا!

تصوّر الترميز الدلالي في المخطوطة BnF Ms. Fr. 640

Sun, 20 Dec 2020 18:15:00 +0000

نظرة عامة

تزخر الطبعات العلمية الغنية بالبيانات بتعليقات تحريرية نفيسة يمكن استخراجها وتحليلها وتصوّرها لشتى الأغراض العلمية. وتلك حال ، الصادرة عام 2020، التي تتيح تنزيل ملف بياناتها الوصفية من مستودعها على GitHub. أبيّن في هذه التدوينة كيف نجمع هذه المتغيرات كلها في مصفوفة ارتباط، ثم نصوّرها على أنحاء شتى.

البيانات

يولّد مشروع Making and Knowing جدول بيانات يحمل أحدث المعلومات عن محتويات المخطوطة: entry_metadata.csv. ويُستحضر الملف من الخاص بـMaking & Knowing. ويمكن بدل ذلك توليد ملفات .csv على المقاس، مع إضافة مزيد من الترميز، بفضل ، الأداة الممتازة التي أعدّها ماثيو كومار (Matthew Kumar)، وهي نسخة من المخطوطة BnF Ms. Fr. 640 بلغة Python.

إعداد Python

سنستعين بـPandas لمعالجة البيانات، وبـMatplotlib وseaborn للخرائط الحرارية، ثم بـNetworkX لبناء شبكات قائمة على الارتباط.
ولن نلجأ مع هذا الصنف من المتغيرات إلى طريقة بيرسون، بل إلى طريقة 𝜙𝐾. فاحرصوا على على طريقة الارتباط هذه وعلى مكتبتها PhiK.

#install packages
pip install phik

# import modules
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import networkx as nx

تهيئة البيانات

لننزّل أولًا أحدث ملف للبيانات الوصفية للطبعة من مجلد metadata في . ثم ننتقي الأعمدة التي نحتاج إليها دون سواها. اخترت لهذا العرض جميع الوسوم الدلالية من الترجمة الإنجليزية tl، ولكم أن تختاروا وسوم النسخ الفرنسي tc أو النسخة المعيَّرة tcn. وتأتي البيانات قيمًا مفصولة بفواصل منقوطة، ونريد من Python أن يعدّها لنا؛ فنلجأ إلى طريقة stack-unstack مع التعبير النمطي [^;\s][^\;]*[^;\s]*. ولتغدو المصفوفة أيسر قراءة، نعيد تسمية الأعمدة. ولمن كان على عجلة أن يتخطى هذه الخطوة، على أن يتذكر أن إطار بياناتنا يحمل في هذه المرحلة اسم tagsrn.

# load the edition's metadata
df = pd.read_csv('entry_metadata.csv')

# select the tags you want to correlate
dftags = df[['al_tl', 'bp_tl', 'cn_tl', 'df_tl', 'env_tl', 'm_tl', 'md_tl', 'ms_tl', 'mu_tl', 'pa_tl', 'pl_tl', 'pn_tl', 'pro_tl', 'sn_tl', 'tl_tl', 'tmp_tl', 'wp_tl', 'de_tl', 'el_tl', 'it_tl', 'la_tl', 'oc_tl', 'po_tl']]

# count comma separated values
tagcount = dftags.stack(dropna=False).str.count(r'[^;\s][^\;]*[^;\s]*').unstack()

# rename columns
tagsrn = tagcount.rename(columns={'al_tl': 'animals', 'bp_tl': 'body parts', 'cn_tl': 'currency', 'df_tl': 'definitions', 'env_tl': 'environment', 'm_tl': 'material', 'md_tl': 'medical', 'ms_tl': 'measurement', 'mu_tl': 'music', 'pa_tl': 'plant', 'pl_tl': 'toponym', 'pn_tl': 'person', 'pro_tl': 'profession', 'sn_tl': 'sensory', 'tl_tl': 'tool', 'tmp_tl': 'temporal', 'wp_tl': 'weapons', 'de_tl': 'German', 'el_tl': 'Greek', 'it_tl': 'Italian', 'la_tl': 'Italian', 'oc_tl': 'Occitan', 'po_tl': 'Poitevin'})

حساب الارتباط

متى نظُف إطار البيانات، انتقلنا إلى حساب معاملات الارتباط بين كل متغيرين. والمهم في هذه المرحلة أن تفهموا بياناتكم وتتحققوا من أنكم تستعملون أنسب طرق الارتباط لها، وحزمة pandas-profiling نِعم العون على ذلك.

# calculate correlation coefficient with the phi k method
cortag = tagsrn.phik_matrix()

cortag هي مصفوفة الارتباط عندنا، وبوسعنا الآن أن نجرّب عليها ضروبًا شتى من التصوّر.

التصوّر

أول ما نجرّبه تصويرها مصفوفةً مرمّزة بالألوان، بـ من seaborn.

الخريطة الحرارية للارتباط

f, ax = plt.subplots(figsize=(16, 14))
ax = sns.heatmap(cortag, linewidths=.03, vmin=0, cmap="Oranges", square=True)

من كان على معرفة وثيقة بالنص أدرك للوهلة الأولى أن الخريطة الحرارية تنطق بالمعقول. فأسماء الأعلام، مثلًا، ترتبط ارتباطًا وثيقًا باللاتينية، إذ جرت العادة، لا سيما عند إنسانيّي القرن السادس عشر، على تلتينها.

وقد يقول قائل إن هذه الخريطة لا تزيد على تقرير البديهيات. وليس مثل هذا القائل مخطئًا كل الخطأ؛ فالوسوم الطبية تبدو للوهلة الأولى شاهدًا على قوله، إذ ترتبط كما هو متوقع بأعضاء الجسم والمقاييس والنباتات.

لكن من قرأ الخريطة بإمعان، سطرًا سطرًا، وقع على ارتباطات طريفة لم تكن في الحسبان. فارتباط الوسوم الطبية بالألفاظ الإيطالية واللاتينية، مثلًا، يلقي ضوءًا على منشأ الوصفات الطبية في المخطوطة Ms. Fr. 640. وكذلك يكشف الارتباط بين المهن والتعريفات والمقاييس عن مبلغ ما تشكّل به الهوية المهنية الخطاب التقني في القرن السادس عشر.

خريطة التجميع العنقودي للارتباط

الخرائط الحرارية نافعة في مقام «الاستكشاف»، لكنها قد تبدو لجمهوركم مشوّشة بعض الشيء، ولا سيما إن كنتم تناقشون — أو ما زلتم تبحثون عن — عناقيد دلالية بعينها في المخطوطة. وهنا قد تأتي وحدة clustermap في Seaborn بنتائج مثيرة.

clustermap = sns.clustermap(cortag, figsize=(12, 13), dendrogram_ratio=(.1, .2), vmin=0, cmap="Oranges", cbar_pos=(-.06, .12, .03, .68))

فضلًا عن شبهها بحشرة «مُبكسَلة» (نعم، الكلمة مثبتة في قاموس أكسفورد)، تفصل خريطة التجميع العنقودي فصلًا بيّنًا بين الوسوم المعزولة (في الأعلى وعلى اليسار) والوسوم الأوثق ترابطًا. ونميّز فيها كذلك عناقيد منعزلة، كالموسيقى واللهجة البواتفينية (من كان يظن!)، من عناقيد أدنى إلى المركز كالمقاييس والمواد والتعريفات والأسلحة. أما المهن فأشد ترابطًا، لكنها لا تنتمي، في مصفوفة الارتباط هذه على الأقل، إلى عنقود بعينه.

شبكة الارتباط

وإن أردنا اختزال ما في مصفوفتنا من ارتباطات اختزالًا أبلغ، فالرسوم الشبكية حل أنيق، ولا سيما حين يكون المقصود أن نعرّف الناس بمحتويات المخطوطة.
ولذلك لا بد أن نحوّل مصفوفتنا إلى قائمة من الحواف والعقد، وأن نضع عتبة تُقصي الارتباطات الأضعف عن الرسم.

# transform the data
links = cortag.stack().reset_index()
links.columns = ['var1', 'var2','value']

# threshold 
links_filtered = links.loc[(links['value'] > .6) & (links['var1'] != links['var2'])]
links_filtered

# create edges
G = nx.from_pandas_edgelist(links_filtered, 'var1', 'var2')

# draw network using Kamada & Kawai's algorithm 
plt.figure(3,figsize = (12,12))
nx.draw_kamada_kawai(G, with_labels = True, node_color = 'red', node_size = 400, edge_color = 'black', linewidths = 1, font_size = 14)

فإن كثرت الحواف والعقد فوق الحد، فبوسعكم تعديل العتبة لتحصلوا على نتيجة أنقى. وإلا فصدّروا الرسم لتعبثوا به في Gephi بالدالة .write_gexf().

nx.write_gexf(G, 'graph.gexf')

وترون الحصيلة في مستهل هذه التدوينة.

تحديث: شبكة موزونة دائرية

كنت أبحث عن سبل لعرض مصفوفات الارتباط شبكاتٍ موزونة، فوقعت على هذه المقاربة الطريفة التي ، وأطوّعها هنا لمجموعة بياناتنا.

# create graph weighted by correlation coefficients (unfiltered)
Gx = nx.from_pandas_edgelist(links, 'var1', 'var2', edge_attr=['value'])

# determine a threshold to remove some edges
threshold = 0.4

# list to store edges to remove
remove = []

# loop through edges in Gx and find correlations which are below the threshold
for var1, var2 in Gx.edges():
 corr = Gx[var1][var2]['value']
 #add to remove node list if abs(corr) < threshold
 if abs(corr) < threshold:
 remove.append((var1, var2))

# remove edges contained in the remove list
Gx.remove_edges_from(remove)

print(str(len(remove)) + ' edges removed')

وبعد أن نحذف بضع حواف، نحدد لون الباقي منها وسمكه.

# determine the colors of edges
def assign_colour(correlation):
 if correlation <= 0.8:
 return '#ff872c' # orange
 else:
 return '#f11d28' # red


def assign_thickness(correlation, benchmark_thickness=3, scaling_factor=3):
 return benchmark_thickness * abs(correlation)**scaling_factor


def assign_node_size(degree, scaling_factor=50):
 return degree * scaling_factor

ونمنح العقد كذلك حجمًا يتناسب مع عدد صلاتها.

# assign node size depending on number of connections (degree)
node_size = []
for key, value in dict(Gx.degree).items():
 node_size.append(assign_node_size(value))

والحصيلة رسم موزون يتسع لعقد أكثر وحواف أكثر بكثير، ويظل مع ذلك مقروءًا غنيًّا بالدلالة.

المراسلات السرية لفيليبو كافريانا، 1568—1589.

Fri, 27 Dec 2019 00:00:00 +0000

رسائل فيليبو كافريانا (Filippo Cavriana) السرية شهادةٌ لا نظير لها على الحروب الدينية الفرنسية؛ فهي تتابع، على امتداد ما يزيد على 20 عامًا، الدسائس والمعارك والمفاوضات والمؤامرات التي كانت تضبط إيقاع الحياة في البلاط الفرنسي وما وراءه.

وتُحفظ هذه الرسائل في ، مبعثرةً في أغلبها بين مئات الحزم التي لم تُجرد بعد، أو الـfilze كما يسمونها هناك. ولئن وُفّقت في السنوات الأخيرة إلى الكشف عن عشرات الرسائل الجديدة، فإن هذا الضرب من البحث الأرشيفي يزداد عسرًا يومًا بعد يوم: فبُعد المسافة عن فلورنسا، وتردّي بعض المرافق العامة في إيطاليا، وجائحة كوفيد-19، كلها تجعل من مشاريع النشر هذه مسارًا طويلًا لا يُؤمن عاقبته.

على أن نشر المصادر الأولية ينبغي أن يبقى، مهما تعاظمت الصعاب، من صميم عمل المؤرخ. غير أن الصورة التي يتخذها هذا النشر لا بد أن تتغير على الأرجح: فليس المطلوب أن يتلاءم مع الوضع الذي وصفته آنفًا فحسب، بل أن يعبّر تعبيرًا أصدق عن الطابع التراكمي لهذا البحث، وأن يتيح لغيري أن يكمل المسيرة من حيث توقفت.

ومن هنا نشأت فكرة استحداث ضرب جديد من مشاريع النشر الرقمي يكون قابلًا للتوسع، ومستدامًا، وموثوقًا، ومستقلًّا عن المنصة، وربما تعاونيًّا أيضًا.

وها هي الطبعة على الشبكة اليوم: . تجمع ما نُسخ من الرسائل حتى الآن، من أرشيفَي الدولة في فلورنسا ومانتوفا ومن المكتبة الوطنية الفرنسية (BnF)، وتكبر كلما طفت رسائل جديدة على السطح. وقد بسطت الحجج التي أملت تصميمها في .