پژوهش‌های جاری |

The Spy Who Wished Them Well

Sun, 12 Dec 2021 00:00:00 +0000

اطلاعات بیشتر به‌زودی.

خودکارسازی نشانه‌گذاری در نسخه‌های علمی دیجیتال

Mon, 22 Nov 2021 18:15:00 +0000

مقدمه

چگونه می‌توان نسخه‌های علمی دیجیتال را بی‌آنکه خزانه را خالی کند تولید کرد؟ در این یادداشت، که نخستین از سلسله‌یادداشت‌هایی دربارهٔ تصحیح کارآمد است، نقشی را می‌سنجم که مدل‌های زبانی پیش‌آموخته می‌توانند در خودکارسازی کارهای تصحیح، از جمله نشانه‌گذاری معنایی، ایفا کنند.

فهرست مطالب

مسئله

کار عاشقانه

در کار عشق حساب و کتاب نمی‌کنند… یا دست‌کم ضرب‌المثل قدیمی چنین می‌گوید. این حرف دربارهٔ نسخه‌های علمی دیجیتال به‌ویژه صادق است، چرا که بازنویسی، ترجمه و حاشیه‌نویسیِ لازم برای ساختن آن‌ها هزاران ساعت کار می‌طلبد؛ کاری که در مورد صدها همکار بسیار متخصص بر عهده گرفتند.

از یک نظر، اینکه پروژه‌های پرآوازهٔ علوم انسانی دیجیتال می‌توانند بودجه‌های هنگفتِ لازم برای ادامهٔ کار را به دست آورند، موهبتی است. اما اتکای سنگین به دست‌ودل‌بازی بنیادهای ثروتمند، دانشگاه‌ها و نهادهای دولتی، و نیاز درازمدت به نیروی انسانی فراوان، الگوی اقتصادی پایداری برای آینده نیست.

در واقع، اگر می‌خواهیم پژوهشگران سراسر جهان را تشویق کنیم که اسناد تاریخی را در دسترس عموم بگذارند، هزینهٔ تصحیح‌های انتقادی دیجیتال باید چندین مرتبهٔ بزرگی کاهش یابد .

آستانه‌ای بلند

شاید کمی تناقض‌آمیز بنماید، اما راه حل چه بسا از دل همین پروژه‌های پرزحمت مانند بیرون بیاید، زیرا این‌ها مجموعهٔ آموزشی ارزشمندی‌اند برای خودکار کردن برخی از خشک‌ترین و تکراری‌ترین کارهای تصحیح دیجیتال، از جمله نشانه‌گذاری.

نه اینکه نشانه‌گذاری بی‌اهمیت باشد. برعکس، نشانه‌گذاری به جزء جدایی‌ناپذیر هر پروژهٔ علمی دیجیتالِ جدی بدل شده است. این کار، که آن را استاندارد کرده، به ما امکان می‌دهد تا آنجا که ممکن است جنبه‌های سند و متنی را که سند حامل آن است ثبت کنیم: ساختار، حاشیه‌نوشته‌ها، خط‌خوردگی‌ها، نسخه‌بدل‌ها، نوع کاغذ، لکه‌ها، خوشنویسی… هر چه بخواهید.

نمونهٔ زیر، برگرفته از ، نشان می‌دهد که نشانه‌گذاری چگونه متن را با اطلاعات افزوده (مقوله، ساختار، حوزه‌های معنایی، خط‌خوردگی‌ها و جز آن) غنی می‌کند و در نهایت به نسخه‌های دیجیتال برتری چشمگیری بر نیاکان کاغذی‌شان می‌بخشد.

Plain Text XML Markup

Plain Text	XML Markup
`Pour rompre grenades et donner violence aux artifices de foeu Mects parmy la pouldre et la sixiesme partye dicelle de vif argent`	`<div id="p008r_2" categories="arms and armor"> <head>Pour rompre <wp>grenades</wp> et donner<lb/> violence aux <wp>artifices de foeu</wp></head> <ab>Mects parmy la <m>pouldre</m> <del><ms>six fois autant</ms> de <m>vif argent</m></del><lb/> <del>et</del> <ms>la sixiesme partye</ms> dicelle de <m>vif argent</m></ab> </div>`

Pour rompre grenades et donner
violence aux artifices de foeu

Mects parmy la pouldre et la sixiesme
partye dicelle de vif argent

<div id="p008r_2" categories="arms and armor">
<head>Pour rompre <wp>grenades</wp> et donner<lb/>
violence aux <wp>artifices de foeu</wp></head>
<ab>Mects parmy la <m>pouldre</m>
<del><ms>six fois autant</ms> de
<m>vif argent</m></del><lb/>
<del>et</del> <ms>la sixiesme partye</ms>
 dicelle de <m>vif argent</m></ab>
</div>

این اطلاعات نه‌فقط برای آرشیو ارزشمند است، بلکه چنان‌که پیش‌تر در جاهای دیگر نشان داده‌ام، به کار ترکیب و تحلیل هم می‌آید. با این حال، این نوع حاشیه‌نویسی می‌تواند بی‌اندازه وقت‌گیر باشد، چرا که یک متن واحد اغلب باید به چند صورت در دسترس باشد: به‌صورت ترجمه، بازنویسی، نسخهٔ امروزی‌شده و جز آن.

راه حل

ترنسفورمرها: ساده‌ترین راه خودکارسازی؟

در سال 2020، با سر و صدای بسیار تازه‌ترین خانوادهٔ مدل‌های زبانی بزرگ و همه‌منظوره‌اش را با نام GPT-3 عرضه کرد؛ نامی که کوتاه‌شدهٔ «Generative Pre-trained Transformer 3» است. ترنسفورمرها دستاورد نسبتاً تازه‌ای در هوش مصنوعی‌اند. با سرعتی چشمگیر کارهای تازه می‌آموزند: کافی است یک پرامپت بخوانند و شمار بسیار اندکی مثال ببینند. می‌توان آن‌ها را با مجموعه‌داده‌ای اختصاصی نیز آموزش تکمیلی داد (ریزتنظیم) تا سرعت پاسخ و دقتشان بهتر شود. از همین رو می‌گوییم GPT-3 و ترنسفورمرهای همانند آن (few-shot) هستند.

OpenAI مدعی است که GPT-3 رقم بی‌سابقهٔ 175 میلیارد پارامتر دارد و بر بیش از 570 گیگابایت متن آموزش دیده که بیشترشان اسناد انگلیسی‌اند و احتمالاً از گرفته شده‌اند. GPT-3 به لطف ابعاد عظیمش معیار تازه‌ای در این حوزه گذاشته و بی‌هیچ آماده‌سازی، کارهای گوناگونی را با واقع‌نمایی نگران‌کننده‌ای انجام می‌دهد. باورپذیر می‌نویسد، در اتاق‌های گفت‌وگو ، ، ، اسناد را ترجمه می‌کند، اصطلاحات تخصصی را توضیح می‌دهد، و جز این‌ها.

از مه 2021 به API شرکت OpenAI دسترسی زودهنگام داشته‌ام و توانسته‌ام توان این مدل را در حل شماری از کارهای به‌اصطلاح دشوار بیازمایم: ترجمهٔ شعر فرانسوی و متون نولاتین به انگلیسی، توضیح قیاس‌ها، و حتی ساده کردن کتاب چهارم بنیاد مابعدالطبیعهٔ اخلاق کانت برای کودکی هفت‌ساله (هرچند نه چندان قانع‌کننده).

Codex

یکی از تازه‌ترین تحولات GPT-3 بر زبان‌های رایانه‌ای متمرکز است. این مدل، که Codex نام دارد، زبان طبیعی را به زبان رایانه ترجمه می‌کند و برعکس. مثلاً اگر دنبال عبارتی باقاعده باشم که «فقط واژه‌هایی را پیدا کند که با حرف بزرگ آغاز می‌شوند»، GPT-3 بی‌درنگ آن را به یک عبارت باقاعدهٔ کارآمد برمی‌گرداند: [A-Z]+\w+.

OpenAI مدعی است که Codex با ده‌دوازده زبان رایانه‌ای، از جمله Python، JavaScript، Go، Perl، PHP، Ruby و Swift کار می‌کند. Codex با تبدیل روان شبه‌کد به کد، به آدم‌ها امکان می‌دهد به جای نحو خسته‌کنندهٔ یک زبان رایانه‌ای، بر گام‌های منطقی و راهبردهایی تمرکز کنند که برنامه‌ها به کمکشان مسئله حل می‌کنند.

فراتر از OpenAI

البته OpenAI تنها بازیگر این میدان نیست. چنان‌که پیش‌تر اشاره شد، آکادمی هوش مصنوعی پکن در 2021 مدلی حتی بزرگ‌تر و تواناتر به نام Wu Dao 2 را اعلام کرد. Nvidia و Microsoft دست به دست هم دادند و مدلی با نام برازندهٔ Megatron-Turing NLG 530B ساختند. استارتاپ‌های کوچک‌تری مانند و نیز APIهایی به عموم عرضه می‌کنند. ابتکارهای متن‌باز مانند هم شایان ذکرند. صحنهٔ هوش مصنوعی البته با شتاب دگرگون می‌شود؛ برای دنبال کردن ابتکارهای تازهٔ این حوزه، به سر بزنید.

آزمایش‌ها

نکته

هدف این آزمایش‌ها یافتن اقتصادی‌ترین راه به خودکارسازی قابل اعتماد کارهای تصحیح است. می‌توان گفت برخی از این کارها را با الگوریتم‌های یادگیری بانظارت نیز می‌توان خودکار کرد. این فرضیه را در یادداشتی دیگر خواهیم کاوید.

آیا ترنسفورمری مانند GPT-3 می‌تواند یاد بگیرد که مثلاً یک دست‌نویس فنی و علمی سدهٔ شانزدهم را حاشیه‌نویسی کند؟

آزمایش 1 – دسته‌بندی متن.

با چیزی نسبتاً ساده شروع کنیم. GPT-3، به‌عنوان «یادگیرندهٔ چندنمونه‌ای»، باید بتواند به‌سرعت دریابد که گروه تصحیح ما مدخل‌های Ms Fr 640 را چگونه دسته‌بندی کرده است.

مهندسی پرامپت

برای آموزش آن، پرامپتی بسیار کمینه به کار بردم و چهار مدخل کوتاه متن ساده را به‌عنوان مثال برگزیدم، از جمله یکی دربارهٔ «پزشکی»، یکی «سلاح و زره» و یکی «نقاشی».

آزمون

سپس قطعهٔ دیگری را که در توالی اولیه نبود کپی کردم:

Working neatly
Never put down, if you can, two colors one on top of the other.
But next, having made your design carefully, keep the place of shadows for them alone,
& also separately that of lights & highlights, without layering one color all over & then highlighting or else shading on it.
And in this way, you further your work, economize your colors & work neatly.
Which is the reason that, the colors not being muddled nor mixed together, they do not die & you soften the colors better, since they are not so thick.

خروجی کاملاً با محتوا سازگار است:

<categories="painting">

اگر مدخلی را بیازماییم که به مقوله‌ای تعلق دارد که حتی در گزینش اولیهٔ متن‌های آموزشی GPT-3 نبوده، نتیجه شگفت‌آور است.

<categories="jewelry">

نتیجه

مقولهٔ «jewelry» (جواهرات) در نسخهٔ ما از Ms. Fr. 640 وجود ندارد. گروه تصحیح مقولهٔ گسترده‌تر «Stones» (سنگ‌ها) را . با این حال شمّ GPT-3 خوب است و نشان می‌دهد که با اندکی آموزش بیشتر می‌تواند دسته‌بندی هر مدخل Ms. Fr. 640، و شاید حتی متون فنی مشابه سدهٔ شانزدهم، را بیاموزد.

آزمایش 2 – نشانه‌گذاری معنایی

سطح کار را کمی بالاتر ببریم. اگر ترنسفورمرهایی چون GPT-3 می‌توانند دسته‌بندی متن‌ها را بر پایهٔ معیارهای خاص یک تصحیح بیاموزند، آیا می‌توانند بخشی از نشانه‌گذاری متن را هم تشخیص دهند؟

نکته

Secrets of Craft and Nature از برچسب‌های معنایی و ساختاری به کار می‌برد. متأسفانه GPT-3، برخلاف پروژه‌هایی مانند ، تصویر پردازش نمی‌کند. به احتمال زیاد نسل‌های بعدی GPT این قابلیت را، که برای تشخیص بیشتر جنبه‌های ساختاری و مادی یک سند ضروری است، خواهند داشت. از این برچسب‌های خاص می‌گذریم و در عوض بر نشانه‌گذاری‌ای تمرکز می‌کنیم که به تشخیص تصویر نیاز ندارد.

مهندسی پرامپت

برچسب‌های معنایی شامل ارجاع به جانوران، گیاهان، جای‌نام‌ها، داده‌های حسی و مانند این‌هاست. در پرامپت آموزشی، چند نمونه از نسخه را برگزیدم:

<!--Input prompt-->
The following is a list of words and their corresponding semantic tags

cannons: <wp>cannons</wp>
powder: <m>powder</m>
flasks: <tl>flasks</tl>
wooden: <m>wooden</m>
iron: <m>iron</m>
parchment: <m>parchment</m>
goats: <al>goats</al>
lambs: <al>lambs</al>
leather: <m>leather</m>
earth: <m>earth</m>
fine fatty earth: <m>fine fatty earth</m>
Venice: <pl>Venice</pl>
Flemish: <pl>Flemish</pl>
almond: <pa>almond</pa>
almond oil: <m><pa>almond</pa> oil</m>
walnuts skin: <m><pa>walnuts</pa> skin</m>
molten lead: <m>molten lead</m>
today: <tmp>today</tmp>
In the past: <tmp>In the past</tmp>
Clockmakers: <pro>Clockmakers</pro>
red copper: <m>red copper</m>
crucible: <tl>crucible</tl>
bellows: <tl>bellows</tl>
charcoal: <m>charcoal</m>
founders: <pro>founders</pro>

آزمون

چند واژهٔ ساده را با مدل Davinci-codex بیازماییم، مانند Apothecary، smoke، glassmakers، latten و snake. نتیجه فوری و بی‌نقص است:

<!--Output-->
Apothecary: <pro>Apothecary</pro>
smoke: <m>smoke<m>
glassmakers: <pro>glassmakers</pro>
latten: <m>latten</m>
snake: <al>snake</al>

آزمون دشوارتر، واژه‌های مرکبی چون copper plates، walnut oil و wood block را به میان می‌آورد. هدف این آزمون آن است که ببینیم GPT-3 برچسب‌های تودرتو را درست به کار می‌برد یا نه.

<!--Output-->
copper plates: <m>copper plates</m>
walnut oil: <m><pa>walnut</pa> oil</m>
wood block: <m>wood block</m>

نتیجه اما دوگانه است: Davinci-codex تنها walnut oil را درست برچسب زد و برچسب‌های تودرتوی tl و m را در copper plates و wood block تشخیص نداد. با این حال، چنان‌که آزمون بعدی در زیر نشان می‌دهد، این خطاها را می‌توان با پرامپت آموزشی بهتری کاهش داد. پس از افزودن پنج نمونهٔ دیگر از برچسب‌های تودرتو، Davinci-codex نتیجه‌ای تقریباً بی‌نقص برگرداند، با تنها یک خطا (oil paintbrushes):

<!--Output-->
cannon powder: <m><wp>cannon</wp> powder</m>
arquebus powder: <m><wp>arquebus</wp> powder</m>
oil paintbrushes: <m><al>oil</al> paintbrushes</m>
sheep footbones: <m><al>sheep</al> footbones</m>
bronze mortar: <tl><m>bronze</m> mortar</tl>

نتیجه‌گیری

نباید از یاد برد که این آزمون‌ها با قطعه‌های کوتاهی از متن انجام شد. گمان می‌کنم اگر در مثال‌ها و پرامپت زمینهٔ بیشتری فراهم شود، مدل‌های GPT-3 نتایج بهتری هم بدهند. افزون بر این، ریزتنظیم مدل با مجموعه‌داده‌های آموزشی اختصاصی بی‌تردید دقت برچسب‌زنی را باز هم بالا خواهد برد.
هرچند این آزمایش‌ها باید در مقیاسی بزرگ‌تر تکرار شوند تا قابل اعتماد بودن مدل‌های زبانی پیش‌آموخته اثبات شود، همین حالا می‌توان نتیجه گرفت که این رویکرد به مصححان امکان می‌دهد چندین کار حاشیه‌نویسی را در چند گام ساده خودکار کنند و از این راه بالقوه زمان و هزینهٔ هنگفتی را صرفه‌جویی کنند.

مصورسازی دست‌نویس‌ها 2 (به‌روزرسانی)

Sat, 20 Nov 2021 16:00:00 +0000

چنان‌که وعده داده بودم، این هم نسخهٔ تازه‌ای از نقشهٔ درختی تعاملی‌ای که در معرفی کردم؛ این بار با دو حالت نمایش.

نکته

برای تجربهٔ بهتر، مطمئن شوید که صفحه در حالت روشن (Light) است (روی نماد ماه در گوشهٔ بالا سمت راست کلیک کنید).

Group folios by category

آرشیو در یک نگاه

Mon, 24 May 2021 16:00:00 +0000

مسئله

آرشیوهای تاریخی می‌توانند به‌طرزی نومیدکننده آشفته باشند. فوند Mediceo del Principato در نمونهٔ گویایی است. تنها بخش کوچکی از آن فهرست‌برداری شده و بسیاری از اسنادش، بی‌هیچ دلیل روشنی، در بیش از 6,500 مجلد پراکنده‌اند. مشکل دیگر آنکه آرشیو تنها اجازهٔ مطالعهٔ شمار محدودی مجلد (یا به تعبیر خودشان filza، جمع آن filze) را می‌دهد. در روزگار عادی این سقف 4 بسته در روز است؛ در دوران همه‌گیری اما به 4 بسته در هر دو هفته رسیده است. در نبودِ فهرست‌های تفصیلی، حجم عظیم آرشیو پژوهشگر را ناگزیر می‌کند برای یافتن سریع اسناد مورد نظرش تدبیری بیندیشد.

راه حل

برخی شانس را ترجیح می‌دهند؛ برخی دیگر می‌کوشند بر پایهٔ گاه‌شماری، گیرندگان، نویسندگان، خاستگاه فوند آرشیوی، زبان و مانند این‌ها حدس‌های سنجیده بزنند. اما نگاه کردن به همهٔ این متغیرها در یک زمان می‌تواند الگوهای غیرمنتظره‌ای را در ساختار آرشیو آشکار کند و حدس‌های ما را دقیق‌تر سازد. تجربهٔ من نشان می‌دهد که فراداده‌هایی که پژوهشگران معمولاً در یک صفحه‌گسترده جمع می‌کنند، وقتی به نمودار درآیند، دید آدمی را نسبت به وضعیت آرشیو به‌طور چشمگیری بالا می‌برند.

آزمایش

پژوهش کنونی من بر مکاتبات یک جاسوس سدهٔ شانزدهم متمرکز است. نامه‌هایش در صدها filza پراکنده‌اند. با هویت‌های گوناگون نوشته شده‌اند، به گیرندگانی گوناگون و گاه غیرمنتظره، از مکان‌هایی گوناگون، و جز این‌ها. برای یافتن بسته‌هایی که به احتمال بیشتر نامه‌های مورد انتظار را در خود دارند، داشبوردی ساخته‌ام: یک برنامهٔ وبِ مصورسازی تعاملی داده‌ها ( ) که همه‌گونه داده، از جمله اطلاعات جغرافیایی و گاه‌شمارانه، را به نموداری سلسله‌مراتبی ( ) از فوند آرشیوی پیوند می‌دهد. داشبورد در یک نگاه به من می‌گوید تا کنون چه یافته شده، این یافته‌ها چه سهمی دارند، و تصویری تقریبی به دست می‌دهد از اینکه نامه‌های تازه را احتمالاً کجا باید جست. افزون بر این، با کلیک بر هر متغیر، همهٔ نمودارها به‌روز می‌شوند و همبستگی‌های خاصی را نشان می‌دهند.

گام‌های بعدی

شاید مهم‌تر از همه، این داشبورد را می‌توان به یک نمایهٔ دیداری بدل کرد. وقتی تصحیح انتقادی این نامه‌ها به‌صورت آنلاین منتشر شود، داشبورد نقش دروازهٔ ورودی جایگزینی را خواهد داشت که خوانندگان از آنجا می‌توانند داده‌ها را مرور کنند. به دلایل محرمانگی، در حال حاضر تنها می‌توانم تصویری از آن نشان دهم که بخش‌هایی‌اش پوشانده شده، اما داشبورد کامل را سال آینده منتشر خواهم کرد. در این میان، نمونهٔ اولیه‌ای به‌زودی در دسترس خواهد بود. منتظر باشید!

مصورسازی نشانه‌گذاری معنایی در BnF Ms. Fr. 640

Sun, 20 Dec 2020 18:15:00 +0000

نگاه کلی

نسخه‌های علمیِ غنی از داده، حاشیه‌نویسی‌های ارزشمندی دارند که می‌توان برای هر گونه هدف پژوهشی استخراج، تحلیل و مصورسازی‌شان کرد. ، که در 2020 منتشر شد و فایل فراداده‌اش را در مخزن GitHub خود برای دانلود گذاشته، از همین دست است. در این یادداشت نشان می‌دهم چگونه می‌توان همهٔ این متغیرها را در یک ماتریس همبستگی گرد آورد و به شیوه‌های گوناگون به تصویر کشید.

داده‌ها

پروژهٔ Making and Knowing صفحه‌گسترده‌ای با اطلاعات به‌روز دربارهٔ محتوای دست‌نویس تولید می‌کند: entry_metadata.csv. این فایل را می‌توان از پروژهٔ Making & Knowing گرفت. راه دیگر آن است که به لطف عالیِ Matthew Kumar، که نسخه‌ای پایتونی از BnF Ms. Fr. 640 است، فایل‌های .csv سفارشی با نشانه‌گذاری بیشتر تولید کنید.

آماده کردن Python

از Pandas برای سر و سامان دادن به داده‌ها، از Matplotlib و seaborn برای نقشه‌های حرارتی، و سرانجام از NetworkX برای ساختن شبکه‌های مبتنی بر همبستگی استفاده می‌کنیم.
برای این نوع متغیرها از روش پیرسون پرهیز می‌کنیم و به جای آن روش 𝜙𝐾 را به کار می‌بریم. حتماً : هم دربارهٔ این روش همبستگی و هم دربارهٔ PhiK، کتابخانهٔ متناظر با آن.

#install packages
pip install phik

# import modules
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import networkx as nx

آماده‌سازی داده‌ها

نخست، تازه‌ترین فایل فرادادهٔ نسخه را از پوشهٔ metadata در آن دانلود می‌کنیم. فقط ستون‌هایی را که لازم داریم برمی‌گزینیم. برای این نمایش، همهٔ برچسب‌های معنایی ترجمهٔ انگلیسی tl را انتخاب می‌کنم، اما می‌توانید برچسب‌های بازنویسی فرانسوی tc یا نسخهٔ هنجارشدهٔ tcn را هم برگزینید. داده‌ها به‌صورت مقادیر جداشده با نقطه‌ویرگول می‌آیند و باید Python آن‌ها را برایمان بشمارد. برای این کار از روش stack-unstack با عبارت باقاعدهٔ [^;\s][^\;]*[^;\s]* استفاده می‌کنیم. برای خواناتر شدن ماتریس، نام هر ستون را تغییر می‌دهیم. اگر عجله دارید می‌توانید از این گام بگذرید؛ فقط به یاد داشته باشید که دیتافریم ما در این مرحله tagsrn نام دارد.

# load the edition's metadata
df = pd.read_csv('entry_metadata.csv')

# select the tags you want to correlate
dftags = df[['al_tl', 'bp_tl', 'cn_tl', 'df_tl', 'env_tl', 'm_tl', 'md_tl', 'ms_tl', 'mu_tl', 'pa_tl', 'pl_tl', 'pn_tl', 'pro_tl', 'sn_tl', 'tl_tl', 'tmp_tl', 'wp_tl', 'de_tl', 'el_tl', 'it_tl', 'la_tl', 'oc_tl', 'po_tl']]

# count comma separated values
tagcount = dftags.stack(dropna=False).str.count(r'[^;\s][^\;]*[^;\s]*').unstack()

# rename columns
tagsrn = tagcount.rename(columns={'al_tl': 'animals', 'bp_tl': 'body parts', 'cn_tl': 'currency', 'df_tl': 'definitions', 'env_tl': 'environment', 'm_tl': 'material', 'md_tl': 'medical', 'ms_tl': 'measurement', 'mu_tl': 'music', 'pa_tl': 'plant', 'pl_tl': 'toponym', 'pn_tl': 'person', 'pro_tl': 'profession', 'sn_tl': 'sensory', 'tl_tl': 'tool', 'tmp_tl': 'temporal', 'wp_tl': 'weapons', 'de_tl': 'German', 'el_tl': 'Greek', 'it_tl': 'Italian', 'la_tl': 'Italian', 'oc_tl': 'Occitan', 'po_tl': 'Poitevin'})

همبسته کردن

وقتی دیتافریم پاک شد، می‌توانیم ضرایب همبستگی میان متغیرها را حساب کنیم. در این مرحله مهم است که داده‌هایتان را بشناسید و مطمئن شوید مناسب‌ترین روش همبستگی را به کار می‌برید. بستهٔ pandas-profiling برای این کار به‌ویژه سودمند است.

# calculate correlation coefficient with the phi k method
cortag = tagsrn.phik_matrix()

cortag ماتریس همبستگی ماست. حالا می‌توانیم انواع مختلف مصورسازی را بیازماییم.

مصورسازی

نخستین کاری که می‌توان کرد این است که آن را به‌صورت ماتریسی رنگ‌کدشده، با کتابخانهٔ seaborn، به تصویر بکشیم.

نقشهٔ حرارتی همبستگی

f, ax = plt.subplots(figsize=(16, 14))
ax = sns.heatmap(cortag, linewidths=.03, vmin=0, cmap="Oranges", square=True)

اگر متن را خوب بشناسید، بی‌درنگ می‌بینید که نقشهٔ حرارتی کاملاً معنادار است. برای نمونه، نام‌ها همبستگی نیرومندی با لاتین دارند، چون رسم بود، به‌ویژه میان اومانیست‌های سدهٔ شانزدهم، که نام‌ها را لاتینی کنند.

برخی شاید بگویند این نقشهٔ حرارتی فقط بدیهیات را بازگو می‌کند. یکسره بی‌راه نمی‌گویند، و در نگاه نخست برچسب‌های پزشکی نمونهٔ خوبی به نظر می‌رسند، چون همان‌طور که انتظار می‌رود با اندام‌های بدن، اندازه‌ها و گیاهان همبسته‌اند.

اما اگر نقشهٔ حرارتی را با دقت بیشتر، سطر به سطر بخوانیم، ممکن است همبستگی‌های جالب و غیرمنتظره‌ای بیابیم. اینکه برچسب‌های پزشکی مثلاً با واژه‌های ایتالیایی و لاتین همبسته‌اند، سرنخ‌هایی دربارهٔ خاستگاه نسخه‌های پزشکی Ms. Fr. 640 به دست می‌دهد. به همین ترتیب، همبستگی میان پیشه‌ها، تعریف‌ها و اندازه‌ها نشان می‌دهد که هویت حرفه‌ای تا چه اندازه به گفتمان‌های فنی سدهٔ شانزدهم ساختار می‌بخشد.

نقشهٔ خوشه‌ای همبستگی

نقشه‌های حرارتی در زمینه‌های «اکتشافی» سودمندند، اما ممکن است در چشم مخاطب کمی شلوغ بنمایند، به‌ویژه اگر دربارهٔ خوشه‌های معنایی خاصی در دست‌نویس بحث می‌کنید — یا هنوز در جست‌وجوی آن‌ها هستید. پیمانهٔ clustermap کتابخانهٔ Seaborn می‌تواند نتایج جالبی بدهد.

clustermap = sns.clustermap(cortag, figsize=(12, 13), dendrogram_ratio=(.1, .2), vmin=0, cmap="Oranges", cbar_pos=(-.06, .12, .03, .68))

نقشهٔ خوشه‌ای، گذشته از اینکه شبیه حشره‌ای پیکسلی (بله، این واژه در OED هست) به نظر می‌رسد، برچسب‌های منزوی (در بالا و سمت چپ) را از برچسب‌های به‌هم‌پیوسته‌تر به‌روشنی جدا می‌کند. خوشه‌های منزوی، مانند موسیقی و پواتوینی (که فکرش را می‌کرد!)، را نیز از خوشه‌های مرکزی‌تر مانند اندازه، ماده، تعریف و سلاح تشخیص می‌دهیم. پیشه‌ها پیوندهای بیشتری دارند، اما دست‌کم در این ماتریس همبستگی خاص، جزو خوشهٔ مشخصی نیستند.

شبکهٔ همبستگی

اگر بخواهیم همبستگی‌های ماتریس را باز هم فشرده‌تر کنیم، گراف‌های شبکه راه حلی ظریف‌اند. این به‌ویژه در زمینه‌هایی صادق است که می‌خواهیم دربارهٔ محتوای دست‌نویس با دیگران سخن بگوییم.
برای این کار باید ماتریس را به فهرستی از یال‌ها و گره‌ها تبدیل کنیم و آستانه‌ای تعیین کنیم تا همبستگی‌های ضعیف‌تر از گراف حذف شوند.

# transform the data
links = cortag.stack().reset_index()
links.columns = ['var1', 'var2','value']

# threshold 
links_filtered = links.loc[(links['value'] > .6) & (links['var1'] != links['var2'])]
links_filtered

# create edges
G = nx.from_pandas_edgelist(links_filtered, 'var1', 'var2')

# draw network using Kamada & Kawai's algorithm 
plt.figure(3,figsize = (12,12))
nx.draw_kamada_kawai(G, with_labels = True, node_color = 'red', node_size = 400, edge_color = 'black', linewidths = 1, font_size = 14)

اگر یال‌ها و گره‌ها زیادند، می‌توانید آستانه را تغییر دهید تا نتیجهٔ تمیزتری بگیرید. در غیر این صورت، می‌توانید گراف را با تابع .write_gexf() صادر کنید و در Gephi با آن کار کنید.

nx.write_gexf(G, 'graph.gexf')

نتیجه را می‌توانید در آغاز این یادداشت ببینید.

به‌روزرسانی: شبکهٔ وزن‌دار دایره‌ای

دنبال راه‌هایی بودم برای نمایش ماتریس‌های همبستگی به‌صورت شبکه‌های وزن‌دار، و این رویکرد جالب را یافتم که و من آن را اینجا برای مجموعه‌دادهٔ خودمان اقتباس می‌کنم.

# create graph weighted by correlation coefficients (unfiltered)
Gx = nx.from_pandas_edgelist(links, 'var1', 'var2', edge_attr=['value'])

# determine a threshold to remove some edges
threshold = 0.4

# list to store edges to remove
remove = []

# loop through edges in Gx and find correlations which are below the threshold
for var1, var2 in Gx.edges():
 corr = Gx[var1][var2]['value']
 #add to remove node list if abs(corr) < threshold
 if abs(corr) < threshold:
 remove.append((var1, var2))

# remove edges contained in the remove list
Gx.remove_edges_from(remove)

print(str(len(remove)) + ' edges removed')

پس از حذف چند یال، می‌توانیم رنگ و ضخامت آن‌ها را تعیین کنیم.

# determine the colors of edges
def assign_colour(correlation):
 if correlation <= 0.8:
 return '#ff872c' # orange
 else:
 return '#f11d28' # red


def assign_thickness(correlation, benchmark_thickness=3, scaling_factor=3):
 return benchmark_thickness * abs(correlation)**scaling_factor


def assign_node_size(degree, scaling_factor=50):
 return degree * scaling_factor

به گره‌ها هم اندازه‌ای متناسب با شمار پیوندهایشان می‌دهیم.

# assign node size depending on number of connections (degree)
node_size = []
for key, value in dict(Gx.degree).items():
 node_size.append(assign_node_size(value))

نتیجه گرافی وزن‌دار است که گره‌های بیشتر و یال‌های به‌مراتب بیشتری را می‌پذیرد و در عین حال خوانا و پرمایه می‌ماند.

مکاتبات محرمانهٔ فیلیپو کاوریانا، 1568—1589.

Fri, 27 Dec 2019 00:00:00 +0000

نامه‌های محرمانهٔ فیلیپو کاوریانا (Filippo Cavriana) شهادتی بی‌همتا بر جنگ‌های مذهبی فرانسه‌اند و بیش از 20 سال دسیسه‌ها، نبردها، مذاکره‌ها و توطئه‌هایی را دنبال می‌کنند که آهنگ زندگی در دربار فرانسه و فراتر از آن را تعیین می‌کرد.

این نامه‌ها، که در نگهداری می‌شوند، بیشترشان در صدها بستهٔ فهرست‌نشده پراکنده‌اند؛ همان که در فلورانس filza می‌نامند. در سال‌های گذشته توانسته‌ام ده‌ها نامهٔ تازه بیابم، اما این گونه پژوهش آرشیوی روز به روز دشوارتر می‌شود. دوری جغرافیایی از فلورانس، افت کیفیت برخی خدمات عمومی در ایتالیا و همه‌گیری کووید-19، همه دست به دست هم داده‌اند تا این نوع پروژه‌های انتشاراتی به فرایندی طولانی و نامطمئن بدل شود.

با همهٔ این دشواری‌های فزاینده، انتشار اسناد دست‌اول باید همچنان بخشی از کار مورخ بماند. اما شکلی که این انتشارها به خود می‌گیرند احتمالاً باید تغییر کند. انتشار منابع دست‌اول نه‌فقط باید خود را با وضعی که در بالا وصف کردم سازگار کند، بلکه باید سرشت تدریجی این پژوهش را بهتر بازتاب دهد و در عین حال به دیگران امکان دهد آن را ادامه دهند.

از همین‌جا ایدهٔ ساختن گونهٔ تازه‌ای از پروژهٔ انتشار دیجیتال زاده شد که مقیاس‌پذیر، پایدار، قابل اعتماد، مستقل از سکو و بالقوه مشارکتی باشد.

این نسخه اکنون آنلاین است: . نامه‌هایی را که تا کنون از بایگانی دولتی فلورانس، مانتوا و BnF بازنویسی شده‌اند گرد می‌آورد و با پیدا شدن نامه‌های تازه رشد می‌کند. منطق طراحی آن را در توضیح داده‌ام.