Clement |

حصار، نه آتش

Sun, 06 Sep 2026 00:00:00 +0000

در انباری در شمال لاس‌وگاس، Amazon ماشینی به کار انداخته که عطف کتاب‌های دست‌دوم را می‌بُرد. صفحه‌های جداشده از اسکنر می‌گذرند و کاغذ سپس به خمیر کردن می‌رود. این کار را با کتاب‌سوزان مدرن قیاس کرد و در این راه از هیچ کلیشه‌ای دریغ نورزید: اشاره به ساوونارولا، عکس‌های آرشیوی از کتاب‌هایی به‌ظاهر نایاب و، البته، آتش برلین. روزنامه‌های جدی‌تر، چنان‌که انتظار می‌رفت، خونسردتر بودند اما همان مقایسه را در هوا معلق گذاشتند. این مقاله‌ها با همهٔ برآشفتگی‌شان، گذاشتند صنعت هوش مصنوعی به‌طرزی شگفت‌انگیز قسر در برود. کنترل دانشی که اسکن می‌شود دست کیست؟ این پرسش باید صبر کند تا نخست تکلیف یاوهٔ کتاب‌سوزان را روشن کنیم.

اسکنر آتش‌سوزی نیست

نابود کردن یک نسخهٔ کاغذی، به‌خودی‌خود، اسکن مخرب را همتای مدرنِ آتش ساوونارولا یا کتاب‌سوزان نازی‌ها نمی‌کند. آن کارها معنایشان را از آنچه محکوم می‌شد و از چرایی محکومیتش می‌گرفتند. آن راهب بینوا، ساوونارولا، که پایش را به هر جنجال کتاب‌سوزی می‌کشند، از مردم می‌خواست بخشی از دارایی‌شان را همچون توبه‌ای علنی به آتش بیندازند. آتش نازی‌ها گونه‌ای دیگر از طرد را به صحنه می‌برد: سوزاندن علنی کتاب‌ها اعلام می‌کرد که نویسندگانشان در حیات فرهنگی آلمان جایی ندارند. در هر دو مورد، نابودی نمایشی بود. اسکن مخرب، که روشی رایج در دیجیتال‌سازی است، غرض دیگری دارد: نسخه قربانی می‌شود تا محتوایش بماند. کتاب از میان می‌رود؛ متن از ماده رها می‌شود. هر کس دست به دامن فارنهایت 451 می‌شود، خوب است به یاد آورد که آتش‌نشانان بردبری متن را برای بعد نگه نمی‌داشتند.

با گذاشتن «کتاب‌های نایاب» در تیتر خود بر دامنهٔ هراس افزود، و رسانه‌های دیگر هم به‌نوبهٔ خود این وصف را تکرار کردند. حال آنکه کتاب‌فروشی که در همان گزارش از او نقل شده گفته بود این سفارش‌های عمده ؛ یعنی عمدتاً چاپ‌هایی که از حدود 1970، زمان رواج شابک، به بعد منتشر شده‌اند. این‌ها جنس بساط دست‌دوم‌فروش‌ها و مغازه‌های خیریه‌اند که غالباً یک خانه‌تکانی با زباله‌دانی فاصله دارند. پیش از اعلام فاجعهٔ فرهنگی، بد نیست فهرست کتابخانه را نگاهی بیندازیم. این‌ها دقیقاً همان انتشاراتی‌اند که کتابخانه‌های واسپاری قانونی برای نگهداری‌شان به وجود آمده‌اند. البته شابک داشتن، بقای نسخهٔ واسپاری را تضمین نمی‌کند؛ اما کمیابی در بازار دست‌دوم هم ناپدید شدن یک متن را ثابت نمی‌کند.

خمیر کردن، نسخهٔ فیزیکی را با هر یادگاری‌نوشته و حاشیه‌ای که دارد از میان می‌برد. نسخه‌هایی که حاشیه‌نویسی یا پیشینهٔ مالکیت مهمی از نظر تاریخی دارند سزاوارند شناسایی و حفظ شوند، ترجیحاً پیش از آنکه به بازار دست‌دوم برسند. می‌توان همچنان نگران کم شدن نسخه‌های کاغذی عنوان‌های از چاپ خارج‌شده بود. اما در آن صورت باید پرسید چرا صاحبان حقوقشان نه آن‌ها را تجدید چاپ می‌کنند و نه اجازهٔ دسترسی به نسخه‌های دیجیتال موجود را می‌دهند. پژوهشگران این کلافگی را خوب می‌شناسند: Google Books عبارت مورد نیازتان را پیدا می‌کند و بعد تکه‌ای کوچک از کتابی را نشانتان می‌دهد که نه می‌توانید نو بخرید و نه آنلاین بخوانید. اینجا خسارت‌هایی هست که ارزش بحث دارد. ولی هیچ‌یک اسکنر را به آتش نازی‌ها بدل نمی‌کند.

از این گذشته، صنعت نشر از دیرباز کتاب‌های فروش‌نرفته را به‌طور روزمره خمیر می‌کند. تنها در فرانسه، برآورد می‌شود که ، یعنی نزدیک به 60 درصد از تناژی که فروش‌نرفته به پخش‌کننده‌ها برگشته است. نام این کار «مدیریت موجودی» است. نسخه‌های مازاد و عنوان‌های کمیاب دست‌دوم پرسش‌های متفاوتی دربارهٔ دسترسی پیش می‌کشند، اما نابود کردن کاغذ به‌خودی‌خود نه سانسور است و نه استبداد.

کتاب بیشتر، هوش مصنوعی بهتر؟

اینکه شرکت‌های هوش مصنوعی کتاب می‌خرند و اسکن می‌کنند در واقع خبر خوبی است. فناوری‌ای که پیوسته به درک سطحی‌اش از فرهنگ بشری متهم می‌شود دارد از آن فرهنگ بیشتر برمی‌گیرد، و انتظار می‌رفت اهل دانشگاه از این تلاش استقبال کنند.

وب جانشین ناقصی برای گنجینهٔ انباشتهٔ یک زبان است. بخش بزرگی از حیات مکتوب هر زبان، از رمان و خاطرات گرفته تا ترانه‌های عامه‌پسند و گفت‌وگوهای پیاده‌شده، هرگز از چاپ به وب راه نیافته است. بسیاری از این کتاب‌ها از ناشرانشان بیشتر عمر کرده‌اند. راه دادن آن‌ها به داده‌های آموزشی آنجا بیشترین اهمیت را دارد که چیز دیگری در دسترس نیست. چند کتاب بیشتر به انگلیسی شاید بهبودی حاشیه‌ای بیاورد. در زبانی که بازنمایی ضعیفی دارد، همان کتاب‌ها می‌توانند مرز میان سامانه‌ای کارآمد و سامانه‌ای بی‌فایده باشند. اینکه این ابزارها جایی در خدمات عمومی یا زندگی روزمرهٔ ما داشته باشند یا نه، پرسشی است برای بحث عمومی. اما هر جا که تصمیم بگیریم از آن‌ها استفاده کنیم، باید بتوانیم به زبان خودمان استفاده کنیم.

سفارش‌هایی که از اسپانیا و هلند گزارش شده، بُعد زبانی ماجرا را ملموس می‌کند. در ماه مه، از کتاب‌فروشی در بادالونا نوشت که سفارش‌های پیاپی دریافت می‌کرد، عمدتاً برای آثار غیرداستانی کاتالان: کتاب‌های تاریخ، راهنماهای فنی و مجموعه‌مقالات کنفرانس‌های قدیمی. تا ماه اوت، گزارش‌های هلندی از درخواستی به De Slegte برای خبر می‌دادند. زبان کتاب‌ها دست‌کم به همان اندازهٔ سرنوشت جلدشان سزاوار توجه است. شاید این از Daily Mail انتظار زیادی باشد. ولی روزنامه‌های سنجیده‌تر هم دربارهٔ زبان‌های دخیل چیز چندانی نگفته‌اند.

قراردادهای مجوز با ناشران بزرگ هم می‌توانند مواد ارزشمندی فراهم کنند، اما فهرست‌های دیجیتال آن‌ها تنها کسری از آنچه به چاپ رسیده را در بر می‌گیرد. کتاب‌هایی که هرگز دیجیتال نشده‌اند، یا حقوقشان دیگر در دست ناشر نیست، بیرون از این عرضه می‌مانند. حتی سخاوتمندانه‌ترین قرارداد مجوز هم نمی‌تواند جای تاریخ نشر را بگیرد، چه رسد به تاریخ یک فرهنگ. خرید نسخه‌های دست‌دوم راهی است برای گذشتن از این مرزهای تجاری.

«دزدی» استدلال نیست

«دزدی» نامیدنش هم کمکی نمی‌کند. در ژوئن 2025، دو دادگاه ناحیه‌ای ایالات متحده حکم دادند که استفاده از کتاب‌ها برای آموزش مدل‌های زبانی، در پرونده‌های مطروحه، استفادهٔ منصفانه بوده است. در پروندهٔ ، دادگاه بر خصلت دگرگون‌ساز آموزش تأکید کرد: کتاب‌ها برای ساختن سامانه‌ای به کار رفته بودند که می‌تواند بیان تازه‌ای تولید کند. مدل‌ها ممکن است عباراتی را از بر کنند، اما استفاده از یک کتاب در آموزش، تمام متن آن را در دسترسِ بازیابی به فرمان قرار نمی‌دهد. از سوی دیگر، نبودِ بازتولید عین‌به‌عین هم همهٔ اعتراض‌ها را پاسخ نمی‌دهد. در پروندهٔ ، قاضی هشدار داد که آثار تولیدشده با هوش مصنوعی می‌توانند بازار را اشباع کنند و شواهدی از چنین زیانی می‌تواند دفاع استفادهٔ منصفانه را از پا درآورد. این شاکیان اما شاهد معناداری از چنین زیانی به آثار خودشان ارائه نکرده بودند. هیچ‌یک از دو حکم به شرکت‌های هوش مصنوعی اجازهٔ بی‌قید و شرط نمی‌دهد و نزاع اخلاقی را نیز فیصله نمی‌دهد. آنچه از ما می‌خواهند تمایز گذاشتن است میان اینکه کتاب‌ها چگونه به دست می‌آیند، نسخه‌ها چگونه نگهداری می‌شوند و آموزش با آن‌ها چه می‌کند. «دزدی» نامیدن همهٔ این‌ها، آن پرسش‌ها را بی‌پاسخ می‌گذارد.

در ضمن، حکم پروندهٔ Anthropic دلیلی هم برای گیوتین به دست می‌دهد. دادگاه دیجیتال‌سازی نسخه‌های خریداری‌شده را تأیید کرد و انباشتن کتاب‌های دزدی در کتابخانه‌ای دائمی را مردود شمرد؛ همان چیزی که شرکت بعدها بر سر آن . دیجیتال‌سازی تا حدی از آن رو پذیرفته شد که هر نسخهٔ چاپی در جریان تبدیل نابود شده بود: نسخهٔ دیجیتال جای آن را گرفته و بیرون از شرکت به اشتراک گذاشته نشده بود. همان نابودی‌ای که این‌همه خاطر برخی را می‌آزارد، به Anthropic کمک کرد ثابت کند برنامهٔ دیجیتال‌سازی‌اش استفادهٔ منصفانه بوده است. خریدن، اسکن کردن و دور انداختن، در آن پرونده مسیری قانونی بود. گیوتین در اینجا ابزار انطباق با قانون است. خرید نسخه‌ها می‌تواند مشکل تملک را حل کند؛ اما به‌خودی‌خود به هیچ‌کس اجازه نمی‌دهد پیکرهٔ حاصل را به اشتراک بگذارد.

دلایل خوبی هست برای اینکه بخواهیم هوش مصنوعی از زبان‌های بیشتر، از دانش بیشتر و از بخش بزرگ‌تری از جهانِ پیش از اینترنت بهره بگیرد. این دلایل از این رو که شرکتی که دوستش نداریم فرصتی تجاری در این کار یافته، دود نمی‌شوند.

خشم عاریتی

پس به Daily Mail برگردیم. مقاله‌اش بخشی است از ، کارزاری از سوی مالکان روزنامه‌ها و ناشران که برای هوش مصنوعی می‌خواهند. دو جایگزینی راحت، کار را پیش می‌برد: غول‌های فناوری به جای هوش مصنوعی می‌نشینند و صاحبان حقوق به جای خلاقیت بریتانیایی. از خوانندگان دعوت می‌شود از فرهنگ دفاع کنند، در حالی که ناشران بر سر شرایط فروش آن چانه می‌زنند. پژوهشگرانی که این خبر را دست‌به‌دست می‌کنند، خوب است بپرسند خشمشان در خدمت کدام آرمان است.

غول‌های فناوری و بر سر اجاره‌بها دعوا دارند، اما هیچ‌کدام با حصار مخالف نیستند. داستان نویسندهٔ تنهایی که غولی فناوری غارتش کرده، آنچه را که قراردادهای گران‌قیمت مجوز به هر دو اردوی شرکتی می‌بخشد پنهان می‌کند: ناشران پول می‌گیرند و غول‌های فناوری بازاری به دست می‌آورند که رقبای کوچک‌ترشان از عهدهٔ رقابت در آن برنمی‌آیند. پیتر تیل ترجیح سیلیکون‌ولی را بی‌پرده‌تر گفته است: .

مجوزدهی لزوماً به چنین نتیجه‌ای نمی‌انجامد. دسترسی ارزان و غیرانحصاری می‌تواند به توسعه‌دهندگان کوچک‌تر کمک کند. اما سامانه‌ای که هر تازه‌وارد را وادار می‌کند با صاحبان حقوق بزرگ قراردادهای پرهزینه ببندد، قدرت خرید را به شرط ورود بدل می‌کند. پرداختی که به‌عنوان امتیازی به صنایع فرهنگی عرضه می‌شود، در نهایت بیمه‌ای می‌خرد در برابر رقیبان آینده.

هوش مصنوعی مال غول‌های فناوری نیست

مسئلهٔ عمیق‌تری هم در کار است. بخش بزرگی از نقد هوش مصنوعی، بزرگ‌ترین عرضه‌کنندگان تجاری‌اش را با تمام این حوزه یکی می‌گیرد. محصولات تیترها را پر می‌کنند؛ پژوهش و توسعه‌ای که بیرون از آن شرکت‌ها جریان دارد از نظر پنهان می‌ماند. غول‌های فناوری سوءتفاهمی مفیدتر از این نمی‌توانستند بخواهند. جاه‌طلبی‌شان برای تصاحب این حوزه، پیش‌فرضِ همان نقدی می‌شود که علیه‌شان می‌نویسند. انحصار هنوز قطعی نشده است. تمام‌شده انگاشتنش، لطف بزرگی است در حق این شرکت‌ها.

هوش مصنوعی متن‌باز به مردم امکان می‌دهد سامانه‌هایی بسازند و سازگار کنند که تنوع بیشتری از زبان‌ها، فرهنگ‌ها و شکل‌های بیان را بازتاب می‌دهند. برای کشورهای اروپا، آفریقا و آمریکای لاتین، و نیز برای کرهٔ جنوبی، ژاپن و هند، این پایه‌ای عملی برای حاکمیت فناورانه و فرهنگی است: توانایی تصمیم گرفتن دربارهٔ اینکه سامانه‌ها چگونه کار کنند، به کدام زبان‌ها خدمت کنند و کجا به کار روند. اینکه از هوش مصنوعی استفاده بشود یا نه و برای چه، باید انتخابی عمومی بماند، نه تصمیمی که وابستگی به یک عرضه‌کنندهٔ خارجی دیکته می‌کند.

اما آزادیِ تغییر دادن یک سامانه، بدون امکانات این کار، معنای چندانی ندارد. کار مستقل به تخصص، زیرساخت محاسباتی و دسترسی به مواد آموزشی نیاز دارد. و همین ما را به کتاب‌ها برمی‌گرداند. اگر هر گروه پژوهشی یا نهاد عمومی ناچار باشد خودش با ناشران قرارداد ببندد یا کتابخانهٔ خصوصی خودش را گرد آورد، استقلال همچنان امتیاز کسانی می‌ماند که از عهدهٔ هزینه‌اش برمی‌آیند.

کتاب‌ها همین‌جا هستند

کتابخانه‌ها و آرشیوها نسل‌ها صرف گردآوری همان موادی کرده‌اند که این سامانه‌ها به آن نیاز دارند. مجموعه‌هایشان از آن رو وجود دارد که دسترسی به دانش باید از منفعت تجاریِ فروش آن بیشتر عمر کند. بخش زیادی هم پیش‌تر اسکن شده است: نزدیک به نوزده میلیون جلد دیجیتال‌شده از کتابخانه‌های پژوهشی را در اختیار دارد که بسیاری‌شان هنوز مشمول حق نشرند. کتابخانه کتاب را اسکن می‌کند و نگهش می‌دارد. آنجا کسی به گیوتین نیازی ندارد. HathiTrust ، اما از هم خبر داده است؛ پروژه‌ای برای فراهم کردن دسترسی به پیکره برای پژوهش و توسعهٔ غیرتجاری در هوش مصنوعی. دسترسی با این شرایط باز هم برخی توسعه‌دهندگان مستقل را بیرون در نگه می‌دارد.

مالکیت کتاب‌ها اما به کتابخانه حق نمی‌دهد محتوای مشمول حق نشر آن‌ها را به‌صورت پیکرهٔ آموزشی توزیع کند. به نهادهای پژوهشی و کتابخانه‌ها اجازه می‌دهد آثارِ قانوناً در دسترس را برای پژوهش علمی کاوش کنند، و کاوش گسترده‌تر را آنجا مجاز می‌داند که صاحبان حقوق حق خود را محفوظ نداشته‌اند. : استثنای کاوش در آن به پژوهش غیرتجاری محدود است و انتقال نسخه‌ها را مقید می‌کند. هیچ‌یک از این دو چارچوب به کتابخانه‌ها حقی عام نمی‌دهد که موجودی مشمول حق نشرشان را برای ساخت‌وساز دیگران به اشتراک بگذارند.

می‌توان در این هم بازنگری کرد که صاحبان حقوق تا چه مدت باید بر کاربردهای محاسباتی کتاب‌ها مسلط بمانند. پتنت‌های دارویی یک نقطهٔ مقایسه‌اند: دورهٔ معمول بیست‌سالهٔ آن‌ها بسیار کوتاه‌تر از حمایت حق نشر است که تمام عمر نویسنده و هفتاد سال پس از آن را در بر می‌گیرد. آیا نمی‌شود کتاب‌ها، مثلاً بیست سال پس از نخستین انتشار، بدون حق مجوز برای متن‌کاوی و داده‌کاوی در دسترس قرار گیرند، در حالی که حقوق بازنشر و فروش همچنان محفوظ بماند؟ پاسداری از حق نویسنده برای فروش کتابش لزوماً به معنای کنترل هر شیوهٔ استفاده از محتوای آن برای نسل‌ها نیست.

دو سال پیش در استدلال کردم که داده‌های میراث فرهنگی را باید کالایی عمومی دانست. دولت‌ها باید به کتابخانه‌ها و آرشیوها بودجه بدهند تا مجموعه‌هایشان را دیجیتال کنند، بازنویسی کنند و مستند سازند، و به آن‌ها اختیار قانونی بدهند که پیکره‌های حاصل را در اختیار دیگران بگذارند تا بر آن بنا کنند. غول‌های فناوری می‌توانند از طریق عوارضی اختصاصی بخشی از هزینه را بپردازند.

بودجهٔ عمومی باید با سیاست‌های اعلام‌شدهٔ گردآوری و قواعد دسترسی همراه باشد که کار دانشگاهی و تجاری را بدون قرارداد انحصاری یا دسترسی ویژه برای اهداکنندگان پوشش دهد. دسترسی برای آموزش لزوماً به معنای بازتوزیع بی‌قید کتاب‌های مشمول حق نشر نیست. نویسندگان باید در طراحی این طرح عمومی سهیم باشند، از جمله در اینکه چگونه به رضایت، پاداش و رقابت با آثارشان می‌پردازد. دسترسی رایگان برای کاربران با پاداش نویسندگان از بودجهٔ عمومی منافاتی ندارد. ، که هر بار کتابی به امانت می‌رود از محل بودجهٔ عمومی به نویسنده می‌پردازد، یک پیشینه است. آتش هرگز اصل ماجرا نبود. حصار است.

سردبیران گرامی: اگر صدای مرا می‌خواهید، زبانم را به من پس بدهید

Thu, 27 Aug 2026 00:00:00 +0000

روزی نیست که مجله‌ای سیاست تازه‌اش را دربارهٔ هوش مصنوعی جار نزند. این بار نوبت Progress in Human Geography است؛ سردبیرانش منتشر کرده‌اند و هشدار داده‌اند که هر کس هوش مصنوعی را جانشین خواندن و اندیشیدن و نوشتنِ خود کند، مرتکب «نقض اخلاق دانشگاهی، همانند سرقت ادبی» شده است. مقاله‌هایی که خاطی شناخته شوند «ممکن است پس گرفته شوند»؛ در بهترین حالت تصحیح می‌شوند و اطلاعیه‌ای در مجله چاپ می‌شود. سردبیران می‌افزایند که نویسندگان باید «به‌دقت بیندیشند که آیا می‌خواهند نامشان با پس‌گرفتن مقاله و اطلاعیه‌های تصحیح گره بخورد یا نه».

این جمله را باید لحظه‌ای نگه داشت. سلب اعتبار مقاله در رأس مجازات‌های انتشارات دانشگاهی می‌نشیند؛ کیفری که معمولاً برای جعل داده و تقلب کنار گذاشته‌اند. اینجا اما به تخلفی چسبانده شده که همان سرمقاله از تعریفش ناتوان است. سردبیران خود اذعان می‌کنند که «مناطق خاکستری واقعی» وجود دارد و «هیچ خط روشنی قلمرو ‹بی‌مسئولیتی› را جدا نمی‌کند». اجرای سیاست بر «داوری‌های موردی» تکیه خواهد کرد «که شاید برخی نویسندگان را برنجاند؛ نویسندگانی که ادعا خواهند کرد استفادهٔ ناروایی از هوش مصنوعی نکرده‌اند»: به عبارت دیگر، اظهار خودِ نویسنده هم می‌تواند نادیده گرفته شود. سپس توصیه می‌کنند که «در قلمرو امنِ ‹مسئولیت›» بمانیم؛ و آدم فقط آنجا به احتیاط سفارش می‌کند که خطری در کار باشد. کیفر دادن مردم به جرم عبور از خطی که به اعتراف خودتان نمی‌توانید بکشید، تنها وقتی معنا دارد که هدف، حکم راندن با ترس باشد. این نکته را به خاطر بسپارید؛ به آن بازخواهیم گشت.

بهانهٔ صدا

استفادهٔ مسئولانه چه شکلی دارد؟ به نویسندگان می‌گویند: «باید بسیار مراقب بود… تا صدای خود را حفظ کنند». سوءاستفاده یعنی روی آوردن به هوش مصنوعی «برای نوشتن به زبانی که نویسندگان خود هرگز در حالت عادی به کار نمی‌برند». برای یک انگلیسی‌زبانِ مادرزاد این حرف معقول است: وانمود نکن آنچه نیستی. اما برای بیگانه‌ای که ناچار است به زبانی جز زبان خود بنویسد، این فرمان خودش را نقض می‌کند. صدایی که این سیاست از آن پاسداری می‌کند، درست همان چیزی است که قواعد خودِ مجله از ما دریغ می‌دارد.

مرا نمونهٔ آزمون بگیرید. انگلیسی زبان چهارم من است؛ دقیقاً از آن زبان‌هایی که هرگز «در حالت عادی» به کار نمی‌برم. دانشگاه‌های انگلیسی‌زبان مرا تربیت کردند تا آن را کوتاه، نشانه‌گذاری‌شده و تقریباً ماشینی بنویسم: جملهٔ موضوعی در آغاز بند، قیدهای احتیاط در جاهای مقرر، حروف ربط از فهرست مصوب. تربیت کارگر افتاد: در انگلیسیِ من هرگز صدایی نبوده که از آن پاسداری شود؛ صدا نخستین چیزی بود که باید کنار می‌رفت. بنا بر تعریف خودِ سردبیران، هر چه من به انگلیسی نوشته‌ام استفادهٔ ناروا بوده است، با ماشین یا بی ماشین.

میان دو سنگ آسیا

سردبیران می‌گویند به فکر ما هم بوده‌اند: سیاست می‌پذیرد که ناانگلیسی‌زبانان از اینکه هوش مصنوعی انگلیسی‌شان را وارسی کند سود می‌برند، حتی از «خدمات ترجمه، نگارش و ویرایش» آن. با این حال، سهم هوش مصنوعی در نوشتن «باید حداکثر به کمک در ویرایش و نمونه‌خوانی محدود بماند» و نباید به «قطعه‌های بزرگی از متن نوشته‌شده به دست هوش مصنوعی» برسد. مقاله‌ای که ماشینی ترجمه شده، از نخستین واژه تا واپسین واژه نوشتهٔ هوش مصنوعی است؛ چیزی جز همین قطعه‌ها نیست. پس آن امتیاز فقط در صورتی پابرجاست که ترجمه کردن، نوشتن به شمار نیاید. این خط از کجا می‌گذرد؟ پیش‌تر خودشان گفته‌اند: «هیچ خط روشنی» در کار نیست.

بدتر از این هم هست، چون این سوءظن تنها ابطال‌ناپذیر نیست؛ از همان آغاز یک‌سویه است. در سال 2023 گروهی از دانشگاه استنفورد هفت آشکارساز پرکاربرد هوش مصنوعی را روی مقاله‌هایی آزمودند که انسان‌ها نوشته بودند: آشکارسازها به‌طور میانگین 61% از انشاهای TOEFL ناانگلیسی‌زبانان را تولید ماشینی تشخیص دادند، حال آنکه انشاهای انگلیسی‌زبانان مادرزاد را تقریباً بی‌خطا طبقه‌بندی کردند؛ یکی از آشکارسازها 97.8% از مجموعهٔ TOEFL را برچسب زد ( ). علت آموزنده است. آشکارسازها پیش‌بینی‌پذیری را می‌سنجند، و انگلیسیِ زبان دوم، که به سمت میانگین تربیت شده، بنا به ساختش پیش‌بینی‌پذیر است: محتمل‌ترین واژه در محتمل‌ترین ترتیب. همان پژوهش این نشانه را در نوشته‌های علمی واقعی هم یافت: تنوع زبانی کمتر در مقاله‌های کنفرانسی که نویسندهٔ نخستشان انگلیسی‌زبان مادرزاد نیست. نشانه‌های سبکی‌ای که «هوش مصنوعی» خوانده می‌شوند، همان نشانه‌های انگلیسیِ مسلطِ زبان‌دومی‌هاست؛ و داوری موردی یک انسان هم همان نشانه‌هایی را می‌خواند که ماشین می‌خواند. حلقه بسته می‌شود: انگلیسی خودم را بنویسم، شبیه ماشین می‌شوم؛ ماشین را به کار بگیرم، قاعدهٔ آنان را شکسته‌ام.

مالیات زبان

اگر پای تهدید در میان نبود، این تناقض بی‌آزار می‌ماند. اما تهدیدها پرده از مشکلی عمیق‌تر و کهنه‌تر برمی‌دارند که سیاست هرگز نامش را نمی‌برد: تک‌زبانگی. «گسترده‌ترین پوشش بین‌المللی ممکن» را می‌خواهد و در همان صفحه می‌نویسد: «زبان مجله انگلیسی است.»

هزینهٔ این ترتیب فرضی نیست. آمانو و همکارانش با نظرسنجی از 908 دانشمند محیط‌زیست دریافتند که ناانگلیسی‌زبانان برای نوشتن یک مقاله تا 51% زمان بیشتری صرف می‌کنند، مقاله‌شان 2.5 برابر بیشتر رد می‌شود و 12.5 برابر بیشتر از آنان بازنگری خواسته می‌شود، آن هم صرفاً به دلایل زبانی ( ). این مالیات پیش از رسیدن هر سیاست هوش مصنوعی گرفته می‌شود؛ فرم اظهارنامه و تهدیدهایش، ممیزی‌ای است که روی آن سوار شده است.

Fin d’empire

تک‌زبانگی همان اصل موضوعه‌ای است که هیچ‌کس درباره‌اش بحث نمی‌کند. میراثی امپراتوری است که با گذر زمان توجیهی عملی هم پیدا کرد: ترجمه کند و گران بود، و هیچ هیئت تحریریه‌ای نمی‌توانست چیزی را که نمی‌خواند ارزیابی کند. ولی هیچ‌یک از این‌ها در برابر پیشرفت ترجمهٔ ماشینی دوام نمی‌آورد. پیشرفته‌ترین ترجمهٔ ماشینی می‌تواند لایه‌ای قابل اعتماد میان نویسندگان و سردبیران باشد.

راه برون‌رفت آرمانی، انسانی است: پژوهشگران باید بیش از یک زبان بخوانند. دانشگاه‌های انگلیسی‌زبان اما ترجیح می‌دهند دانشکده‌های زبان‌های زنده را تعطیل کنند. توجه کنید که این تعطیلی‌ها پدیده‌ای انگلیسی–آمریکایی است: پژوهشگران جاهای دیگر هرگز تجمل تک‌زبانگی را نداشته‌اند. و به زمان‌بندی هم توجه کنید. تعطیل کردن یک دانشکدهٔ زبان یعنی شرط بستن بر اینکه انگلیسی برای همیشه پیروز شده و از این پس هیچ چیز خواندنی‌ای به زبان دیگری نوشته نخواهد شد. این شرط درست در بدترین لحظه بسته می‌شود، و از دو جهت. نخست از آن رو که ترجمهٔ ماشینی، برای نخستین بار، بی‌نیازی از زبان میانجی را ممکن می‌کند؛ دوم از آن رو که نظمی که انگلیسی را زبان پیش‌فرض کرده بود در حال عقب‌نشینی است: جهان انگلیسی‌زبان به درون خود می‌خزد، جهانی‌شدن فرو می‌نشیند، تجارت آزاد در زادگاه خودش زیر سؤال رفته و جهانی چندقطبی شکل می‌گیرد که در آن زبان‌های خواندنی چند برابر خواهند شد. دانشگاه‌ها پژوهشگرانی تربیت می‌کنند که فقط انگلیسی می‌خوانند، برای جهانی که در آن انگلیسی کافی نخواهد بود. نخستین وارثان این خسران، هیئت‌های تحریریه خواهند بود.

آزمونی برای سردبیران

وقتی هیئت تحریریه‌ای می‌نالد که نمی‌تواند صدای خودِ نویسندگانش را بشنود، شاید بخشی از مشکل در خودِ هیئت باشد.

این اتهام سنگینی است و آزمونی به همان سنگینی با خود دارد. آیا Progress in Human Geography مقاله‌ای را که به فرانسه، ایتالیایی یا ژاپنی نوشته شده و نسخه‌ای انگلیسیِ ماشینی‌ترجمه‌شده همراه دارد، به داوری می‌فرستد؟ راهنمای خودِ مجله خدمات «ترجمه»ای را که این کار را ممکن می‌کند به رسمیت شناخته است. پاسخ مثبت، مسئله را تمام می‌کند. پاسخ منفی به ما می‌گوید این سیاست در واقع از چه چیزی پاسداری می‌کند.

به هر روی، انتخاب با سردبیران است. اگر صدا، چنان‌که مدعی‌اند، اهمیت دارد، مجله باید مقاله‌ها را به زبانی بپذیرد که نویسندگان به آن می‌اندیشند. اگر اهمیت ندارد، فرم اظهارنامه باید برود، و تهدیدها هم با آن.

tei-mcp v0.3: رمزگذاری TEI بدون بازنویسی متن مبدأ

Tue, 05 May 2026 00:00:00 +0000

وقتی ، هدف این بود که دستیارهای هوش مصنوعی از توهم در نشانه‌گذاری TEI باز بمانند. پایه‌گذاری بر شِما بخشی از مشکل را حل کرد: با دسترسی مستقیم و ابزارمحور به مشخصات P5، مدل دیگر ناچار نیست حدس بزند یک عنصر چه معنایی دارد یا کدام صفت‌ها را می‌پذیرد. خروجی از اعتبارسنجی می‌گذرد.

اما توهم در رمزگذاری TEI دو چهره دارد و شِما تنها یکی از آن‌ها را می‌گیرد. اعتبارسنجی در برابر مشخصات به شما می‌گوید که نشانه‌گذاری خوش‌ساخت است. دربارهٔ متنی که نشانه‌گذاری آن را در بر گرفته چیزی نمی‌گوید. و همان‌جا — در خودِ متن — است که توهم‌های زیان‌بارتر لانه می‌کنند. ترکیب بازه‌قفل (span-locked composition)، ویژگی شاخص نسخهٔ v0.3، دقیقاً برای پیشگیری از همین‌ها طراحی شده است.

فهرست مطالب

توهمی که شِما نمی‌تواند بگیرد

از مدلی بخواهید نامه‌ای فرانسوی از سدهٔ شانزدهم را رمزگذاری کند و اغلب سند TEI‌ای تحویل می‌گیرید که بی‌عیب می‌نماید. سرآیند پر شده، برچسب‌های <persName> درست نشسته‌اند، <dateline> خوش‌ساخت است. آن را از validate_document بگذرانید؛ قبول می‌شود.

حالا بدنه را با متن مبدأ مقایسه کنید.

mesme شده است même. یک ویرگول جابه‌جا شده. luy بی‌سروصدا به lui امروزی شده. جمله‌ای که در دست‌نویس دشوارخوان بود، به چیزی پاکیزه‌تر «تصحیح» شده. هیچ‌یک از این تغییرها خواسته نشده بود. هیچ‌یک علامت نخورده. سند از نظر شِما معتبر است و در سکوت غلط.

برای گردش کار آرشیوی — که در آن متن رمزگذاری‌شده به سند دائمی‌ای بدل می‌شود که خوانندگان بعدی، نمایه‌های جست‌وجو و ارجاع‌ها بر آن تکیه می‌کنند — این همان خطایی است که بیش از همه اهمیت دارد. یک برچسب بدساخت آزاردهنده است. املایی امروزی‌شده که پنج سال کسی متوجهش نشود، تحریف است.

ترکیب بازه‌قفل

نسخهٔ تازه (v0.3) سازوکاری برای پیشگیری از توهم دارد که یک‌راست همین خطا را نشانه رفته است. هدف طراحی این است که توهم در متن بدنه از حیث ساخت ناممکن شود، نه صرفاً نامحتمل.

ایده ساده است: مدل هرگز متن بدنه را تایپ نمی‌کند.

در عوض، گردش کار چنین است:

مدل get_source("letter_001") را فرا می‌خواند و متن سادهٔ مبدأ را به‌صورت رشته‌ای تغییرناپذیر دریافت می‌کند.
برای هر برچسبی که می‌خواهد به کار ببرد، tag_span("letter_001", start, end, element_path, attrs) را فرا می‌خواند — یعنی یک عنصر TEI را در بازه‌ای از نویسه‌ها روی متن مبدأ ثبت می‌کند.
وقتی کارش تمام شد، compose("letter_001") را فرا می‌خواند. سرور برچسب‌های ثبت‌شده را با متن سادهٔ اصلی درهم می‌بافد، TEI نهایی را می‌سازد و سپس بایت‌به‌بایت وارسی می‌کند که محتوای متنی تختِ سند ساخته‌شده با متن مبدأ برابر است.

اگر بایت‌ها یکی باشند، سند برمی‌گردد. اگر نباشند — اگر برچسب‌های مدل به هر دلیلی بدنه‌ای را ایجاب کنند که حتی یک نویسه با مبدأ تفاوت دارد — compose() به جای تحویل سند تحریف‌شده، خطا می‌دهد.

در این گردش کار هیچ مسیری وجود ندارد که مدل از آن سند TEI‌ای بسازد که متن بدنه‌اش با مبدأ فرق کند. این ناوردا مکانیکی است، نه رفتاری. لازم نیست به مدل اعتماد کنید که توهم نزند؛ کافی است به یک مقایسهٔ == میان دو رشتهٔ بایت اعتماد کنید.

این چه هست و چه نیست

ترکیب بازه‌قفل مکمل پایه‌گذاری بر شِماست، نه جانشین آن. ابزارهای پایه‌گذاری بر شِما (validate_document، lookup_element، valid_children و باقی شانزده ابزار اولیه) به مدل کمک می‌کنند TEI معتبر بسازد. ترکیب بازه‌قفل تضمین می‌کند که متن بدنه درون آن TEI به مبدأ وفادار است. یک گردش کار رمزگذاریِ قابل استقرار باید هر دو محور را برآورده کند، و حالا هر دو با یک سرور واحد پوشش داده می‌شوند.

نوشدارویی برای همه چیز هم نیست. compose() هنوز بررسی نمی‌کند که برچسب‌های ثبت‌شده بر پایهٔ یک سفارشی‌سازی ODD بارگذاری‌شده مجازند یا نه — این کار بعدی است. برچسب‌های ثبت‌شده در حافظهٔ فرایند می‌مانند و پس از راه‌اندازی مجدد از بین می‌روند. و فایل‌های مبدأ باید از هر جا که سرور اجرا می‌شود خواندنی باشند. همهٔ این‌ها چاره‌پذیرند؛ هیچ‌یک ناوردای اصلی را سست نمی‌کند.

چرا فراتر از TEI هم اهمیت دارد

این الگو تعمیم‌پذیر است. هر بار که از مدلی خواسته می‌شود قطعه‌ای متن را حاشیه‌نویسی، تبدیل یا بسته‌بندی کند — و هر بار که سلامت متن زیرین مهم‌تر از توانایی مدل در «بهتر کردن» آن باشد — همین شکل از راه حل کاربرد دارد. از مدل نخواهید متن را دوباره تایپ کند. از آن بخواهید دستورالعمل‌هایی روی متن تولید کند، و بگذارید یک ترکیب‌کنندهٔ قطعی آن‌ها را زیر ناوردای برابری اعمال کند.

برای نسخه‌های دیجیتال به‌طور خاص، این تغییر می‌دهد که مسئولانه چه چیزی را می‌توان به مدل سپرد. رمزگذاری ناگهان به کاری بدل می‌شود که می‌توان واگذارش کرد بی‌آنکه ناچار باشید هر خروجی را دستی با مبدأ مقایسه کنید. ماشین راه ملال‌آور را می‌رود؛ مصحح نشانه‌گذاری را بازبینی می‌کند، نه املا را.

دریافت به‌روزرسانی

اگر tei-mcp را از قبل نصب کرده‌اید:

uvx tei-mcp@latest

یا از نو:

pip install tei-mcp

برای استفاده از ترکیب بازه‌قفل، سرور را به پوشه‌ای از فایل‌های متن سادهٔ مبدأ نشانه بروید:

export TEI_MCP_SPAN_SOURCE_ROOT=/path/to/sources
uvx tei-mcp

نام هر فایل بدون پسوند، شناسهٔ سند آن می‌شود (‎letter_001.txt → letter_001‎).

کد منبع، مستندات کامل و یادداشت‌های طراحی ناوردا:

نسخهٔ دیجیتالی از گونه‌ای دیگر

Tue, 24 Mar 2026 00:00:00 +0000

بیشتر منابع دست‌اول هرگز منتشر نمی‌شوند. الگویی که برای چاره کردن این وضع به آن تکیه می‌کنیم، یعنی نسخه‌های دیجیتال متکی به گرنت، گران‌تر، متمرکزتر و شکننده‌تر از آن است که در مقیاس بزرگ کار کند. همین تازگی منتشر کردم و در آن توضیح دادم که چرا تصحیح انتقادی نامه‌های کاوریانا را به شیوه‌ای دیگر می‌سازم: اسناد دیجیتال‌شدهٔ منابع دست‌اول که به‌طور طبیعی رشد می‌کنند، با کمترین زیرساخت، نگهداری خودکار، گشوده به همکاری، و آن‌قدر ارزان که اصلاً به گرنتی نیاز نیست. این دفاعی است از گونه‌ای علوم انسانی دیجیتال که مستقل از پشتیبانی نهادی کار می‌کند.

tei-mcp: استاندارد TEI P5 برای عامل‌های هوش مصنوعی

Sun, 15 Mar 2026 00:00:00 +0000

اگر تا به حال با یک دستیار برنامه‌نویسی هوش مصنوعی TEI XML نوشته باشید، احتمالاً دیده‌اید که خراب می‌کند. عنصرها جایی ظاهر می‌شوند که نباید. صفت‌هایی از خود ساخته می‌شوند. قواعد تودرتویی نادیده گرفته می‌شوند. مدل تصوری تقریبی از شکل TEI دارد، اما هیچ شناخت قابل اعتمادی از مشخصات آن ندارد.

tei-mcp این مشکل را با دادن دسترسی مستقیم و ابزارمحور به راهنمای TEI P5 به عامل‌های هوش مصنوعی حل می‌کند.

فهرست مطالب

MCP چیست؟

(MCP) استانداردی باز است که به برنامه‌های هوش مصنوعی اجازه می‌دهد به منابع داده و ابزارهای بیرونی وصل شوند. آن را چیزی مانند درگاه USB برای هوش مصنوعی تصور کنید: یک پروتکل واحد که هر کلاینت سازگار — Claude، Cursor، Windsurf و دیگران — را به خدمات تخصصی وصل می‌کند.

یک سرور MCP ابزارهایی را در اختیار می‌گذارد که هوش مصنوعی می‌تواند در جریان گفت‌وگو فرا بخواند. مدل به جای تکیه بر داده‌های آموزشیِ به‌خاطرسپرده، می‌تواند از منبعی زنده و معتبر پرس‌وجو کند.

tei-mcp چه می‌کند

tei-mcp مشخصات ODD استاندارد TEI P5 را تجزیه می‌کند و 16 ابزار در اختیار می‌گذارد که رایج‌ترین پرسش‌های یک مصحح یا رمزگذار را پوشش می‌دهند:

این عنصر چیست؟ هر عنصر، کلاس، ماکرو یا پیمانه را با نام جست‌وجو کنید، بدون حساسیت به حروف بزرگ و کوچک و با پیشنهاد اصلاح غلط‌های تایپی.
چه صفت‌هایی می‌پذیرد؟ صفت‌ها را در سراسر سلسله‌مراتب کلاس‌ها تعیین کنید — نخست صفت‌های محلی، سپس صفت‌های به‌ارث‌رسیده به ترتیب.
چه چیزی می‌تواند درون آن قرار بگیرد؟ مدل‌های محتوا را به درخت‌های ساخت‌یافته بسط دهید، یا فهرستی تخت از فرزندان مجاز بگیرید.
آیا این عنصر می‌تواند اینجا بیاید؟ تودرتویی والد–فرزند را بررسی کنید، یا دسترس‌پذیری را در تمام سلسله‌مراتب عنصرها ردیابی کنید.
آیا سند من معتبر است؟ یک فایل TEI XML را در برابر مشخصات اعتبارسنجی کنید: مدل‌های محتوا، مقادیر صفت‌ها، فهرست‌های بستهٔ مقادیر، یکپارچگی ارجاع‌ها و هشدارهای منسوخ‌شدگی.
شِمای پروژهٔ من چه می‌شود؟ یک فایل سفارشی‌سازی ODD بارگذاری کنید تا همهٔ موارد بالا به زیرمجموعهٔ خاص TEI در پروژهٔ شما محدود شود.

چرا اهمیت دارد

رمزگذاری TEI مراجعهٔ مدام به راهنما را می‌طلبد. رمزگذاران باتجربه رایج‌ترین الگوها را از بر می‌کنند، اما حتی آنان هم برای عنصرهای کمتر آشنا یا مدل‌های محتوای پیچیده باید به مشخصات رجوع کنند. برای دستیارهای هوش مصنوعی، که چنین دانش درونی‌شده‌ای ندارند، مشکل بدتر است: نشانه‌گذاری‌ای می‌سازند که موجه می‌نماید اما نادرست است.

با tei-mcp، هوش مصنوعی ناچار به حدس زدن نیست. می‌تواند پیش از نوشتن حتی یک براکت زاویه‌دار، پاسخ را در مشخصات بیابد. نتیجه، نشانه‌گذاری‌ای است که با TEI P5 — یا با سفارشی‌سازی ODD پروژهٔ شما — سازگار است.

شروع کار

از PyPI نصب کنید:

pip install tei-mcp

سپس آن را به پیکربندی کلاینت MCP خود بیفزایید:

{
 "mcpServers": {
 "tei": {
 "command": "uvx",
 "args": ["tei-mcp"]
 }
 }
}

سرور در نخستین اجرا مشخصات TEI را دانلود می‌کند و با هر کلاینت سازگار با MCP کار می‌کند.

کد منبع و مستندات کامل:

جغرافیای ادراکی لِوانته

Sat, 29 Oct 2022 10:02:52 -0500

مقدمه

لوانته جایی گریزپاست. چون معمولاً در نسبت با سرزمینی دیگر — یا در تقابل با آن — تعریف می‌شود، معنایش کمتر ثابت مانده و بسته به زمان و مکانِ کاربرد، جغرافیاهای متفاوتی را به ذهن آورده است. اما اگر تعریفی عینی و دقیق از این اصطلاح به‌دشواری به دست می‌آید، هنوز می‌توان امید داشت که نقشه‌ای ذهنی از آن منطقه ترسیم کرد، بر پایهٔ همبستگی‌هایی که در پیکره‌ای معین از متن‌ها وجود دارد. به بیان دیگر، لوانته برای گروه خاصی از خوانندگان چه فضایی را تداعی می‌کرد؟
در این یادداشت نشانتان می‌دهم که چگونه می‌توان با داده‌های پروژهٔ آرشیو مدیچی مکان‌های مشخصی را که این جای‌نام با آن‌ها همراه می‌شد به تصویر کشید.

پایگاه MIA

پایگاه MIA بستری مشارکتی است برای پژوهشگرانی که می‌خواهند عکس‌های خود از اسناد آرشیوی را بارگذاری و به اشتراک بگذارند. در سال گذشته، و زیر چتر ، گروه ما هزاران سند از بخش avvisi در فوند Mediceo del Principato در فلورانس را عکس‌برداری، بازنویسی، خلاصه و دسته‌بندی کرده است. پایگاه ما در اصل برای تحلیل آماری ساخته نشده، اما فراداده‌هایی که در دسترس گذاشته‌ایم را همچنان می‌توان دانلود کرد و به‌عنوان مجموعه‌داده به کار برد.

مجموعهٔ داده

در این مورد، مجموعه‌داده‌ای که ساختم همهٔ اخبار لوانته از 1543 تا 1566 را در بر می‌گیرد؛ یعنی از نخستین avviso ثبت‌شده در آرشیو تا سال مرگ سلطان . این هم نمونه‌ای از داده‌هایی که از سرور استخراج کردم. داده‌ها سه ستون دارند: شمارهٔ یکتای سند، یک جای‌نام و یک تاریخ.

57386 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3
57386 Modon / Messinias, Nomos / Peloponnisos / Ellas 1565-1-3
57386 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3
57386 Evvoia / Evvoias, Nomos / Sterea Ellas-Evvoia / Ellas 1565-1-3
57386 Venetian Republic / Italia / Europe / World 1565-1-3
57386 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3
57386 Black Sea / Asia / World / Top of the TGN hierarchy 1565-1-3
57389 Otranto / Lecce / Puglia / Italia 1565-1-3
57389 Nisoi Aiyaiou / Ellas / Europe / World 1565-1-3
57389 Malta / Europe / World / Top of the TGN hierarchy 1565-1-3
57389 Buda / Budapest / Budapest / Magyarorszag 1565-1-3
57389 Al-Iskandariyah / Muhafazat al Iskandariyah / Egypt / Africa 1565-1-3
57389 Kipros / Asia / World / Top of the TGN hierarchy 1565-1-3
57389 Rodhos / Rodos, Nisos / Sporadhes / Nisoi Aiyaiou 1565-1-3
57389 Arsenale / Istanbul / Istanbul / Marmara 1565-1-3
57389 Çorlu / Thraki / Ellas / Europe 1565-1-3

پاک‌سازی داده‌ها

برای مصورسازی این داده‌ها باید آن‌ها را به‌صورت مجموعه‌داده‌ای csv (مقادیر جداشده با ویرگول) خوانا کنیم. همچنین باید اطلاعات جغرافیایی موجود در آن را به قالبی «ماشین‌پسندتر» برگردانیم: مختصات GPS. چون مجموعه‌داده صدها مدخل دارد، بهتر است این کار را خودکار کنیم. این کار را می‌توان نسبتاً سریع و با دقت خوبی با مدل‌های زبانی پیش‌آموخته‌ای مانند ، یا ، و چند نمونهٔ دیگر، انجام داد. البته این عملیات باید زیر نظارت دقیق باشد، چون مدل‌های زبانی پیش‌آموخته اندکی به توهم گرایش دارند.

documentId,latitude,longitude,documentDate
57386,35.899167,14.514167,1565-1-3
57386,37.05,22.116667,1565-1-3
57386,31.200028,29.918719,1565-1-3
57386,38.366667,23.666667,1565-1-3
57386,45.438333,12.331333,1565-1-3
57386,41.018611,28.984444,1565-1-3
57386,42.7,18.8,1565-1-3
57389,40.216667,18.166667,1565-1-3
57389,37.966667,23.716667,1565-1-3
57389,35.899167,14.514167,1565-1-3
57389,47.4925,19.051389,1565-1-3
57389,31.200028,29.918719,1565-1-3
57389,34.916667,33.616667,1565-1-3
57389,36.405419,28.227778,1565-1-3
57389,41.018611,28.984444,1565-1-3
57389,41.133333,27.416667,1565-1-3

نقشهٔ چگالی.

نقشهٔ چگالی گونه‌ای مصورسازی است که بسامد یادکرد هر مکان را در مجموعه‌داده‌ای معین برجسته می‌کند. این نقشه به‌ویژه برای فهم نه‌فقط گسترهٔ جغرافیایی داده‌ها، بلکه کانون‌های آن‌ها سودمند است. کدام مکان‌های نقشه بیشتر یاد می‌شوند؟ و کدام‌ها گاه‌به‌گاه؟ مرکزها کجایند و پیرامون تا کجا می‌رود؟ توجه خواننده بیش از همه بر کدام نقطهٔ نقشه متمرکز می‌شود؟

برای این آزمایش — و چون عجله داشتم — از یکی از APIهای استفاده کردم. اما بسیاری از کتابخانه‌های مصورسازی و سامانه‌های اطلاعات جغرافیایی همین نوع نقشهٔ چگالی را می‌سازند.

چند مشاهده

نتیجه بیش از آنکه بازنمایی دقیقِ مفهومی روشن و تعریف‌پذیر باشد، تابلویی امپرسیونیستی است، و همین دقیقاً چیزی است که در این آزمایش دوست دارم. راستش، علم داده می‌تواند متحد نیرومندی برای علوم انسانی باشد، اما ما لزوماً ناچار نیستیم از قواعد آن پیروی کنیم.

جنبهٔ جالب دیگر این آزمایش آن است که نقشه لوانتهای را آشکار می‌کند که کاملاً با باقی اروپا و مدیترانه درآمیخته است. همچنین بر مرکزیت ادرنه در جغرافیای سیاسی امپراتوری عثمانی نور می‌اندازد. از این گذشته، مهم‌ترین شهر اسپانیا در این نقشه نه مادرید است و نه اسکوریال، بلکه ناپل است. و سرانجام، جزیره‌ها و دولت‌شهرهای کوچکی مانند راگوزا گویا نقش مهمی در میانجی‌گری میان قدرت‌های گوناگون منطقه داشته‌اند.

چگونه از MIA داده بگیریم

MIA ابزار مشارکتی برجسته‌ای برای پژوهشگران است، اما داده‌هایی که در سرورهایش نگه می‌دارد به‌آسانی در دسترس نیست. مثلاً بک‌اند آن در مخازن عمومی منتشر نشده است. با این حال، می‌توانید با ثبت‌نام در MIA و ارسال درخواست به سرور با python داده‌ها را به دست آورید.

درخواست

url = "https://mia.medici.org/Mia/json/de/advancedsearch/advancedSearchResults/0/90/docYear/asc/?isNewsFeedSearch=False"
payload = [{"searchSection":"archivalLocationSearch","type":"archivalLocationAdvancedSearch","isActiveFilter":True,"repository":None,"collection":"Mediceo del Principato","series":None,"volume":"2863","insert":None},{"searchSection":"categoryAndTypologySearch","type":"categoryAndTypologyAdvancedSearch","isActiveFilter":True,"category":"News","typology":None},{"searchSection":"transcriptionSearch","type":"transcriptionAdvancedSearch","isActiveFilter":False,"transcription":""},{"isActiveFilter":False,"searchSection":"synopsisSearch","type":"synopsisAdvancedSearch","synopsis":""},{"searchSection":"placesSearch","type":"placesAdvancedSearch","isActiveFilter":False,"places":[]},{"searchSection":"peopleSearch","type":"peopleAdvancedSearch","isActiveFilter":False,"people":[]},{"searchSection":"topicsSearch","type":"topicsAdvancedSearch","isActiveFilter":True,"topics":[{"topicTitle":"Place Index","topicId":"51","placeAllId":""}]},{"searchSection":"dateSearch","type":"dateAdvancedSearch","isActiveFilter":False,"dateFilterType":"","dateYear":"","dateMonth":"","dateDay":"","dateBYear":"","dateBMonth":"","dateBDay":""},{"searchSection":"documentOwnerSearch","type":"documentOwnerAdvancedSearch","isActiveFilter":False,"editType":"owner","account":""},{"searchSection":"languagesSearch","type":"languagesAdvancedSearch","isActiveFilter":False,"languages":[]}]
headers = {'Content-type': 'application/json', 'Accept': '*/*'}
r = requests.post(url, data=json.dumps(payload), headers=headers, auth=('LOGIN','PASSWORD'))

فراموش نکنید LOGIN و PASSWORD را با اطلاعات کاربری خودتان جایگزین کنید.

نوشتن پاسخ در فایل

with open('response.json', 'wb') as fd:
 for chunk in r.iter_content(chunk_size=128):
 fd.write(chunk)

باز کردن JSON

f = open('response.json', encoding="utf8")

برگرداندن شیء JSON به‌صورت دیکشنری

json_complete = json.load(f)

گزینش داده‌ها از JSON و چاپ آن‌ها در قالب CSV

with open('results.csv', 'w', newline='') as csvfile:
 fieldnames = ['documentId', 'placeCited', 'documentDate']
 writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
 writer.writeheader()
 for i in json_complete['data']:
 if i['topics'] != None:
 for x in i['topics']:
 documentId=x['documentId']
 placeCited=x['topicPlaceName']
 year=i['date']['docYear']
 month=i['date']['docMonth']
 day=i['date']['docDay']
 documentDate=str(year)+ "-" + str(month)+"-" + str(day)
 writer.writerow({'documentId': documentId, 'placeCited': placeCited, 'documentDate': documentDate})

پس از دانلود فایل results.csv، می‌توانید داده‌ها را به روشی که در بالا گفته شد پاک‌سازی کنید.

تجزیهٔ کتاب‌شناختی در مقیاس بزرگ با مدل‌های زبانی پیش‌آموخته

Thu, 07 Jul 2022 19:04:14 +0200

خودکارسازی کلید کاهش هزینهٔ پروژه‌های علوم انسانی دیجیتال است. تا امروز، کارهای تکراری و ملال‌آور تصحیح در محیط‌های دانشگاهی یا با هزینهٔ گزاف بر دوش پژوهشگرانِ غرق در کار افتاده، یا به دانشجویان «برون‌سپاری» شده است. در این استدلال می‌کنم که بیشتر این کارهای ناسپاس نه‌فقط می‌توانند، بلکه باید خودکار شوند. خودکارسازی کارهای تصحیح هزینهٔ کلی پروژه‌های علوم انسانی دیجیتال را پایین می‌آورد. و مهم‌تر از آن، به پژوهشگران مناطق کم‌درآمد امکان می‌دهد اسناد ارزشمند را سریع و ارزان منتشر کنند.

در برای نمونه نشان دادم که مدل‌های زبانی پیش‌آموخته چگونه می‌توانند بیشتر کار برچسب‌زنی XML یک نسخهٔ دیجیتال را بر عهده بگیرند.

در این یادداشت نمونهٔ دومی می‌آورم، این بار با کتاب‌شناسی.

مسئله

ساختن یک پایگاه‌دادهٔ کتاب‌شناختی از ارجاع‌های یک مقالهٔ علمی کار چندان پیچیده‌ای نیست. می‌توان در فهرستی مانند جست‌وجویی سریع کرد و ارجاع را در قالبی مشخص دانلود کرد، یا آن را خودکار از پایگاه‌داده‌ای محلی وارد کرد. این روش برای یکی دو مقاله خوب جواب می‌دهد. اما از شمار معینی ارجاع به بعد، کار خشک و وقت‌گیر می‌شود. برای چاره، می‌توان از الگوریتم‌های تجزیه مانند کمک گرفت. اما مقیاس دادن به این الگوریتم‌ها دشوار است. وقتی anystyle را برای تبدیل بیش از 150 جستار علمیِ گنجانده‌شده در به کار بردم، حجم خطاهای انباشته به‌سادگی مدیریت‌شدنی نبود. بسیاری از منابع ما را درست تشخیص نداد؛ مثلاً عنوان‌های بلند کتاب‌های اوایل دورهٔ مدرن را با چیز دیگری اشتباه گرفت، و اسناد کمتر متعارف مانند صفحه‌های وب خاص، ویدئوهای آنلاین و مانند این‌ها را نشناخت. تجزیه‌گرها به شرطی خوب کار می‌کنند که نویسنده مو به مو از قواعد یک شیوه‌نامهٔ شناخته‌شده مانند Chicago، Turabian یا MLA پیروی کند. هر انحرافی از هنجار به خطا می‌انجامد.

راه حل

اینجاست که مدل‌های زبانی پیش‌آموخته به کار می‌آیند، چون الگوهای هر سبک کتاب‌شناختی را به‌سرعت درمی‌یابند ، حتی سبکی که خودتان ابداع کرده باشید، و تنها با چند مثال، حجم بزرگی از کتاب‌شناسیِ قالب‌بندی‌شده را به‌درستی به برمی‌گردانند.

در اوایل 2021 این بخت را داشتم که به شرکت OpenAI دسترسی زودهنگام پیدا کنم. Codex مدلی است که به کاربران امکان می‌دهد زبان طبیعی را به کد ترجمه کنند و برعکس. OpenAI مدعی است این مدل در بیش از ده‌دوازده زبان برنامه‌نویسی چیره‌دست است، و هرچند API آن در زمان نوشتن این یادداشت هنوز به‌صورت بتا در دسترس است، همین حالا موتور برنامه‌های محبوبی مانند گیت‌هاب است.

پس از کمی ور رفتن با این API، دریافتم که با کدهای ساده‌تری مانند BibTeX هم بسیار خوب کار می‌کند.

و در واقع تنها با چهار مثال در پرامپت ورودی توانستم آن را به‌طور قابل اعتمادی به کار بیندازم.

پرامپت ورودی

References: Bayle, Ariane. “Patients exemplaires: la correspondance médicale de Fioravanti.” In Vulgariser la médecine. Du style médical en France et en Italie, edited by Andrea Carlino and Michel Jeanneret, 181–212. Geneva: Droz, 2009.

Berns, Andrew D. The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth. Cambridge: Cambridge University Press, 2015.

Gabler, Hans Walter. “Theorizing the Digital Scholarly Edition.” Literature Compass 7, no. 2 (2010): 43–56. .

Findlen, Paula. Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy. Berkeley: University of California Press, 1994.

@incollection{bayle2009,
 author = {Bayle, Ariane},
 booktitle = {Vulgariser la médecine. Du style médical en France et en Italie},
 title = {Patients exemplaires: la correspondance médicale de Fioravanti},
 editor = {Carlino, Andrea and Michel Jeanneret},
 year = {2009},
 address = {Geneva},
 publisher = {Droz},
 langid = {french}
}
@book{berns2015,
 title = {The Bible and Natural Philosophy in Renaissance Italy: Jewish and Christian Physicians in Search of Truth},
 author = {Berns, Andrew D.},
 address = {Cambridge},
 publisher = {Cambridge University Press},
 langid = {english},
 date = {2015}
}
@article{gabler2010,
 author = {Gabler, Hans Walter},
 title = {Theorizing the Digital Scholarly Edition},
 journal = {Literature Compass},
 volume = {7},
 number = {2},
 pages = {43-56},
 doi = {10.1111/j.1741-4113.2009.00675.x},
 langid = {english},
 year = {2010}
}
@book{findlen1994,
 title = {Possessing Nature: Museums, Collecting, and Scientific Culture in Early Modern Italy},
 author = {Findlen, Paula},
 address = {Berkeley},
 publisher = {University of California Press},
 langid = {english},
 date = {1994}
}

نتایج

چشمگیر است: بیش از 2,000 ارجاع کتاب‌شناختی ظرف چند روز تبدیل شد. این رویکرد نه‌فقط الگوی پرامپت ورودی مرا دقیق بازتولید کرد، بلکه انواع مدخل و فیلدهایی را هم که در پرامپت ورودی نبودند به‌درستی افزود. به عبارت دیگر، GPT-3 به BibTeX کاملاً مسلط است. و شاید شگفت‌انگیزتر، برای مدلی که اساساً به انگلیسی آموزش دیده، همهٔ زبان‌ها (روسی، فرانسوی، ایتالیایی، لاتین، یونانی، آلمانی، اسپانیایی و جز این‌ها) را تشخیص داد و هر بار فیلد langid درست را افزود.

نکته

GPT-3 در حال حاضر اندازهٔ ورودی و خروجی محدودی دارد و حداکثر 2048 توکن زبانی را پردازش می‌کند. به محض برداشته شدن این محدودیت، همین کار احتمالاً یک ساعت یا کمتر طول خواهد کشید.

تا حدی غیرمنتظره، GPT-3 اطلاعاتی را هم افزود که در ارجاع‌های اصلی نبود.

Baillot, Anne, and Anna Busch. “Editing for Man and Machine.” In Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting, Vol. 13. Variants (Journal of the European Society for Textual Scholarship). Leicester, 2015.

در این ارجاع کتاب‌شناختی، برای نمونه، GPT-3 پیوند دائمی مخزن دسترسی آزاد ( ) را که مقاله در آن خواندنی است افزود، همراه با فیلدهای اختصاصی HAL_ID و HAL_VERSION که مخزن HAL ساخته است:

@inproceedings{baillot2015,
 title = {Editing for Man and Machine},
 author = {Baillot, Anne and Busch, Anna},
 year = 2015,
 booktitle = {Users of Scholarly Editions: Editorial Anticipations of Reading, Studying and Consulting},
 address = {Leicester},
 series = {Variants (Journal of the European Society for Textual Scholarship)},
 volume = 13,
 editor = {Bruhn, Siglinde and Schreiber, Manfred},
 langid = {english},
 hal_id = {halshs-01233380},
 hal_version = {v1}
}

این افزوده‌ها نشان می‌دهند که GPT-3 تنها ارجاع کتاب‌شناختی را تجزیه نمی‌کند، بلکه آن را بر پایهٔ آنچه در آموزش اولیه آموخته تکمیل هم می‌کند. از این نظر جالب خواهد بود ببینیم با ارجاع‌هایی که تاریخشان پس از آموزش GPT-3 است نیز همین رفتار را دارد یا نه…

محدودیت‌ها

با این حال GPT-3 بی‌عیب نیست و به نظارت انسانی نیاز دارد. یکی از محدودیت‌های شناخته‌شده‌اش است: گاهی چیزهایی از خود می‌سازد و فرض‌های نامحتملی می‌کند.

در آزمایش من، ناسازگاری‌های GPT-3 آنجا آشکار شد که خودسرانه نام خانوادگی نویسنده‌ای را از «Ruscelli» به «Ruscello» تغییر داد. این از نظر فنی خطا نیست، چون نام‌های خانوادگی ایتالیایی در اوایل دورهٔ مدرن را می‌شد بی‌تفاوت به صورت جمع یا مفرد به کار برد. اما قرارداد امروز این است که نام خانوادگی، جمع باشد یا مفرد، همان‌طور که هست نگه داشته شود. امروز هیچ‌کس ماکیاوللی را ماکیاوللو نمی‌خواند، همان‌طور که از ما انتظار می‌رود به جای Rosselli بگوییم Rossello. آیا GPT-3 این قرارداد را از سر بی‌خبری از گاه‌شماری نادیده گرفته؟ یا بر پایهٔ نام‌های خانوادگی همسایه، که در این بخش از کتاب‌شناسی همگی اتفاقاً مفردند (Bariletto، Cesano، Rossello)، فرضی کرده است؟ که می‌داند.

@book{rossello1565,
 title = {Della summa de’ secreti universali},
 author = {Rossello, Timoteo},
 address = {Venice},
 publisher = {Giovanni Bariletto},
 langid = {italian},
 date = {1565}
}
@book{ruscello1559,
 title = {La seconda parte de’ secreti del Reverendo Donno Alessio Piemontese},
 author = {Ruscello, Girolamo},
 address = {Pesaro},
 publisher = {Bartolomeo Cesano},
 langid = {italian},
 date = {1559}
}

نتیجه‌گیری

بیش از 150 جستارِ ، که حاصل چهار سال همکاری فشرده است، نه‌فقط اطلاعات حیاتی‌ای دربارهٔ دست‌نویسی که تصحیح و ترجمه کردیم به دست می‌دهند، بلکه اطلاعات کتاب‌شناختی ارزشمندی نیز در خود دارند.

گرد آوردن این ارجاع‌های کتاب‌شناختی در یک پایگاه‌داده به مصححان امکان می‌دهد قالب کتاب‌شناسی را در چشم‌به‌هم‌زدنی تغییر دهند و این اطلاعات را هر طور که می‌خواهند نمایش دهند. این پایگاه‌داده اطلاعات ارزشمندی نیز دربارهٔ نسخه و پروژه‌ای که آن را ممکن ساخت به دست می‌دهد و چشم‌اندازهای تحلیلی تازه‌ای پیش روی پژوهشگران می‌گشاید. چنین پایگاه‌داده‌ای را می‌توان با دقتی بالا و در زمانی بی‌سابقه تکمیل کرد.

البته ممکن است خطاهایی رخنه کنند، به‌ویژه به سبب گرایش GPT-3 به توهم. اما نسل‌های آیندهٔ مدل‌های زبانی پیش‌آموخته این مشکل را کاهش خواهند داد.

خودکارسازی نشانه‌گذاری در نسخه‌های علمی دیجیتال

Mon, 22 Nov 2021 18:15:00 +0000

مقدمه

چگونه می‌توان نسخه‌های علمی دیجیتال را بی‌آنکه خزانه را خالی کند تولید کرد؟ در این یادداشت، که نخستین از سلسله‌یادداشت‌هایی دربارهٔ تصحیح کارآمد است، نقشی را می‌سنجم که مدل‌های زبانی پیش‌آموخته می‌توانند در خودکارسازی کارهای تصحیح، از جمله نشانه‌گذاری معنایی، ایفا کنند.

فهرست مطالب

مسئله

کار عاشقانه

در کار عشق حساب و کتاب نمی‌کنند… یا دست‌کم ضرب‌المثل قدیمی چنین می‌گوید. این حرف دربارهٔ نسخه‌های علمی دیجیتال به‌ویژه صادق است، چرا که بازنویسی، ترجمه و حاشیه‌نویسیِ لازم برای ساختن آن‌ها هزاران ساعت کار می‌طلبد؛ کاری که در مورد صدها همکار بسیار متخصص بر عهده گرفتند.

از یک نظر، اینکه پروژه‌های پرآوازهٔ علوم انسانی دیجیتال می‌توانند بودجه‌های هنگفتِ لازم برای ادامهٔ کار را به دست آورند، موهبتی است. اما اتکای سنگین به دست‌ودل‌بازی بنیادهای ثروتمند، دانشگاه‌ها و نهادهای دولتی، و نیاز درازمدت به نیروی انسانی فراوان، الگوی اقتصادی پایداری برای آینده نیست.

در واقع، اگر می‌خواهیم پژوهشگران سراسر جهان را تشویق کنیم که اسناد تاریخی را در دسترس عموم بگذارند، هزینهٔ تصحیح‌های انتقادی دیجیتال باید چندین مرتبهٔ بزرگی کاهش یابد .

آستانه‌ای بلند

شاید کمی تناقض‌آمیز بنماید، اما راه حل چه بسا از دل همین پروژه‌های پرزحمت مانند بیرون بیاید، زیرا این‌ها مجموعهٔ آموزشی ارزشمندی‌اند برای خودکار کردن برخی از خشک‌ترین و تکراری‌ترین کارهای تصحیح دیجیتال، از جمله نشانه‌گذاری.

نه اینکه نشانه‌گذاری بی‌اهمیت باشد. برعکس، نشانه‌گذاری به جزء جدایی‌ناپذیر هر پروژهٔ علمی دیجیتالِ جدی بدل شده است. این کار، که آن را استاندارد کرده، به ما امکان می‌دهد تا آنجا که ممکن است جنبه‌های سند و متنی را که سند حامل آن است ثبت کنیم: ساختار، حاشیه‌نوشته‌ها، خط‌خوردگی‌ها، نسخه‌بدل‌ها، نوع کاغذ، لکه‌ها، خوشنویسی… هر چه بخواهید.

نمونهٔ زیر، برگرفته از ، نشان می‌دهد که نشانه‌گذاری چگونه متن را با اطلاعات افزوده (مقوله، ساختار، حوزه‌های معنایی، خط‌خوردگی‌ها و جز آن) غنی می‌کند و در نهایت به نسخه‌های دیجیتال برتری چشمگیری بر نیاکان کاغذی‌شان می‌بخشد.

Plain Text XML Markup

Plain Text	XML Markup
`Pour rompre grenades et donner violence aux artifices de foeu Mects parmy la pouldre et la sixiesme partye dicelle de vif argent`	`<div id="p008r_2" categories="arms and armor"> <head>Pour rompre <wp>grenades</wp> et donner<lb/> violence aux <wp>artifices de foeu</wp></head> <ab>Mects parmy la <m>pouldre</m> <del><ms>six fois autant</ms> de <m>vif argent</m></del><lb/> <del>et</del> <ms>la sixiesme partye</ms> dicelle de <m>vif argent</m></ab> </div>`

Pour rompre grenades et donner
violence aux artifices de foeu

Mects parmy la pouldre et la sixiesme
partye dicelle de vif argent

<div id="p008r_2" categories="arms and armor">
<head>Pour rompre <wp>grenades</wp> et donner<lb/>
violence aux <wp>artifices de foeu</wp></head>
<ab>Mects parmy la <m>pouldre</m>
<del><ms>six fois autant</ms> de
<m>vif argent</m></del><lb/>
<del>et</del> <ms>la sixiesme partye</ms>
 dicelle de <m>vif argent</m></ab>
</div>

این اطلاعات نه‌فقط برای آرشیو ارزشمند است، بلکه چنان‌که پیش‌تر در جاهای دیگر نشان داده‌ام، به کار ترکیب و تحلیل هم می‌آید. با این حال، این نوع حاشیه‌نویسی می‌تواند بی‌اندازه وقت‌گیر باشد، چرا که یک متن واحد اغلب باید به چند صورت در دسترس باشد: به‌صورت ترجمه، بازنویسی، نسخهٔ امروزی‌شده و جز آن.

راه حل

ترنسفورمرها: ساده‌ترین راه خودکارسازی؟

در سال 2020، با سر و صدای بسیار تازه‌ترین خانوادهٔ مدل‌های زبانی بزرگ و همه‌منظوره‌اش را با نام GPT-3 عرضه کرد؛ نامی که کوتاه‌شدهٔ «Generative Pre-trained Transformer 3» است. ترنسفورمرها دستاورد نسبتاً تازه‌ای در هوش مصنوعی‌اند. با سرعتی چشمگیر کارهای تازه می‌آموزند: کافی است یک پرامپت بخوانند و شمار بسیار اندکی مثال ببینند. می‌توان آن‌ها را با مجموعه‌داده‌ای اختصاصی نیز آموزش تکمیلی داد (ریزتنظیم) تا سرعت پاسخ و دقتشان بهتر شود. از همین رو می‌گوییم GPT-3 و ترنسفورمرهای همانند آن (few-shot) هستند.

OpenAI مدعی است که GPT-3 رقم بی‌سابقهٔ 175 میلیارد پارامتر دارد و بر بیش از 570 گیگابایت متن آموزش دیده که بیشترشان اسناد انگلیسی‌اند و احتمالاً از گرفته شده‌اند. GPT-3 به لطف ابعاد عظیمش معیار تازه‌ای در این حوزه گذاشته و بی‌هیچ آماده‌سازی، کارهای گوناگونی را با واقع‌نمایی نگران‌کننده‌ای انجام می‌دهد. باورپذیر می‌نویسد، در اتاق‌های گفت‌وگو ، ، ، اسناد را ترجمه می‌کند، اصطلاحات تخصصی را توضیح می‌دهد، و جز این‌ها.

از مه 2021 به API شرکت OpenAI دسترسی زودهنگام داشته‌ام و توانسته‌ام توان این مدل را در حل شماری از کارهای به‌اصطلاح دشوار بیازمایم: ترجمهٔ شعر فرانسوی و متون نولاتین به انگلیسی، توضیح قیاس‌ها، و حتی ساده کردن کتاب چهارم بنیاد مابعدالطبیعهٔ اخلاق کانت برای کودکی هفت‌ساله (هرچند نه چندان قانع‌کننده).

Codex

یکی از تازه‌ترین تحولات GPT-3 بر زبان‌های رایانه‌ای متمرکز است. این مدل، که Codex نام دارد، زبان طبیعی را به زبان رایانه ترجمه می‌کند و برعکس. مثلاً اگر دنبال عبارتی باقاعده باشم که «فقط واژه‌هایی را پیدا کند که با حرف بزرگ آغاز می‌شوند»، GPT-3 بی‌درنگ آن را به یک عبارت باقاعدهٔ کارآمد برمی‌گرداند: [A-Z]+\w+.

OpenAI مدعی است که Codex با ده‌دوازده زبان رایانه‌ای، از جمله Python، JavaScript، Go، Perl، PHP، Ruby و Swift کار می‌کند. Codex با تبدیل روان شبه‌کد به کد، به آدم‌ها امکان می‌دهد به جای نحو خسته‌کنندهٔ یک زبان رایانه‌ای، بر گام‌های منطقی و راهبردهایی تمرکز کنند که برنامه‌ها به کمکشان مسئله حل می‌کنند.

فراتر از OpenAI

البته OpenAI تنها بازیگر این میدان نیست. چنان‌که پیش‌تر اشاره شد، آکادمی هوش مصنوعی پکن در 2021 مدلی حتی بزرگ‌تر و تواناتر به نام Wu Dao 2 را اعلام کرد. Nvidia و Microsoft دست به دست هم دادند و مدلی با نام برازندهٔ Megatron-Turing NLG 530B ساختند. استارتاپ‌های کوچک‌تری مانند و نیز APIهایی به عموم عرضه می‌کنند. ابتکارهای متن‌باز مانند هم شایان ذکرند. صحنهٔ هوش مصنوعی البته با شتاب دگرگون می‌شود؛ برای دنبال کردن ابتکارهای تازهٔ این حوزه، به سر بزنید.

آزمایش‌ها

نکته

هدف این آزمایش‌ها یافتن اقتصادی‌ترین راه به خودکارسازی قابل اعتماد کارهای تصحیح است. می‌توان گفت برخی از این کارها را با الگوریتم‌های یادگیری بانظارت نیز می‌توان خودکار کرد. این فرضیه را در یادداشتی دیگر خواهیم کاوید.

آیا ترنسفورمری مانند GPT-3 می‌تواند یاد بگیرد که مثلاً یک دست‌نویس فنی و علمی سدهٔ شانزدهم را حاشیه‌نویسی کند؟

آزمایش 1 – دسته‌بندی متن.

با چیزی نسبتاً ساده شروع کنیم. GPT-3، به‌عنوان «یادگیرندهٔ چندنمونه‌ای»، باید بتواند به‌سرعت دریابد که گروه تصحیح ما مدخل‌های Ms Fr 640 را چگونه دسته‌بندی کرده است.

مهندسی پرامپت

برای آموزش آن، پرامپتی بسیار کمینه به کار بردم و چهار مدخل کوتاه متن ساده را به‌عنوان مثال برگزیدم، از جمله یکی دربارهٔ «پزشکی»، یکی «سلاح و زره» و یکی «نقاشی».

آزمون

سپس قطعهٔ دیگری را که در توالی اولیه نبود کپی کردم:

Working neatly
Never put down, if you can, two colors one on top of the other.
But next, having made your design carefully, keep the place of shadows for them alone,
& also separately that of lights & highlights, without layering one color all over & then highlighting or else shading on it.
And in this way, you further your work, economize your colors & work neatly.
Which is the reason that, the colors not being muddled nor mixed together, they do not die & you soften the colors better, since they are not so thick.

خروجی کاملاً با محتوا سازگار است:

<categories="painting">

اگر مدخلی را بیازماییم که به مقوله‌ای تعلق دارد که حتی در گزینش اولیهٔ متن‌های آموزشی GPT-3 نبوده، نتیجه شگفت‌آور است.

<categories="jewelry">

نتیجه

مقولهٔ «jewelry» (جواهرات) در نسخهٔ ما از Ms. Fr. 640 وجود ندارد. گروه تصحیح مقولهٔ گسترده‌تر «Stones» (سنگ‌ها) را . با این حال شمّ GPT-3 خوب است و نشان می‌دهد که با اندکی آموزش بیشتر می‌تواند دسته‌بندی هر مدخل Ms. Fr. 640، و شاید حتی متون فنی مشابه سدهٔ شانزدهم، را بیاموزد.

آزمایش 2 – نشانه‌گذاری معنایی

سطح کار را کمی بالاتر ببریم. اگر ترنسفورمرهایی چون GPT-3 می‌توانند دسته‌بندی متن‌ها را بر پایهٔ معیارهای خاص یک تصحیح بیاموزند، آیا می‌توانند بخشی از نشانه‌گذاری متن را هم تشخیص دهند؟

نکته

Secrets of Craft and Nature از برچسب‌های معنایی و ساختاری به کار می‌برد. متأسفانه GPT-3، برخلاف پروژه‌هایی مانند ، تصویر پردازش نمی‌کند. به احتمال زیاد نسل‌های بعدی GPT این قابلیت را، که برای تشخیص بیشتر جنبه‌های ساختاری و مادی یک سند ضروری است، خواهند داشت. از این برچسب‌های خاص می‌گذریم و در عوض بر نشانه‌گذاری‌ای تمرکز می‌کنیم که به تشخیص تصویر نیاز ندارد.

مهندسی پرامپت

برچسب‌های معنایی شامل ارجاع به جانوران، گیاهان، جای‌نام‌ها، داده‌های حسی و مانند این‌هاست. در پرامپت آموزشی، چند نمونه از نسخه را برگزیدم:

<!--Input prompt-->
The following is a list of words and their corresponding semantic tags

cannons: <wp>cannons</wp>
powder: <m>powder</m>
flasks: <tl>flasks</tl>
wooden: <m>wooden</m>
iron: <m>iron</m>
parchment: <m>parchment</m>
goats: <al>goats</al>
lambs: <al>lambs</al>
leather: <m>leather</m>
earth: <m>earth</m>
fine fatty earth: <m>fine fatty earth</m>
Venice: <pl>Venice</pl>
Flemish: <pl>Flemish</pl>
almond: <pa>almond</pa>
almond oil: <m><pa>almond</pa> oil</m>
walnuts skin: <m><pa>walnuts</pa> skin</m>
molten lead: <m>molten lead</m>
today: <tmp>today</tmp>
In the past: <tmp>In the past</tmp>
Clockmakers: <pro>Clockmakers</pro>
red copper: <m>red copper</m>
crucible: <tl>crucible</tl>
bellows: <tl>bellows</tl>
charcoal: <m>charcoal</m>
founders: <pro>founders</pro>

آزمون

چند واژهٔ ساده را با مدل Davinci-codex بیازماییم، مانند Apothecary، smoke، glassmakers، latten و snake. نتیجه فوری و بی‌نقص است:

<!--Output-->
Apothecary: <pro>Apothecary</pro>
smoke: <m>smoke<m>
glassmakers: <pro>glassmakers</pro>
latten: <m>latten</m>
snake: <al>snake</al>

آزمون دشوارتر، واژه‌های مرکبی چون copper plates، walnut oil و wood block را به میان می‌آورد. هدف این آزمون آن است که ببینیم GPT-3 برچسب‌های تودرتو را درست به کار می‌برد یا نه.

<!--Output-->
copper plates: <m>copper plates</m>
walnut oil: <m><pa>walnut</pa> oil</m>
wood block: <m>wood block</m>

نتیجه اما دوگانه است: Davinci-codex تنها walnut oil را درست برچسب زد و برچسب‌های تودرتوی tl و m را در copper plates و wood block تشخیص نداد. با این حال، چنان‌که آزمون بعدی در زیر نشان می‌دهد، این خطاها را می‌توان با پرامپت آموزشی بهتری کاهش داد. پس از افزودن پنج نمونهٔ دیگر از برچسب‌های تودرتو، Davinci-codex نتیجه‌ای تقریباً بی‌نقص برگرداند، با تنها یک خطا (oil paintbrushes):

<!--Output-->
cannon powder: <m><wp>cannon</wp> powder</m>
arquebus powder: <m><wp>arquebus</wp> powder</m>
oil paintbrushes: <m><al>oil</al> paintbrushes</m>
sheep footbones: <m><al>sheep</al> footbones</m>
bronze mortar: <tl><m>bronze</m> mortar</tl>

نتیجه‌گیری

نباید از یاد برد که این آزمون‌ها با قطعه‌های کوتاهی از متن انجام شد. گمان می‌کنم اگر در مثال‌ها و پرامپت زمینهٔ بیشتری فراهم شود، مدل‌های GPT-3 نتایج بهتری هم بدهند. افزون بر این، ریزتنظیم مدل با مجموعه‌داده‌های آموزشی اختصاصی بی‌تردید دقت برچسب‌زنی را باز هم بالا خواهد برد.
هرچند این آزمایش‌ها باید در مقیاسی بزرگ‌تر تکرار شوند تا قابل اعتماد بودن مدل‌های زبانی پیش‌آموخته اثبات شود، همین حالا می‌توان نتیجه گرفت که این رویکرد به مصححان امکان می‌دهد چندین کار حاشیه‌نویسی را در چند گام ساده خودکار کنند و از این راه بالقوه زمان و هزینهٔ هنگفتی را صرفه‌جویی کنند.

مصورسازی دست‌نویس‌ها 2 (به‌روزرسانی)

Sat, 20 Nov 2021 16:00:00 +0000

چنان‌که وعده داده بودم، این هم نسخهٔ تازه‌ای از نقشهٔ درختی تعاملی‌ای که در معرفی کردم؛ این بار با دو حالت نمایش.

نکته

برای تجربهٔ بهتر، مطمئن شوید که صفحه در حالت روشن (Light) است (روی نماد ماه در گوشهٔ بالا سمت راست کلیک کنید).

Group folios by category

مرورگری دیداری برای آرشیو

Sun, 20 Jun 2021 16:00:00 +0000

مسئله

نسخه‌های دیجیتال گرفتار تناقضی‌اند: از یک سو اسناد دیریاب را در دسترس عموم می‌گذارند، و از سوی دیگر با از دست رفتن ورودی حسی‌ای که پیامد ماده‌زدایی آن‌هاست، خواننده را سردرگم و حتی از سر و کله زدن با محتوا دلسرد می‌کنند. پیمایش در مخازن عظیم اسناد را دشوار و هراس‌انگیز می‌سازند. این تنها دربارهٔ کاربرانی که با پژوهش آرشیوی آشنا نیستند صادق نیست؛ خوانندگان دچار اختلال‌های شناختی هم با آن روبه‌رویند.

راه حل

اینجاست که فراداده‌های آرشیوی به کارمان می‌آیند. با این داده‌ها می‌توان انتزاع‌های دیداری تعاملی‌ای ساخت که ورودی حسی دیگری به خواننده می‌دهند و از این راه هم راحتیِ کار و هم دسترس‌پذیری را بالا می‌برند. برای اینکه آرشیو به‌صورت دیداری پیمایش‌پذیر شود، یک نقشهٔ درختی (treemap)، یا هر نموداری که داده‌های سلسله‌مراتبی را به‌خوبی تجزیه کند، کفایت می‌کند.

آزمایش

نخستین آزمایش من برای D3.js را اقتباس می‌کند و به آن فراپیوند می‌افزاید. این نقشه دست‌نویس BnF Ms Fr 640، برگ‌هایش و مدخل‌های درون هر برگ را نمایش می‌دهد. رنگ‌ها نمایندهٔ مقولهٔ غالب‌اند. با نگه داشتن نشانگر روی هر مدخل، داده‌های بیشتری، از جمله پیوند به دست‌نویس، نمایان می‌شود.
به این ترتیب نقشهٔ درختی به یک نمایهٔ دیداری تعاملی بدل می‌شود و در یک نگاه سریع و پاسخگو، نه‌تنها محتوای دست‌نویس، بلکه ابعاد هر برگ و هر مدخل را نیز به خواننده نشان می‌دهد.
~~در ماه‌های آینده این ایده را با نمودارها و سلسله‌مراتب‌های دیگر خواهم آزمود… منتظر باشید!~~ برای نسخهٔ تازهٔ نقشهٔ درختی را کلیک کنید.

نکته

برای تجربهٔ بهتر، مطمئن شوید که صفحه در حالت روشن (Light) است (روی نماد ماه در گوشهٔ بالا سمت راست کلیک کنید).

Click any cell to zoom in, or the top to zoom out.

آرشیو در یک نگاه

Mon, 24 May 2021 16:00:00 +0000

مسئله

آرشیوهای تاریخی می‌توانند به‌طرزی نومیدکننده آشفته باشند. فوند Mediceo del Principato در نمونهٔ گویایی است. تنها بخش کوچکی از آن فهرست‌برداری شده و بسیاری از اسنادش، بی‌هیچ دلیل روشنی، در بیش از 6,500 مجلد پراکنده‌اند. مشکل دیگر آنکه آرشیو تنها اجازهٔ مطالعهٔ شمار محدودی مجلد (یا به تعبیر خودشان filza، جمع آن filze) را می‌دهد. در روزگار عادی این سقف 4 بسته در روز است؛ در دوران همه‌گیری اما به 4 بسته در هر دو هفته رسیده است. در نبودِ فهرست‌های تفصیلی، حجم عظیم آرشیو پژوهشگر را ناگزیر می‌کند برای یافتن سریع اسناد مورد نظرش تدبیری بیندیشد.

راه حل

برخی شانس را ترجیح می‌دهند؛ برخی دیگر می‌کوشند بر پایهٔ گاه‌شماری، گیرندگان، نویسندگان، خاستگاه فوند آرشیوی، زبان و مانند این‌ها حدس‌های سنجیده بزنند. اما نگاه کردن به همهٔ این متغیرها در یک زمان می‌تواند الگوهای غیرمنتظره‌ای را در ساختار آرشیو آشکار کند و حدس‌های ما را دقیق‌تر سازد. تجربهٔ من نشان می‌دهد که فراداده‌هایی که پژوهشگران معمولاً در یک صفحه‌گسترده جمع می‌کنند، وقتی به نمودار درآیند، دید آدمی را نسبت به وضعیت آرشیو به‌طور چشمگیری بالا می‌برند.

آزمایش

پژوهش کنونی من بر مکاتبات یک جاسوس سدهٔ شانزدهم متمرکز است. نامه‌هایش در صدها filza پراکنده‌اند. با هویت‌های گوناگون نوشته شده‌اند، به گیرندگانی گوناگون و گاه غیرمنتظره، از مکان‌هایی گوناگون، و جز این‌ها. برای یافتن بسته‌هایی که به احتمال بیشتر نامه‌های مورد انتظار را در خود دارند، داشبوردی ساخته‌ام: یک برنامهٔ وبِ مصورسازی تعاملی داده‌ها ( ) که همه‌گونه داده، از جمله اطلاعات جغرافیایی و گاه‌شمارانه، را به نموداری سلسله‌مراتبی ( ) از فوند آرشیوی پیوند می‌دهد. داشبورد در یک نگاه به من می‌گوید تا کنون چه یافته شده، این یافته‌ها چه سهمی دارند، و تصویری تقریبی به دست می‌دهد از اینکه نامه‌های تازه را احتمالاً کجا باید جست. افزون بر این، با کلیک بر هر متغیر، همهٔ نمودارها به‌روز می‌شوند و همبستگی‌های خاصی را نشان می‌دهند.

گام‌های بعدی

شاید مهم‌تر از همه، این داشبورد را می‌توان به یک نمایهٔ دیداری بدل کرد. وقتی تصحیح انتقادی این نامه‌ها به‌صورت آنلاین منتشر شود، داشبورد نقش دروازهٔ ورودی جایگزینی را خواهد داشت که خوانندگان از آنجا می‌توانند داده‌ها را مرور کنند. به دلایل محرمانگی، در حال حاضر تنها می‌توانم تصویری از آن نشان دهم که بخش‌هایی‌اش پوشانده شده، اما داشبورد کامل را سال آینده منتشر خواهم کرد. در این میان، نمونهٔ اولیه‌ای به‌زودی در دسترس خواهد بود. منتظر باشید!

مصورسازی نشانه‌گذاری معنایی در BnF Ms. Fr. 640

Sun, 20 Dec 2020 18:15:00 +0000

نگاه کلی

نسخه‌های علمیِ غنی از داده، حاشیه‌نویسی‌های ارزشمندی دارند که می‌توان برای هر گونه هدف پژوهشی استخراج، تحلیل و مصورسازی‌شان کرد. ، که در 2020 منتشر شد و فایل فراداده‌اش را در مخزن GitHub خود برای دانلود گذاشته، از همین دست است. در این یادداشت نشان می‌دهم چگونه می‌توان همهٔ این متغیرها را در یک ماتریس همبستگی گرد آورد و به شیوه‌های گوناگون به تصویر کشید.

داده‌ها

پروژهٔ Making and Knowing صفحه‌گسترده‌ای با اطلاعات به‌روز دربارهٔ محتوای دست‌نویس تولید می‌کند: entry_metadata.csv. این فایل را می‌توان از پروژهٔ Making & Knowing گرفت. راه دیگر آن است که به لطف عالیِ Matthew Kumar، که نسخه‌ای پایتونی از BnF Ms. Fr. 640 است، فایل‌های .csv سفارشی با نشانه‌گذاری بیشتر تولید کنید.

آماده کردن Python

از Pandas برای سر و سامان دادن به داده‌ها، از Matplotlib و seaborn برای نقشه‌های حرارتی، و سرانجام از NetworkX برای ساختن شبکه‌های مبتنی بر همبستگی استفاده می‌کنیم.
برای این نوع متغیرها از روش پیرسون پرهیز می‌کنیم و به جای آن روش 𝜙𝐾 را به کار می‌بریم. حتماً : هم دربارهٔ این روش همبستگی و هم دربارهٔ PhiK، کتابخانهٔ متناظر با آن.

#install packages
pip install phik

# import modules
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import networkx as nx

آماده‌سازی داده‌ها

نخست، تازه‌ترین فایل فرادادهٔ نسخه را از پوشهٔ metadata در آن دانلود می‌کنیم. فقط ستون‌هایی را که لازم داریم برمی‌گزینیم. برای این نمایش، همهٔ برچسب‌های معنایی ترجمهٔ انگلیسی tl را انتخاب می‌کنم، اما می‌توانید برچسب‌های بازنویسی فرانسوی tc یا نسخهٔ هنجارشدهٔ tcn را هم برگزینید. داده‌ها به‌صورت مقادیر جداشده با نقطه‌ویرگول می‌آیند و باید Python آن‌ها را برایمان بشمارد. برای این کار از روش stack-unstack با عبارت باقاعدهٔ [^;\s][^\;]*[^;\s]* استفاده می‌کنیم. برای خواناتر شدن ماتریس، نام هر ستون را تغییر می‌دهیم. اگر عجله دارید می‌توانید از این گام بگذرید؛ فقط به یاد داشته باشید که دیتافریم ما در این مرحله tagsrn نام دارد.

# load the edition's metadata
df = pd.read_csv('entry_metadata.csv')

# select the tags you want to correlate
dftags = df[['al_tl', 'bp_tl', 'cn_tl', 'df_tl', 'env_tl', 'm_tl', 'md_tl', 'ms_tl', 'mu_tl', 'pa_tl', 'pl_tl', 'pn_tl', 'pro_tl', 'sn_tl', 'tl_tl', 'tmp_tl', 'wp_tl', 'de_tl', 'el_tl', 'it_tl', 'la_tl', 'oc_tl', 'po_tl']]

# count comma separated values
tagcount = dftags.stack(dropna=False).str.count(r'[^;\s][^\;]*[^;\s]*').unstack()

# rename columns
tagsrn = tagcount.rename(columns={'al_tl': 'animals', 'bp_tl': 'body parts', 'cn_tl': 'currency', 'df_tl': 'definitions', 'env_tl': 'environment', 'm_tl': 'material', 'md_tl': 'medical', 'ms_tl': 'measurement', 'mu_tl': 'music', 'pa_tl': 'plant', 'pl_tl': 'toponym', 'pn_tl': 'person', 'pro_tl': 'profession', 'sn_tl': 'sensory', 'tl_tl': 'tool', 'tmp_tl': 'temporal', 'wp_tl': 'weapons', 'de_tl': 'German', 'el_tl': 'Greek', 'it_tl': 'Italian', 'la_tl': 'Italian', 'oc_tl': 'Occitan', 'po_tl': 'Poitevin'})

همبسته کردن

وقتی دیتافریم پاک شد، می‌توانیم ضرایب همبستگی میان متغیرها را حساب کنیم. در این مرحله مهم است که داده‌هایتان را بشناسید و مطمئن شوید مناسب‌ترین روش همبستگی را به کار می‌برید. بستهٔ pandas-profiling برای این کار به‌ویژه سودمند است.

# calculate correlation coefficient with the phi k method
cortag = tagsrn.phik_matrix()

cortag ماتریس همبستگی ماست. حالا می‌توانیم انواع مختلف مصورسازی را بیازماییم.

مصورسازی

نخستین کاری که می‌توان کرد این است که آن را به‌صورت ماتریسی رنگ‌کدشده، با کتابخانهٔ seaborn، به تصویر بکشیم.

نقشهٔ حرارتی همبستگی

f, ax = plt.subplots(figsize=(16, 14))
ax = sns.heatmap(cortag, linewidths=.03, vmin=0, cmap="Oranges", square=True)

اگر متن را خوب بشناسید، بی‌درنگ می‌بینید که نقشهٔ حرارتی کاملاً معنادار است. برای نمونه، نام‌ها همبستگی نیرومندی با لاتین دارند، چون رسم بود، به‌ویژه میان اومانیست‌های سدهٔ شانزدهم، که نام‌ها را لاتینی کنند.

برخی شاید بگویند این نقشهٔ حرارتی فقط بدیهیات را بازگو می‌کند. یکسره بی‌راه نمی‌گویند، و در نگاه نخست برچسب‌های پزشکی نمونهٔ خوبی به نظر می‌رسند، چون همان‌طور که انتظار می‌رود با اندام‌های بدن، اندازه‌ها و گیاهان همبسته‌اند.

اما اگر نقشهٔ حرارتی را با دقت بیشتر، سطر به سطر بخوانیم، ممکن است همبستگی‌های جالب و غیرمنتظره‌ای بیابیم. اینکه برچسب‌های پزشکی مثلاً با واژه‌های ایتالیایی و لاتین همبسته‌اند، سرنخ‌هایی دربارهٔ خاستگاه نسخه‌های پزشکی Ms. Fr. 640 به دست می‌دهد. به همین ترتیب، همبستگی میان پیشه‌ها، تعریف‌ها و اندازه‌ها نشان می‌دهد که هویت حرفه‌ای تا چه اندازه به گفتمان‌های فنی سدهٔ شانزدهم ساختار می‌بخشد.

نقشهٔ خوشه‌ای همبستگی

نقشه‌های حرارتی در زمینه‌های «اکتشافی» سودمندند، اما ممکن است در چشم مخاطب کمی شلوغ بنمایند، به‌ویژه اگر دربارهٔ خوشه‌های معنایی خاصی در دست‌نویس بحث می‌کنید — یا هنوز در جست‌وجوی آن‌ها هستید. پیمانهٔ clustermap کتابخانهٔ Seaborn می‌تواند نتایج جالبی بدهد.

clustermap = sns.clustermap(cortag, figsize=(12, 13), dendrogram_ratio=(.1, .2), vmin=0, cmap="Oranges", cbar_pos=(-.06, .12, .03, .68))

نقشهٔ خوشه‌ای، گذشته از اینکه شبیه حشره‌ای پیکسلی (بله، این واژه در OED هست) به نظر می‌رسد، برچسب‌های منزوی (در بالا و سمت چپ) را از برچسب‌های به‌هم‌پیوسته‌تر به‌روشنی جدا می‌کند. خوشه‌های منزوی، مانند موسیقی و پواتوینی (که فکرش را می‌کرد!)، را نیز از خوشه‌های مرکزی‌تر مانند اندازه، ماده، تعریف و سلاح تشخیص می‌دهیم. پیشه‌ها پیوندهای بیشتری دارند، اما دست‌کم در این ماتریس همبستگی خاص، جزو خوشهٔ مشخصی نیستند.

شبکهٔ همبستگی

اگر بخواهیم همبستگی‌های ماتریس را باز هم فشرده‌تر کنیم، گراف‌های شبکه راه حلی ظریف‌اند. این به‌ویژه در زمینه‌هایی صادق است که می‌خواهیم دربارهٔ محتوای دست‌نویس با دیگران سخن بگوییم.
برای این کار باید ماتریس را به فهرستی از یال‌ها و گره‌ها تبدیل کنیم و آستانه‌ای تعیین کنیم تا همبستگی‌های ضعیف‌تر از گراف حذف شوند.

# transform the data
links = cortag.stack().reset_index()
links.columns = ['var1', 'var2','value']

# threshold 
links_filtered = links.loc[(links['value'] > .6) & (links['var1'] != links['var2'])]
links_filtered

# create edges
G = nx.from_pandas_edgelist(links_filtered, 'var1', 'var2')

# draw network using Kamada & Kawai's algorithm 
plt.figure(3,figsize = (12,12))
nx.draw_kamada_kawai(G, with_labels = True, node_color = 'red', node_size = 400, edge_color = 'black', linewidths = 1, font_size = 14)

اگر یال‌ها و گره‌ها زیادند، می‌توانید آستانه را تغییر دهید تا نتیجهٔ تمیزتری بگیرید. در غیر این صورت، می‌توانید گراف را با تابع .write_gexf() صادر کنید و در Gephi با آن کار کنید.

nx.write_gexf(G, 'graph.gexf')

نتیجه را می‌توانید در آغاز این یادداشت ببینید.

به‌روزرسانی: شبکهٔ وزن‌دار دایره‌ای

دنبال راه‌هایی بودم برای نمایش ماتریس‌های همبستگی به‌صورت شبکه‌های وزن‌دار، و این رویکرد جالب را یافتم که و من آن را اینجا برای مجموعه‌دادهٔ خودمان اقتباس می‌کنم.

# create graph weighted by correlation coefficients (unfiltered)
Gx = nx.from_pandas_edgelist(links, 'var1', 'var2', edge_attr=['value'])

# determine a threshold to remove some edges
threshold = 0.4

# list to store edges to remove
remove = []

# loop through edges in Gx and find correlations which are below the threshold
for var1, var2 in Gx.edges():
 corr = Gx[var1][var2]['value']
 #add to remove node list if abs(corr) < threshold
 if abs(corr) < threshold:
 remove.append((var1, var2))

# remove edges contained in the remove list
Gx.remove_edges_from(remove)

print(str(len(remove)) + ' edges removed')

پس از حذف چند یال، می‌توانیم رنگ و ضخامت آن‌ها را تعیین کنیم.

# determine the colors of edges
def assign_colour(correlation):
 if correlation <= 0.8:
 return '#ff872c' # orange
 else:
 return '#f11d28' # red


def assign_thickness(correlation, benchmark_thickness=3, scaling_factor=3):
 return benchmark_thickness * abs(correlation)**scaling_factor


def assign_node_size(degree, scaling_factor=50):
 return degree * scaling_factor

به گره‌ها هم اندازه‌ای متناسب با شمار پیوندهایشان می‌دهیم.

# assign node size depending on number of connections (degree)
node_size = []
for key, value in dict(Gx.degree).items():
 node_size.append(assign_node_size(value))

نتیجه گرافی وزن‌دار است که گره‌های بیشتر و یال‌های به‌مراتب بیشتری را می‌پذیرد و در عین حال خوانا و پرمایه می‌ماند.