手稿可视化2（更新）

Sat, 20 Nov 2021 16:00:00 +0000

如约而至：介绍的交互式树状图出了新版本，这回有两种查看模式。

注意

为获得更佳的浏览效果，请确保网页设置为浅色模式（点击右上角的月亮图标）。

Group folios by category

Making & Knowing Project

Sun, 27 Dec 2020 00:00:00 +0000

由Pamela H. Smith创立于2014年，有数百位合作者参与，是哥伦比亚大学的一项研究与教学计划。

我以博士后研究员的身份参与该项目，工作之一是BnF Ms. Fr. 640的。这份独一无二的十六世纪法文手稿，让我们得以第一手地窥见一个艺术家即科学家的时代如何制作、如何用料。

该数字版本在上免费提供了大量数据。来年我打算写一组博文，谈这个版本及其数据，展示用Python或R下载、分析文本何等容易。敬请期待！

BnF Ms. Fr. 640语义标记的可视化

Sun, 20 Dec 2020 18:15:00 +0000

概述

数据丰富的学术版本里藏着宝贵的编辑注释，可以提取、分析、可视化，服务于各种学术目的。2020年发布的（《文艺复兴时期法国的工艺与自然之秘》）便是如此：它的元数据文件可从GitHub仓库下载。本文展示如何把这些变量汇成一个相关矩阵，再以不同方式画出来。

数据

Making and Knowing Project生成了一份电子表格，载有手稿内容的最新信息：entry_metadata.csv。该文件可从Making & Knowing的取得。另外，也可以借助Matthew Kumar出色的 ——BnF Ms. Fr. 640的Python版本——生成定制的.csv文件，加入更多标记。

设置Python

数据整理用Pandas，热图用Matplotlib和seaborn，最后用NetworkX生成基于相关的网络。
对这类变量，我们避开Pearson法，改用𝜙𝐾法。请务必先这种相关方法及其对应的库PhiK。

#install packages
pip install phik

# import modules
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import networkx as nx

准备数据

首先，从该版本的metadata文件夹下载最新的元数据文件。我们只选需要的列。本演示中，我选了英文译文tl里的全部语义标签；您也可以选法文转录tc或规范化版本tcn里的标签。数据是分号分隔的值，得让Python替我们数。于是用stack-unstack方法，配合正则表达式[^;\s][^\;]*[^;\s]*来数。为了让矩阵更好读，我们把每一列重新命名。赶时间的话，这一步可以跳过，只需记住此时的数据框叫tagsrn。

# load the edition's metadata
df = pd.read_csv('entry_metadata.csv')

# select the tags you want to correlate
dftags = df[['al_tl', 'bp_tl', 'cn_tl', 'df_tl', 'env_tl', 'm_tl', 'md_tl', 'ms_tl', 'mu_tl', 'pa_tl', 'pl_tl', 'pn_tl', 'pro_tl', 'sn_tl', 'tl_tl', 'tmp_tl', 'wp_tl', 'de_tl', 'el_tl', 'it_tl', 'la_tl', 'oc_tl', 'po_tl']]

# count comma separated values
tagcount = dftags.stack(dropna=False).str.count(r'[^;\s][^\;]*[^;\s]*').unstack()

# rename columns
tagsrn = tagcount.rename(columns={'al_tl': 'animals', 'bp_tl': 'body parts', 'cn_tl': 'currency', 'df_tl': 'definitions', 'env_tl': 'environment', 'm_tl': 'material', 'md_tl': 'medical', 'ms_tl': 'measurement', 'mu_tl': 'music', 'pa_tl': 'plant', 'pl_tl': 'toponym', 'pn_tl': 'person', 'pro_tl': 'profession', 'sn_tl': 'sensory', 'tl_tl': 'tool', 'tmp_tl': 'temporal', 'wp_tl': 'weapons', 'de_tl': 'German', 'el_tl': 'Greek', 'it_tl': 'Italian', 'la_tl': 'Italian', 'oc_tl': 'Occitan', 'po_tl': 'Poitevin'})

计算相关

数据框清理干净，就可以计算各变量之间的相关系数了。这一步要紧的是吃透您的数据，确保用的是最合适的相关方法。pandas-profiling包对此特别有帮助。

# calculate correlation coefficient with the phi k method
cortag = tagsrn.phik_matrix()

cortag就是我们的相关矩阵。现在可以试试不同类型的可视化了。

可视化

首先可以试的，是用seaborn的把它画成一个颜色编码的矩阵。

更新：环形加权网络

我一直在找把相关矩阵显示为加权网络的办法，找到了这个有趣的思路，在此改编到我们的数据集上。

# create graph weighted by correlation coefficients (unfiltered)
Gx = nx.from_pandas_edgelist(links, 'var1', 'var2', edge_attr=['value'])

# determine a threshold to remove some edges
threshold = 0.4

# list to store edges to remove
remove = []

# loop through edges in Gx and find correlations which are below the threshold
for var1, var2 in Gx.edges():
 corr = Gx[var1][var2]['value']
 #add to remove node list if abs(corr) < threshold
 if abs(corr) < threshold:
 remove.append((var1, var2))

# remove edges contained in the remove list
Gx.remove_edges_from(remove)

print(str(len(remove)) + ' edges removed')

去掉几条边之后，就可以决定边的颜色和粗细了。

# determine the colors of edges
def assign_colour(correlation):
 if correlation <= 0.8:
 return '#ff872c' # orange
 else:
 return '#f11d28' # red


def assign_thickness(correlation, benchmark_thickness=3, scaling_factor=3):
 return benchmark_thickness * abs(correlation)**scaling_factor


def assign_node_size(degree, scaling_factor=50):
 return degree * scaling_factor

我们还让节点的大小与其连接数成正比。

# assign node size depending on number of connections (degree)
node_size = []
for key, value in dict(Gx.degree).items():
 node_size.append(assign_node_size(value))

结果是一张加权图：容纳了更多节点和多得多的边，却依然清晰可读、信息丰富。

Filippo Cavriana的秘密通信，1568—1589

Fri, 27 Dec 2019 00:00:00 +0000

Filippo Cavriana的秘密书信，是法国宗教战争独一无二的见证：二十余年间，法国宫廷内外由阴谋、战役、谈判与密谋所主宰的生活，尽在其中。

这些信藏于，大多散落在数百卷未编目的卷宗里——佛罗伦萨人管这叫filze。过去几年，我发现了数十封新信，但这类档案研究正变得越来越难：远离佛罗伦萨，意大利某些公共服务的退化，再加上新冠疫情，都让这类出版项目成了一场漫长而没有把握的工程。

困难虽与日俱增，出版原始史料仍应是历史学家分内之事。不过，这类出版物的形态或许该变一变了：原始史料的出版不仅要适应上述处境，还应更好地体现这类研究的渐进性质，同时让别人有可能接着做下去。

由此便有了这个想法：开发一种新型的数字出版项目，要可扩展、可持续、可信、不依赖平台，并且有可能协作。

版本现已上线：。它汇集了迄今转录的信件——来自佛罗伦萨、曼托瓦的国家档案馆以及法国国家图书馆（BnF）——并随着新信的浮现而不断增长。设计背后的思路，我在里作了说明。

BnF Ms. Fr. 640 |

手稿可视化2（更新）

Making & Knowing Project

BnF Ms. Fr. 640语义标记的可视化

概述

数据

设置Python

准备数据

计算相关

可视化

相关热图

相关聚类图

相关网络

更新：环形加权网络

Filippo Cavriana的秘密通信，1568—1589