数据可视化 |

手稿可视化2（更新）

Sat, 20 Nov 2021 16:00:00 +0000

如约而至：介绍的交互式树状图出了新版本，这回有两种查看模式。

注意

为获得更佳的浏览效果，请确保网页设置为浅色模式（点击右上角的月亮图标）。

Group folios by category

档案的可视化浏览器

Sun, 20 Jun 2021 16:00:00 +0000

问题

数字版本身上有个悖论：它们让艰深的文献走向更广大的公众，可去物质化带来的感官信息的流失，又往往让读者摸不着头脑，甚至打消了深入其内容的念头。在庞大的文献库里穿行，于是变得相当繁琐，令人却步。不只是缺乏档案研究经验的用户如此，有认知障碍的读者也是如此。

解决方案

这正是档案元数据能帮上忙的地方。的确，这类数据让我们能做出交互式的视觉抽象，为读者提供另一种感官输入，从而既提升易用性，也提升可及性。要让档案在视觉上可以穿行，树状图（treemap），或任何能有效分解层级数据的图表，都能派上用场。

实验

我的第一个实验改编了D3.js的，并加上超链接。它呈现的是BnF Ms Fr 640手稿、其各对开页，以及每一对开页内的条目。颜色代表主导类别。鼠标悬停在条目上可以看到更多数据，包括指向手稿的超链接。
这样一来，树状图便成了一个交互式的视觉索引，让读者一眼扫过，便对手稿内容——以及每一对开页、每一条目的篇幅——有个快速而灵敏的概览。
~~接下来几个月，我会继续试验这个想法，尝试别的图表和别的层级……敬请期待！~~ 树状图的新版本请点击。

注意

为获得更佳的浏览效果，请确保网页设置为浅色模式（点击右上角的月亮图标）。

Click any cell to zoom in, or the top to zoom out.

档案一览

Mon, 24 May 2021 16:00:00 +0000

问题

历史档案的杂乱可以叫人望而生畏。的Mediceo del Principato全宗就是个典型：编有目录的只是一小部分，许多文献不知何故散落在6500多卷之中。更麻烦的是，档案馆每次只让你调阅有限数量的卷（他们称之为filze）。平时限额是每天4卷filze；到了疫情期间，降到每两周4卷。没有详细目录，档案又如此庞大，研究者只好自己想办法，好尽快找到要找的文献。

解决方案

有人靠运气，也有人会根据年代、收信人、作者、全宗来源、语言等等，做出有根据的猜测。然而，把这些变量同时看在眼里，或许能揭示档案结构中意想不到的规律，让我们猜得更准。依我的经验，研究者平常记在电子表格里的元数据，一旦画成图，就能大大提高在档案馆里的态势感知。

实验

我目前的研究围绕一位十六世纪间谍的书信。他的信散布在数百卷filze里：以不同的身份写成，寄给不同的、有时出人意料的收信人，发自不同的地点，如此等等。为了找出更可能藏有目标信件的filze，我搭了一个仪表盘——一个交互式数据可视化网页应用（），把各类数据（包括地理和年代信息）与全宗的层级图（）连在一起。仪表盘让我一眼看出已经找到了什么、占多大比例，并大致知道还可以到哪里去找新信。点击某个变量，所有图表还会随之更新，显示特定的关联。

下一步

也许更要紧的是，这个仪表盘可以改作视觉索引。等这些书信的校勘本上线，仪表盘将成为另一个入口，读者可以从这里浏览数据。出于保密考虑，眼下我只能展示一张打了码的截图，完整的仪表盘明年发布。在此之前，很快会先放出一个原型。敬请期待！

BnF Ms. Fr. 640语义标记的可视化

Sun, 20 Dec 2020 18:15:00 +0000

概述

数据丰富的学术版本里藏着宝贵的编辑注释，可以提取、分析、可视化，服务于各种学术目的。2020年发布的（《文艺复兴时期法国的工艺与自然之秘》）便是如此：它的元数据文件可从GitHub仓库下载。本文展示如何把这些变量汇成一个相关矩阵，再以不同方式画出来。

数据

Making and Knowing Project生成了一份电子表格，载有手稿内容的最新信息：entry_metadata.csv。该文件可从Making & Knowing的取得。另外，也可以借助Matthew Kumar出色的 ——BnF Ms. Fr. 640的Python版本——生成定制的.csv文件，加入更多标记。

设置Python

数据整理用Pandas，热图用Matplotlib和seaborn，最后用NetworkX生成基于相关的网络。
对这类变量，我们避开Pearson法，改用𝜙𝐾法。请务必先这种相关方法及其对应的库PhiK。

#install packages
pip install phik

# import modules
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import networkx as nx

准备数据

首先，从该版本的metadata文件夹下载最新的元数据文件。我们只选需要的列。本演示中，我选了英文译文tl里的全部语义标签；您也可以选法文转录tc或规范化版本tcn里的标签。数据是分号分隔的值，得让Python替我们数。于是用stack-unstack方法，配合正则表达式[^;\s][^\;]*[^;\s]*来数。为了让矩阵更好读，我们把每一列重新命名。赶时间的话，这一步可以跳过，只需记住此时的数据框叫tagsrn。

# load the edition's metadata
df = pd.read_csv('entry_metadata.csv')

# select the tags you want to correlate
dftags = df[['al_tl', 'bp_tl', 'cn_tl', 'df_tl', 'env_tl', 'm_tl', 'md_tl', 'ms_tl', 'mu_tl', 'pa_tl', 'pl_tl', 'pn_tl', 'pro_tl', 'sn_tl', 'tl_tl', 'tmp_tl', 'wp_tl', 'de_tl', 'el_tl', 'it_tl', 'la_tl', 'oc_tl', 'po_tl']]

# count comma separated values
tagcount = dftags.stack(dropna=False).str.count(r'[^;\s][^\;]*[^;\s]*').unstack()

# rename columns
tagsrn = tagcount.rename(columns={'al_tl': 'animals', 'bp_tl': 'body parts', 'cn_tl': 'currency', 'df_tl': 'definitions', 'env_tl': 'environment', 'm_tl': 'material', 'md_tl': 'medical', 'ms_tl': 'measurement', 'mu_tl': 'music', 'pa_tl': 'plant', 'pl_tl': 'toponym', 'pn_tl': 'person', 'pro_tl': 'profession', 'sn_tl': 'sensory', 'tl_tl': 'tool', 'tmp_tl': 'temporal', 'wp_tl': 'weapons', 'de_tl': 'German', 'el_tl': 'Greek', 'it_tl': 'Italian', 'la_tl': 'Italian', 'oc_tl': 'Occitan', 'po_tl': 'Poitevin'})

计算相关

数据框清理干净，就可以计算各变量之间的相关系数了。这一步要紧的是吃透您的数据，确保用的是最合适的相关方法。pandas-profiling包对此特别有帮助。

# calculate correlation coefficient with the phi k method
cortag = tagsrn.phik_matrix()

cortag就是我们的相关矩阵。现在可以试试不同类型的可视化了。

可视化

首先可以试的，是用seaborn的把它画成一个颜色编码的矩阵。

更新：环形加权网络

我一直在找把相关矩阵显示为加权网络的办法，找到了这个有趣的思路，在此改编到我们的数据集上。

# create graph weighted by correlation coefficients (unfiltered)
Gx = nx.from_pandas_edgelist(links, 'var1', 'var2', edge_attr=['value'])

# determine a threshold to remove some edges
threshold = 0.4

# list to store edges to remove
remove = []

# loop through edges in Gx and find correlations which are below the threshold
for var1, var2 in Gx.edges():
 corr = Gx[var1][var2]['value']
 #add to remove node list if abs(corr) < threshold
 if abs(corr) < threshold:
 remove.append((var1, var2))

# remove edges contained in the remove list
Gx.remove_edges_from(remove)

print(str(len(remove)) + ' edges removed')

去掉几条边之后，就可以决定边的颜色和粗细了。

# determine the colors of edges
def assign_colour(correlation):
 if correlation <= 0.8:
 return '#ff872c' # orange
 else:
 return '#f11d28' # red


def assign_thickness(correlation, benchmark_thickness=3, scaling_factor=3):
 return benchmark_thickness * abs(correlation)**scaling_factor


def assign_node_size(degree, scaling_factor=50):
 return degree * scaling_factor

我们还让节点的大小与其连接数成正比。

# assign node size depending on number of connections (degree)
node_size = []
for key, value in dict(Gx.degree).items():
 node_size.append(assign_node_size(value))

结果是一张加权图：容纳了更多节点和多得多的边，却依然清晰可读、信息丰富。

数据可视化 |

手稿可视化2（更新）

档案的可视化浏览器

问题

解决方案

实验

档案一览

问题

解决方案

实验

下一步

BnF Ms. Fr. 640语义标记的可视化

概述

数据

设置Python

准备数据

计算相关

可视化

相关热图

相关聚类图

相关网络

更新：环形加权网络