Visualización De Datos |

Visualizar manuscritos 2 (actualización)

Sat, 20 Nov 2021 16:00:00 +0000

Como prometí, aquí va una nueva versión del treemap interactivo que presenté en una , esta vez con dos modos de visualización.

Nota

Para verlo mejor, asegúrese de que la página está en modo claro (pulse el icono de la luna, arriba a la derecha).

Group folios by category

Un navegador visual para el archivo

Sun, 20 Jun 2021 16:00:00 +0000

El problema

Las ediciones digitales viven en una paradoja: ponen documentos recónditos al alcance de un público más amplio, pero la pérdida de estímulos sensoriales que acarrea su desmaterialización tiende a desorientar al lector, cuando no a disuadirlo de adentrarse en su contenido. Moverse por vastos repositorios documentales resulta engorroso e intimidante, y no solo para quien carece de experiencia en la investigación de archivo: también para los lectores con deficiencias cognitivas.

La solución

Aquí es donde los metadatos archivísticos pueden sernos útiles. Con ellos se construyen abstracciones visuales interactivas que ofrecen al lector una entrada sensorial alternativa y mejoran, de paso, la ergonomía y la accesibilidad. Para que el archivo pueda recorrerse con la vista, un treemap (mapa de árbol), o cualquier diagrama que desglose con eficacia datos jerárquicos, puede servir.

El experimento

Mi primer experimento adapta el para D3.js y le añade hipervínculos. Representa el manuscrito BnF Ms. Fr. 640, sus folios y las entradas de cada folio; los colores indican la categoría dominante, y al pasar el cursor por una entrada aparecen más datos, incluido el enlace al manuscrito.
El treemap se convierte así en un índice visual interactivo que ofrece al lector una visión de conjunto, rápida y ágil, no solo del contenido del manuscrito, sino también de las dimensiones de cada folio y de cada entrada.
~~En los próximos meses seguiré dándole vueltas a esta idea con otros diagramas y otras jerarquías… ¡No se lo pierdan!~~ Para una nueva versión del treemap, pulse .

Nota

Para verlo mejor, asegúrese de que la página está en modo claro (pulse el icono de la luna, arriba a la derecha).

Click any cell to zoom in, or the top to zoom out.

El archivo de un vistazo

Mon, 24 May 2021 16:00:00 +0000

El problema

Los archivos históricos pueden ser de un desorden desalentador. El Mediceo del Principato del es un buen ejemplo: solo una pequeña parte está inventariada, y muchos de sus documentos andan dispersos, sin razón aparente, por más de 6500 volúmenes. Para colmo, el archivo solo permite consultar un número limitado de volúmenes —o filze, como los llaman allí—: cuatro filze al día en tiempos normales; en tiempos de pandemia, cuatro cada dos semanas. A falta de inventarios detallados, las dimensiones del archivo obligan al investigador a idear estrategias para dar pronto con los documentos que busca.

La solución

Unos se fían del azar; otros hacen además conjeturas fundadas a partir de la cronología, los destinatarios, los autores, el origen del fondo, la lengua, etc. Ahora bien, mirar todas esas variables a la vez puede sacar a la luz pautas insospechadas en la estructura del archivo y afinar nuestras conjeturas. Mi experiencia dice que los metadatos que los investigadores suelen acumular en una hoja de cálculo, una vez representados gráficamente, aumentan de forma notable la conciencia situacional en el archivo.

El experimento

Mi investigación actual gira en torno a la correspondencia de un espía del siglo XVI. Sus cartas están repartidas por cientos de filze: escritas bajo identidades distintas, a destinatarios distintos y a veces inesperados, desde lugares distintos, etc. Para localizar las filze con más probabilidades de contener las cartas que busco, he montado un panel (dashboard), una aplicación web de visualización interactiva ( ) que conecta datos de toda índole —geográficos y cronológicos, entre otros— con un diagrama jerárquico ( ) del fondo. El panel me dice de un vistazo qué se ha encontrado ya, cuánto representa y dónde podría, a grandes rasgos, buscar nuevas cartas. Y al pulsar sobre una variable concreta, todos los diagramas se actualizan para mostrar correlaciones específicas.

Próximos pasos

Más importante aún: el panel puede reconvertirse en índice visual. Cuando la edición crítica de estas cartas se publique en línea, servirá de punto de entrada alternativo desde el que los lectores podrán recorrer los datos. Por razones de confidencialidad, de momento solo puedo mostrar una captura de pantalla con partes tapadas, pero el año que viene publicaré el panel completo. Mientras tanto, pronto habrá un prototipo disponible. ¡No se lo pierdan!

Visualizar el marcado semántico del BnF Ms. Fr. 640

Sun, 20 Dec 2020 18:15:00 +0000

Panorama

Las ediciones críticas ricas en datos guardan valiosas anotaciones editoriales que se pueden extraer, analizar y visualizar con fines académicos de toda índole. Es el caso de , publicada en 2020, cuyo archivo de metadatos puede descargarse de su repositorio de GitHub. En esta entrada muestro cómo reunir todas esas variables en una matriz de correlación y visualizarlas de varias maneras.

Los datos

El Making and Knowing Project genera una hoja de cálculo con información actualizada sobre el contenido del manuscrito: entry_metadata.csv. El archivo está en el de Making & Knowing. También pueden generarse archivos .csv a medida, con más marcado, gracias al excelente de Matthew Kumar, una versión en Python del BnF Ms. Fr. 640.

Preparar Python

Usaremos Pandas para manipular los datos, Matplotlib y seaborn para los mapas de calor y, por último, NetworkX para construir redes a partir de las correlaciones.
Para variables de este tipo evitaremos el método de Pearson y recurriremos al método 𝜙𝐾. No deje de sobre este método de correlación y sobre PhiK, la biblioteca correspondiente.

#install packages
pip install phik

# import modules
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import networkx as nx

Preparar los datos

Descarguemos primero el último archivo de metadatos de la edición, en la carpeta metadata de su . Nos quedaremos solo con las columnas que necesitamos. Para esta demostración elijo todas las etiquetas semánticas de la traducción inglesa tl, pero también pueden tomarse las de la transcripción francesa tc o las de la versión normalizada tcn. Los datos vienen como valores separados por punto y coma, y necesitamos que Python los cuente por nosotros; lo haremos con el método stack-unstack y la expresión regular [^;\s][^\;]*[^;\s]*. Para que la matriz resulte más legible, renombramos cada columna. Si tiene prisa puede saltarse este paso; recuerde solo que, a estas alturas, nuestro dataframe se llama tagsrn.

# load the edition's metadata
df = pd.read_csv('entry_metadata.csv')

# select the tags you want to correlate
dftags = df[['al_tl', 'bp_tl', 'cn_tl', 'df_tl', 'env_tl', 'm_tl', 'md_tl', 'ms_tl', 'mu_tl', 'pa_tl', 'pl_tl', 'pn_tl', 'pro_tl', 'sn_tl', 'tl_tl', 'tmp_tl', 'wp_tl', 'de_tl', 'el_tl', 'it_tl', 'la_tl', 'oc_tl', 'po_tl']]

# count comma separated values
tagcount = dftags.stack(dropna=False).str.count(r'[^;\s][^\;]*[^;\s]*').unstack()

# rename columns
tagsrn = tagcount.rename(columns={'al_tl': 'animals', 'bp_tl': 'body parts', 'cn_tl': 'currency', 'df_tl': 'definitions', 'env_tl': 'environment', 'm_tl': 'material', 'md_tl': 'medical', 'ms_tl': 'measurement', 'mu_tl': 'music', 'pa_tl': 'plant', 'pl_tl': 'toponym', 'pn_tl': 'person', 'pro_tl': 'profession', 'sn_tl': 'sensory', 'tl_tl': 'tool', 'tmp_tl': 'temporal', 'wp_tl': 'weapons', 'de_tl': 'German', 'el_tl': 'Greek', 'it_tl': 'Italian', 'la_tl': 'Italian', 'oc_tl': 'Occitan', 'po_tl': 'Poitevin'})

Correlacionar

Con el dataframe limpio, podemos calcular los coeficientes de correlación entre cada par de variables. En este punto es importante entender bien los datos y elegir el método de correlación más adecuado; el paquete pandas-profiling ayuda mucho en esa tarea.

# calculate correlation coefficient with the phi k method
cortag = tagsrn.phik_matrix()

cortag es nuestra matriz de correlación. Ahora podemos ensayar distintos tipos de visualización.

Visualizar

Lo primero que se puede probar es representarla como una matriz codificada por colores, con el de seaborn.

Mapa de calor de correlaciones

f, ax = plt.subplots(figsize=(16, 14))
ax = sns.heatmap(cortag, linewidths=.03, vmin=0, cmap="Oranges", square=True)

Quien conozca bien el texto verá enseguida que el mapa de calor tiene mucho sentido. Los nombres, por ejemplo, están fuertemente correlacionados con el latín, pues era costumbre —sobre todo entre los humanistas del siglo XVI— latinizarlos.

Se dirá que este mapa de calor no hace sino constatar lo evidente. No es del todo falso: a primera vista, las etiquetas médicas parecen dar la razón a quien lo diga, pues se correlacionan, como cabía esperar, con partes del cuerpo, medidas y plantas.

Pero si leemos el mapa con más atención, línea por línea, aparecen correlaciones interesantes e inesperadas. Que las etiquetas médicas se correlacionen con palabras italianas y latinas, por ejemplo, da pistas sobre el origen de las recetas médicas del Ms. Fr. 640. Del mismo modo, la correlación entre profesiones, definiciones y medidas muestra hasta qué punto la identidad profesional estructura el discurso técnico del siglo XVI.

Mapa de agrupamiento (clustermap) de correlaciones

Los mapas de calor son útiles en contextos «exploratorios», pero al público pueden parecerle algo enmarañados, sobre todo si uno está discutiendo —o todavía buscando— agrupaciones semánticas concretas en el manuscrito. El módulo clustermap de seaborn puede dar resultados interesantes.

clustermap = sns.clustermap(cortag, figsize=(12, 13), dendrogram_ratio=(.1, .2), vmin=0, cmap="Oranges", cbar_pos=(-.06, .12, .03, .68))

Además de parecer un insecto pixelado (sí, la palabra está en el OED), el clustermap separa con claridad las etiquetas aisladas (arriba y a la izquierda) de las más interconectadas. Se distinguen también agrupaciones aisladas, como música y poitevino (¡quién lo hubiera dicho!), frente a otras más centrales, como medidas, materiales, definiciones y armas. Las profesiones están más interconectadas, pero no forman parte, al menos en esta matriz, de ninguna agrupación en particular.

Red de correlaciones

Si queremos condensar aún más las correlaciones de la matriz, los grafos de red ofrecen una solución elegante, sobre todo cuando se trata de comunicar el contenido del manuscrito.
Para ello hay que convertir la matriz en una lista de aristas y nodos, y fijar un umbral que elimine del grafo las correlaciones más débiles.

# transform the data
links = cortag.stack().reset_index()
links.columns = ['var1', 'var2','value']

# threshold 
links_filtered = links.loc[(links['value'] > .6) & (links['var1'] != links['var2'])]
links_filtered

# create edges
G = nx.from_pandas_edgelist(links_filtered, 'var1', 'var2')

# draw network using Kamada & Kawai's algorithm 
plt.figure(3,figsize = (12,12))
nx.draw_kamada_kawai(G, with_labels = True, node_color = 'red', node_size = 400, edge_color = 'black', linewidths = 1, font_size = 14)

Si hay demasiadas aristas y nodos, siempre puede cambiar el umbral para obtener un resultado más limpio. O bien exportar el grafo con la función .write_gexf() y jugar con él en Gephi.

nx.write_gexf(G, 'graph.gexf')

El resultado puede verse al principio de esta entrada.

Actualización: red circular ponderada

Andaba buscando maneras de representar matrices de correlación como redes ponderadas cuando di con este interesante enfoque , que adapto aquí a nuestro conjunto de datos.

# create graph weighted by correlation coefficients (unfiltered)
Gx = nx.from_pandas_edgelist(links, 'var1', 'var2', edge_attr=['value'])

# determine a threshold to remove some edges
threshold = 0.4

# list to store edges to remove
remove = []

# loop through edges in Gx and find correlations which are below the threshold
for var1, var2 in Gx.edges():
 corr = Gx[var1][var2]['value']
 #add to remove node list if abs(corr) < threshold
 if abs(corr) < threshold:
 remove.append((var1, var2))

# remove edges contained in the remove list
Gx.remove_edges_from(remove)

print(str(len(remove)) + ' edges removed')

Eliminadas unas cuantas aristas, podemos fijar su color y su grosor.

# determine the colors of edges
def assign_colour(correlation):
 if correlation <= 0.8:
 return '#ff872c' # orange
 else:
 return '#f11d28' # red


def assign_thickness(correlation, benchmark_thickness=3, scaling_factor=3):
 return benchmark_thickness * abs(correlation)**scaling_factor


def assign_node_size(degree, scaling_factor=50):
 return degree * scaling_factor

Damos también a los nodos un tamaño proporcional a su número de conexiones.

# assign node size depending on number of connections (degree)
node_size = []
for key, value in dict(Gx.degree).items():
 node_size.append(assign_node_size(value))

El resultado es un grafo ponderado que admite más nodos y bastantes más aristas sin dejar de ser legible e informativo.