Multi-Saxon

Fri, 28 Mar 2025 00:00:00 +0000

Multi-Saxon: parallell XSLT-bearbetning av stora TEI-korpusar

Multi-Saxon fyller en kännbar lucka bland XML-verktygen genom att möjliggöra parallell körning av XSLT 2.0- och 3.0-transformationer som LXML (ett populärt XML-bibliotek för Python) inte klarar. Multi-Saxon är utformat särskilt för stora samlingar av XML-TEI-dokument och kortar bearbetningstiden avsevärt genom effektiv parallellkörning.

Huvudfunktioner

Avancerat XSLT-stöd: bearbetar XSLT 2.0- och 3.0-transformationer bortom LXML:s förmåga
Parallell bearbetning: kortar transformationstiden dramatiskt för stora dokumentsamlingar genom parallellisering
TEI-optimerat: särskilt konstruerat för XML-dokument enligt Text Encoding Initiative (TEI)
Skalbar prestanda: hanterar effektivt korpusar från hundratals till tusentals dokument
Plattformsoberoende: fungerar i olika operativsystem och miljöer

Problemet Multi-Saxon löser

Forskare inom digital humaniora som arbetar med TEI ställs ofta inför två stora svårigheter:

LXML (ett vanligt XML-bibliotek för Python) stöder bara XSLT 1.0, vilket gör det omöjligt att använda de mer avancerade funktionerna i XSLT 2.0/3.0
Att bearbeta stora TEI-korpusar sekventiellt kan ta oöverkomligt lång tid

Multi-Saxon löser båda problemen genom att utnyttja Saxons avancerade XSLT-funktioner och samtidigt fördela bearbetningen över flera processorkärnor, med betydande prestandavinster som följd.

Implementering

Multi-Saxon kombinerar Python med Javas Saxon-processor i en högpresterande transformationskedja:

använder Javas Saxon-bibliotek för robust XSLT 2.0/3.0-bearbetning
använder multiprocessing för att fördela transformationerna över tillgängliga processorkärnor
hanterar processorpooler effektivt för maximal genomströmning
erbjuder ett enkelt gränssnitt för batchbearbetning av TEI-dokument

Användningsexempel

from multi_saxon import MultiSaxon

# Initialize with your XSLT stylesheet
transformer = MultiSaxon("transform.xsl")

# Transform a single document
transformer.transform("input.xml", "output.xml")

# Transform an entire directory in parallel
transformer.transform_directory("input_dir", "output_dir")

Betydelse för digital humaniora

För projekt inom digital humaniora med stora TEI-samlingar möjliggör Multi-Saxon:

komplexa transformationer av hela korpusar som vore omöjliga med LXML
dramatiskt kortare bearbetningstider (ofta 5–10 gånger snabbare på flerkärniga system)
mer avancerad analys tack vare funktionerna i XSLT 2.0/3.0
ett enklare arbetsflöde för bearbetning av hela dokumentsamlingar

Källkod och dokumentation finns i .