211service.com
Datamining afslører historiske begivenheder i regeringens arkivarkiver
Studiet af politisk historie gennemgår en revolution. Drivkraften bag denne ændring er tilgængeligheden af elektroniske optegnelser over statslig aktivitet og evnen til at numrestyre disse data på måder, som aldrig før har været mulige.
Historikere har øjeblikkelig adgang til nutidige nyhedsrapporter om vigtige verdensbegivenheder. Men disse rapporter skal kalibreres ved at sammenligne dem med datidens offentlige optegnelser, som kan afvige på vigtige og ukendte måder. Men disse optegnelser bliver normalt ikke offentliggjort før nogle år senere. Alene antallet af offentlige dokumenter gør denne proces vanskelig, da det er alt for let for forskere at overse noget væsentligt.
Så en automatiseret måde at søge i disse regeringsregistre for vigtige begivenheder ville være enormt nyttig.
Data mining afslører stigningen i regeringskommunikation under Saigons fald (øverst), men kun lidt af betydning relateret til Finland (nederst).
I dag siger Yuanjun Gao ved Columbia University i New York og et par venner, at de har udviklet et sæt statistiske værktøjer, der kan udføre dette job. De har testet teknikken på amerikanske myndigheders elektroniske optegnelser udgivet af National Archives og sammenlignet resultaterne med nutidige nyhedsposter.
Arbejdet er muliggjort af, at det amerikanske udenrigsministerium har opbevaret klassificeret kommunikation elektronisk siden 1973. Mange af optegnelserne fra 1973 til 1977 er nu offentligt tilgængelige og består af 1,4 millioner afklassificerede kabler og metadata forbundet med 0,4 millioner dokumenter. leveret i diplomatisk pose.
Disse elektroniske optegnelser er alle tildelt tags relateret til deres emne. Så kommunikation relateret til Sydvietnam er tagget VS, dem der er relateret til De Forenede Nationale Generalforsamling tagget UNGA, til Finland tagget FI og så videre.
Det giver forskere mulighed for at spore kommunikation relateret til specifikke emner uden at kende detaljerne i selve beskederne.
At plotte antallet af beskeder over tid afslører nogle interessante mønstre. For eksempel afslører det en stigning i kommunikationen vedrørende Sydvietnam i april 1975 på tidspunktet for Saigons fald.
Kommunikation vedrørende FN's generalforsamling stiger med regelmæssige intervaller svarende til datoerne for de forsamlinger, der finder sted hvert år. Dette mønster inkluderer en yderligere stigning i april-maj 1974, som svarer til en særlig FN-session indkaldt af Algeriet for at diskutere dets krav om støtte til en ny international økonomisk orden.
Derimod viser de mærker, der er forbundet med Finland mellem 1973 og 1977, ingen spidser eller særlige mønstre, hvilket afspejler nationens stabilitet på det tidspunkt.
Store spidser er relativt nemme at se visuelt, men Gao og co har udviklet værktøjer til at spotte dem automatisk og rangere deres betydning ved at sammenligne dem med baggrundsniveauet af aktivitet på det tidspunkt.
Det giver holdet mulighed for at lave en rangering af de 30 mest betydningsfulde begivenheder i denne periode.
Ikke alle disse spidser svarer til vigtige verdensbegivenheder. For eksempel vedrører de to største stigninger administrative spørgsmål såsom transport og ændringer i visumregistreringssystemet.
Men ranglisten finder en lang række andre vigtige begivenheder, såsom Carter-administrationens prioritering af menneskerettigheder, Egyptens præsident, Anwar Sadats overraskelsesbesøg i Israel i 1977, den sydøstasiatiske bådfolkskrise i 1975-76, Yom 1973 Kippur-krigen og Portugals tilbagetrækning fra Angola i 1975-76, og så videre.
Det er interessant arbejde, der burde ændre den måde, historikere og samfundsforskere udfører deres arbejde på. Og dette er kun begyndelsen. Denne form for automatiserede metoder kan også vise, hvordan mennesker brugte tagging-processen på det tidspunkt, hvor ofte der blev begået fejl, og om visse typer meddelelser kan være forsvundet.
Og efterhånden som mere detaljerede elektroniske optegnelser frigives, vil forskere være i stand til at udvikle mere avancerede måder at udvinde dem på. Den politiske historie bliver aldrig den samme.
Ref: arxiv.org/abs/1712.07319 : Minebegivenheder med afklassificerede diplomatiske dokumenter