De 70 onlinedatabaser, der definerer vores planet

Tilbage i april så vi på en ambitiøs europæisk plan for at simulere hele planeten. Idéen er at udnytte de enorme mængder data, der genereres af de finansielle markeder, sundhedsjournaler, sociale medier og klimaovervågning til at modellere planetens klima, samfund og økonomi. Visionen er, at et system som dette kan hjælpe med at forstå og forudsige kriser, før de opstår, så regeringer kan træffe passende foranstaltninger på forhånd.

Her er mange udfordringer. Ingen har endnu den nødvendige computerkraft til en sådan opgave, og der er heller ikke modeller, der nøjagtigt kan modellere selv meget mindre systemer. Men før noget af det er muligt, skal forskerne indsamle de økonomiske, sociale og teknologiske data, der er nødvendige for at fodre denne maskine.

I dag får vi en storslået rundvisning i denne udfordring fra Dirk Helbing og Stefano Balietti på det schweiziske føderale teknologiske institut i Zürich. Helbing er drivkraften bag dette projekt og manden, der vil lede det, hvis han får den 1 milliard euro, han har brug for, fra Europa-Kommissionen.

Det viser sig, at der allerede er adskillige datakilder, der kunne levere det nødvendige brændstof til at drive Helbings Earth Simulator. Tidligere har indsamling af data om menneskelig aktivitet stort set været blokeret af økonomiske, teknologiske og etiske spørgsmål, siger Helbing og Balietti. Sådan er det ikke længere.

Mens gode data fra samfundsvidenskabelige eksperimenter tidligere har været svære at finde, er forskere i øjeblikket oversvømmet af det takket være en ny generation af laboratorieeksperimenter, web-eksperimenter og studiet af massive multi-player online-spil.

Disse og andre aktiviteter producerer nu enorme mængder data, hvoraf mange er frit tilgængelige på nettet.

Selvfølgelig er en af ​​farerne ved en sådan tilgang, at alle etiske spørgsmål sandsynligvis vil blive oversvømmet af denne flodbølge af tal. Dette skal behandles omgående. Mens Helbing og kolleger skriver overbevisende om de potentielle fordele ved en Earth Simulator, er det svært at tro, at de har tænkt lige så meget over de potentielle risici.

Så for at stimulere denne debat, gengiver jeg her Helbings liste over websteder, der er potentielle datakilder for en Earth Simulator. Det giver fascinerende, om end nervøs, læsning:

Internet og historiske snapshots
Internetarkiv / Wayback-maskine
Internetarkivet tilbyder permanent adgang for forskere, historikere, forskere, mennesker med handicap og den brede offentlighed til historiske samlinger, der findes i digitalt format. Grundlagt i 1996, nu inkluderer Internet Archive tekster, lyd, levende billeder og software samt arkiveret

Wikipedia
Wikipedia er den mest berømte encyklopædi, der redigeres i samarbejde. Da hver ændring er gemt, kan websiders historie give et detaljeret emnebaseret overblik over de vigtigste referencer fra fortiden.

Videncentrene
En samling af links til andre ressourcer til at finde websider, som de plejede at eksistere i fortiden.

Hvornår siden
Whenago giver hurtig adgang til historisk information om, hvad der skete i fortiden på en given dag.

Verdens digitale bibliotek
World Digital Library (WDL) stiller væsentlige primære materialer fra lande og kulturer rundt om i verden til rådighed på internettet, gratis og i flersproget format.

Informationssøgningsmotorer
Freebase
Freebase er et åbent, Creative Commons-licenseret lager af strukturerede data fra mere end 12 millioner enheder. Det giver samarbejdsværktøjer til at forbinde enheder sammen og holde dem opdateret.

Wolfram Alpha Computational Knowledge Engine
Et forsøg på at beregne, hvad der kan beregnes om hvad som helst. Det sigter mod at levere en enkelt kilde, som alle kan stole på for at få endelige svar på faktuelle spørgsmål.

Tekstmining på nettet
Google Trends
Google Trends viser visuel statistik over, hvor ofte der er søgt på søgeord på Google over tid. Google Trends viser også, hvor ofte emner er dukket op i Google Nyheder, og i hvilke geografiske områder folk har søgt mest efter dem.

Google influenzatrends
Google Flu Trends bruger aggregerede Google-søgedata til at estimere influenzaaktivitet. Data er også tilgængelige for download.

Observatoriet
Observatorium-projektet fokuserer på kompleks netværksdynamik på Internettet og foreslår at overvåge udviklingen i realtid med det generelle mål at forstå processerne for videngenerering og meningsdynamik.

Vi har det godt
En database med flere millioner menneskelige følelser, høstet fra blogs og sociale sider på nettet. Ved hjælp af en række legende grænseflader kan følelserne søges og sorteres på tværs af en række demografiske udsnit. Web-api er også tilgængelig.

Cyberfølelser
CyberEmotions-projektet fokuserer på kollektive følelsers rolle i at skabe, danne og nedbryde fællesskaber. Det gør det muligt at downloade tre datasæt, der indeholder nyheder og kommentarer fra BBC News forum, Digg og MySpace, kun til akademisk forskning og kun efter indsendelse af en ansøgningsformular.

Social datadeling
Tilknyttede data
Sammenkædede data handler om at bruge nettet til at forbinde relaterede data, der ikke tidligere var linket, eller at bruge nettet til at sænke barriererne for at linke data, der i øjeblikket er linket ved hjælp af andre metoder.

Dataverse netværksprojekt
Dataverse Network er en applikation til at publicere, dele, referere, udtrække og analysere forskningsdata. Det letter at gøre data tilgængelige for andre og gør det muligt at replikere andres arbejde. Forskere og dataforfattere får kredit, udgivere og distributører får kredit, tilknyttede institutioner får kredit.

Data360
Data360 er et open source, samarbejdende og gratis websted. Siden er vært for en fælles og delt database, som enhver person eller organisation, der er forpligtet til neutralitet og ikke-partiskhed (det vil sige lad dataene tale), kan bruge til præsentationer og visualiseringer.

Drejelig
Swivel er et websted, hvor folk deler rapporter om diagrammer og tal. Det er gratis for offentlige data, og opkræver et månedligt gebyr for folk, der ønsker at bruge det privat.

Mange øjne
Et IBM-initiativ, der giver brugerne mulighed for at uploade deres datasæt og bruge en samling værktøjer til at få meningsfulde visualiseringer fra dem. Hver visualisering er offentligt gemt på en dedikeret side, hvor brugerne kan kommentere, bedømme og tagge den. Genbrug af data er muligt og tilskyndes.

Konfliktdata
CSCW-data om væbnet konflikt
CSCW og Uppsala Conflict Data Program (UCDP) ved Institut for Freds- og Konfliktforskning, Uppsala Universitet, har samarbejdet om fremstillingen af ​​et datasæt over væbnede konflikter, både interne og eksterne, i perioden 1946 til i dag. I øjeblikket er det sandsynligvis det mest omfattende datasæt, der er tilgængeligt, især for historiske data.

WarViews
Målet med WarViews-projektet er at skabe en brugervenlig front-end til udforskning af GIS-data om konflikt. Det kan køre på en webbrowser, eller det kan vises ved hjælp af Google Earth.

Følgende er borgerkrigsspecifikke datasæt med yderligere empirisk information:
Etniske gruppers placeringsdatasæt
Etniske magtbalancer datasæt
Indsamling af opdaterede datasæt og kodebøger fra Uppsala Conflict Data Program (UCDP) .

ACLED
Delvist indeholdt i PRIO-datasættet, ACLED (Armed Conflict Location and Events Dataset) er designet til disaggregeret konfliktanalyse og krisekortlægning. Dette datasæt koder placeringen af ​​alle rapporterede konflikthændelser i 50 lande i udviklingslandene. Data bliver i øjeblikket kodet fra 1997 til 2009, og projektet fortsætter med at tilbagedatere konfliktinformation for afrikanske stater til uafhængighedsåret.

CERAC
Conflict Analysis Resource Center er vært for adskillige konfliktdatasæt på tværs af lande og nogle få datasæt fra bestemte lande. Lagre har også datasæt af politisk ustabilitet og konflikt.

Det tværnationale tidsseriedataarkiv
The Cross-National Time-Series Data Archive leverer årlige data for en række lande fra 1815 til i dag. Ofte citeret, er det et af de førende datasæt om politisk vold, ifølge Robert Bates ved Harvard University. Det er muligvis det mest udbredte hændelsesdatasæt ifølge Henrik Urdal, International Peace Research Institute, Oslo (PRIO).

Landespecifikke arkiver: Irak , Afghanistan
Indsamling af datasæt over terrorhandlinger .

Data inden for økonomi og finans
Bloomberg
International realtidsdataleverandør til beslutningstagere inden for finans, erhvervsliv og regering.

Maddison Data
Historisk statistik om BNP og befolkningsdata.

UNCTAD statistik
UNCTAD Handbook of Statistics online leverer tidsserier af økonomiske data og udviklingsindikatorer, i nogle tilfælde helt tilbage til 1950; onlinedatabasen for råvareprisstatistik; UNCTAD-TRAINS på internettet (handelsanalyse- og informationssystem) for handelskontrolforanstaltninger samt importstrømme efter oprindelse for over 130 lande; databasen for udenlandske direkte investeringer (FDI).

OECD's statistikportal
Stor samling af datasæt, der dækker økonomi, demografi. Udtræk er frit tilgængelige, fuld adgang kræver abonnement.

EUROSTAT
Detaljerede statistikker om EU og kandidatlande samt diverse statistiske publikationer til salg.

Hvor er George?
Rumligt sporingssystem for amerikanske og canadiske dollars.

Eurobilltracker
Rumligt sporingssystem for eurosedler.

Videnskabelige samarbejdsdata
ISI Web of Knowledge
Omfattende kilde til information inden for videnskab, samfundsvidenskab, kunst og humaniora. Det omfatter flere datasæt, blandt hvilke følgende måske er de mest bemærkelsesværdige:
Journal Citation Reports. Det giver en mulighed for at vurdere og sammenligne tidsskrifter ved hjælp af citatdata hentet fra over 7.500 videnskabelige og tekniske tidsskrifter;
Web of Science. Den består af syv databaser, der indeholder information indsamlet fra tusindvis af videnskabelige tidsskrifter, bøger, bogserier, rapporter, konferencer og mere.

Google Scholar
Google Scholar er søgemaskine specialiseret i videnskabelig litteratur. Den indekserer forskellige kilder (artikler, bøger, abstract, afhandlinger osv.) fra flere discipliner og sorterer dem efter antal citater, forfatter og tidsskrifts indvirkningsfaktor.

Scholarometer
Scholarometer er et socialt værktøj til at lette citationsanalyse og hjælpe med at evaluere virkningen af ​​en forfatters publikationer. Det fungerer som et software-plugin til Firefox-browseren.

Scopus
Scopus er en meget stor abstrakt- og citationsdatabase over forskningslitteratur. Den er kun tilgængelig for registrerede brugere.

Levende Videnskab
Living Science er et globalt videnskabeligt observatorium i realtid baseret på publikationer indsendt til arXiv.org. Det dækker realtid (daglige) indsendelser af publikationer inden for så forskellige områder som fysik, astronomi, datalogi, matematik og kvantitativ biologi. I øjeblikket opdateres indholdet dynamisk hver dag. Living Science er et kraftfuldt analyseværktøj til at identificere omfanget og virkningen af ​​videnskabeligt arbejde på verdensplan.

Samfundsvidenskab
ICPSR fra University of Michigan
ICPSR tilbyder mere end 500.000 digitale filer, der indeholder samfundsvidenskabelige forskningsdata. Repræsenterede discipliner omfatter statsvidenskab, sociologi, demografi, økonomi, historie, gerontologi, strafferet, folkesundhed, udenrigspolitik, terrorisme, sundheds- og lægebehandling, tidlig uddannelse, uddannelse, racemæssige og etniske minoriteter, psykologi, jura, stofmisbrug og mental sundhed og meget mere.

UK Data Center ved University of Essex
Storbritanniens største samling af digitale forskningsdata inden for samfundsvidenskab og humaniora.

Berkeleys UC DATA-arkiv
UC DATAs databeholdning er primært inden for områderne stats-, samfunds- og sundhedsvidenskab.

Den økonomiske og sociale datatjeneste (ESDS)
Den økonomiske og sociale datatjeneste (ESDS) er en national datatjeneste, der giver adgang til og support til en lang række vigtige økonomiske og sociale data, både kvantitative og kvalitative, der spænder over mange discipliner og temaer. Den indeholder et kort over yderligere datasæt fra flere europæiske lande.

CESSDA
Brede datasamlinger, herunder sociologiske undersøgelser, valgundersøgelser, longitudinelle undersøgelser, meningsmålinger og folketællingsdata. Blandt materialerne er internationale og europæiske data såsom European Social Survey, Eurobarometers og International Social Survey Programme.

Gapminder Data
Gapminder er en populær teknologi og webapplikation til krydsvisualisering af trends i tidsserier af data. Det åbner også et arkiv med flere datasæt om forskellige socioøkonomiske indikatorer.

Verdensværdiundersøgelse
World Value Survey giver data om værdier og kulturelle ændringer i samfund over hele verden.

Bydata
Global Urban Observatory database
Global Urban Observatory (GUO) tilbyder politikorienterede byindikatorer, statistik og anden byinformation.

Byobservatoriet
USA-baserede datasæt om rigdom, innovation og kriminalitet på tværs af byer.

Trafikdata
kørekort
Next Generation Simulation (NGSIM)-programmet blev initieret af United States Department of Transportation (US DOT). Programmet udviklede en kerne af åbne adfærdsalgoritmer til støtte for trafiksimulering og indsamlede primære spor- og banedata af høj kvalitet beregnet til at understøtte forskning og test af de nye algoritmer.

Schweiziske forbundsvejekontor FEDRO
Swiss Federal Roads Office tilbyder et omfattende overblik over trafikstrømmene i Schweiz. Data er indsamlet af permanente automatiske trafiktællerstationer og suppleret med regelmæssig manuel kontrol siden 1961.

Trafikdata
Formålet med projektet International Traffic Database (ITDb) er at levere trafikdata til forskellige grupper (forskere, praktikere, offentlige enheder) i et format, der passer til deres særlige behov, lige fra rå måledata til statistisk analyse. ITDb fremmer et fleksibelt trafikdataleveringsformat baseret på brugerbehov og standardvaner.

Opgørelsescentral for transportdata
Clearinghuset for transportdata i German Aerospace Center er det første kontaktpunkt for et hurtigt overblik over de tilgængelige data. Det er målrettet både organisationer, der indsamler transportrelevante data, og dem, der ønsker at bruge resultaterne af sådan forskning. De tilbudte informationer omfatter udarbejdelse af detaljerede metadata om datasættene, samt noter om mulige anvendelser og kilder.

Desuden Regiolab Delft
Regionlab-delft-initiativet startede lige efter 2000 som et fælles projekt ledet af TU Delft i samarbejde med Delft kommune, forskerskolen TRAIL, provinsen Sydholland, transportministeriet og flere industrielle partnere. Det arkiverede datasæt består af over 6 år med 1 minuts gennemsnitshastighed og aggregerede flowdata fra tæt anbragte induktive sløjfer på motorvejsnetværket i provinsen Sydholland og andre data fra vejkrydskontrollere, nummerpladedetekteringskameraer og meget mere.

RITA
Research and Innovative Technology Administration (RITA) i det amerikanske transportministerium tilbyder adskillige datasæt om søfart, fragt, flyselskaber, passagerer osv. trafikstatistik.

ETH Travel Data Archive (ETHTDA)
ETH Travel Data Archive (ETHTDA) er en virtuel platform, der giver slutbrugere mulighed for at gennemse de arkiverede rejsedata over nettet og muliggøre enkel statistisk analyse.

Metropolitan Travel Survey Archive
Metropolitan Travel Survey Archive til at opbevare, bevare og gøre offentligt tilgængelige via internettet af rejseundersøgelser udført af storbyområder, stater og lokaliteter.

Infoblu
Infoblu er en privat virksomhed, der leverer trafikovervågningstjenester i realtid til Italien. Alle tjenester er tilgængelige mod et gebyr.

Åbn kort
Google kort
Verdensberømt korttjeneste. Det tilbyder flere yderligere tjenester såsom: Street View, brugeruploadet indhold (fotos, kommentarer og vurderinger) og personlige overlejringer gennem service-api'er.

OpenStreetMap
OpenStreetMap (af UCL) er et gratis redigerbart kort over hele verden. OpenStreetMap giver dig mulighed for at se, redigere og bruge geografiske data på en kollaborativ måde fra hvor som helst på jorden.

Tracksource Brasilien
Tracksource er et samarbejdsprojekt, der har til formål at skabe og distribuere gratis kort over Brasilien.

Logistik data
National husstandsrejseundersøgelse
National Household Travel Survey (NHTS) indsamler data om både langdistance- og lokale rejser fra den amerikanske offentlighed. Den fælles undersøgelse indsamler rejserelaterede data såsom transportform, varighed, afstand og formål med turen. Den indsamler også demografiske, geografiske og økonomiske data til analyseformål. Det er en del af RITA.

Råvarestrømsundersøgelse
Commodity Flow Survey (CFS) er den primære kilde til nationale og statslige data om indenlandske fragtforsendelser fra amerikanske virksomheder inden for minedrift, fremstilling, engros, hjælpevirksomheder og udvalgte detailindustrier. Der gives data om typer, oprindelse og destinationer, værdier, vægte, transportformer, afstandsforsendelser og ton-mile af afsendte varer. Det er en del af RITA, og det udføres hvert femte år (sidste prøveudtagning i 2007).

Klimadata
Julich
Klimadata fra Julich Research Center.

Google.org
Google introducerer sine datadrevne filantropiske projekter, blandt andet to miljøsatellitobservatorier:
Earth Engine: til overvågning af tendenser i verdens skovrydning;
Crisis Response: til overvågning af olieudslippet fra Deep Horizon sank platformen.

Reality minedrift
Reality Mining
Adfærdsdata indsamlet fra 100 mobiltelefoner over 9 måneder. Indeholder både nærheds- og telefonbrugsstatistikker. To anonymiserede datasæt tilgængelige: enkeltbruger (MySQL) og global (Matlab).

Andre åbne data tiltag
Data.gov
Bred samling af offentlige amerikanske datasæt tilgængelige for forskning.

Data.gov.uk
Bred samling af offentlige britiske datasæt tilgængelige for forskning.

Graver i data
Lanceret af National Science Foundation (NSF) tilbyder den en samling af forskellige datalagre.

Guardian Data Blog
Datajournalistik-initiativ, der poster datasæt af offentlig interesse (primært UK-relevante) sammen med deres analyse. Nogle få samarbejder med datavisualiseringskunstnere er også til stede.

Google offentlige data
Google tilbyder adskillige store datasæt på forskellige socioøkonomiske verdensindikatorer og giver værktøjer til nem visualisering.

Ref: arxiv.org/abs/1012.0178 : Fra Social Data Mining til Forecasting Socio-Økonomiske Kriser

skjule