Infrastruktur

I KUDAF er det to viktige interessentgrupper:

Datakonsumenter:
Brukere med et kunnskapsbehov de ønsker dekke gjennom tilgang til data.

Datatilbydere:
Virksomheter i sektoren som forvalter data som kan gi kunnskap og innsikt.

For å lykkes er det viktig at begge gruppene får dekket sine behov på en best mulig måte. Dette stiller høye krav til brukervennlighet, og at hele brukeropplevelsen oppleves som minst mulig friksjonsfylt for begge parter. Det må realiseres helhetlige brukerreiser som hjelper både konsument og tilbyder gjennom sine respektive brukerreiser uten blokkerende spørsmål eller usikkerheter underveis. For å oppnå dette har vi identifisert flere del-leveranser og komponenter det jobbes fortløpende med.

Utviklingsteamet har en smidig tilnærming til produktutvikling, og baserer leveranser og backlog på design thinking-prinsipper, hvor man lærer fortløpende mens man bygger løsningen. Funksjonalitet og leveranser justerer kontinuerlig på grunnlag av funn og observasjoner gjort underveis i programmet.

Publikumsløsningen

Hva ønsker vi å løse: Gjøre det lett å finne og be om tilgang til data.

Et nettsted der datakonsumenter kan se hvilke data og datatilbydere som finnes i sektoren. Den skal inneholde funksjonalitet for å lettest mulig finne data som kan dekke kunnskapsbehovet, og gi grunnlag for å be om og få tilgang til rett mengde data – på tvers av ulike tilbydere – enklest mulig.

Prøv publikumsløsningen

Datakatalog

Hva ønsker vi å løse: Gode beskrivelser og oversikt over tilgjengelige data.

Tilgjengelige variabler listes ut med gode beskrivelser som gjør det mulig å forstå hva de beskriver.

Prøverom

Hva ønsker vi å løse: Vise relasjoner mellom data på tvers av tilbydere, for å gjøre det enklere å vite hvilke data man skal be om fra hvem, og stimulere til kreativitet ift. bygge nye analyser.

Funksjonalitet for visuell fremstilling av variablene i katalogen og hvordan de henger sammen. Ved å definere enhetstypen en variabel beskriver gjennom metadata, så kan en datamodell av valgte variabler tegnes ut – uten at det er nødvendig med tilgang til de faktiske dataene. Dette gjør konsumenten bedre i stand til å gjøre gode valg ift. hvilke data hen skal be om tilgang til.

Digital bestillingsprosess

Hva ønsker vi å løse: Felles søknadsprosess for tilgang til data fra flere datatilbydere.

Når konsumenten har funnet de data hen ønsker tilgang til er det ønskelig å gå sømløst fra katalog og prøverom inn i én søknadsprosess der man spør om tilgang til variabler fra flere ulike tilbydere i én uniform og brukervennlig flyt.

Utlevering av data

Hva vi ønsker å løse: Maskinell tilgangsstyring og utlevering av data via API.

Når konsumenten har søkt om, og fått tilgang til data, vil KUDAF i samspill med Feide (eller ID-Porten) sikre at disse teknisk sett kan utleveres til konsumenten. Avhengig av sensitivitetsnivå kan dette være alt fra sikre analyserom, som Tjenester for Sensitive Data (TSD), direkte inn i analyseverktøy som PowerBI og produkter fra Jupyter eller nedlastbare som CSV-filer.

Sikre analyserom
Sikre analyserom er en tjeneste som allerede tilbys av ulike aktører. En velkjent tjeneste i sektoren er Tjenester for Sensitive Data (TSD) som tilbys av UiO. Her kan man få overført og tilgang til sensitive data – som persondata – på en trygg og effektiv måte. Løsningen tilbyr et spekter av analyseverktøy – som R, Stata og SPSS – som brukerne kan bruke for å bearbeide og jobbe med dataene videre. Det er ikke mulig å henta ut eller dele data fra det sikre analyserommet. Det er ønskelig å muliggjøre direkte uthenting av data fra tilbydere og inn i slike sikre analyserom for spesielt sensitive data.

Data direkte inn i analyseverktøy
For mindre sensitive data utforsker vi muligheten for å utlevere data fra tilbydere i KUDAF direkte til moderne dataanalyse-verktøy som PowerBI og Jupyter Notebook. Gjennom å gjøre dette senker vi terskelen for å jobbe med analyse og åpner for nye brukergrupper

Utlevering av datafiler
For mange formål er det mest hensiktsmessig å hente data ut i form av filer, slik som CSV-filer (kommaseparerte verdifiler). Programmet utforsker muligheten for å generere slike filer med utgangspunkt i API-ene datatilbyderne skal tilby data fra.

Standarder og dokumentasjon for API

For å realisere maskinell kontroll og utlevering av data, må data tilgjengeliggjøres via API (Application Programming Interface) i henhold til gitte spesifikasjoner. KUDAF benytter seg av eksisterende infrastruktur hos Sikt-tjenesten Feide for å gjøre dette. KUDAF har som ambisjon å støtte flere API-typer, som REST, GrapQL, RPC osv.

Standarder og dokumentasjon for Metadata

For at KUDAF skal kunne liste ut data i metadatakatlogen som realiseres må data beskrives ved hjelp av metadata på gitte standarder og formater. KUDAF tar utgangspunkt i standarden brukt i Felles Datakatalog DCAT-AP-NO og utvider denne med GSIM for å kunne visualisere relasjoner mellom variabler.

Besøk dokumentasjonssidene

Registrering av API

KUDAF har fått et dedikert grensesnitt i Feides Kundeportal for å registrere datakilder, med tilhørende API, der. Ved å gjøre dette kan man bruke denne eksisterende løsningen for å styre tilganger til API-ene.

Mottak av bestillinger og styring av tilganger

Det er planlagt utviklet en felles søknads- og datautleverings-portal i samarbeid med Sikts Datautleverings-team. Her forvaltes blant annet Norlag og Surveybanken, vi samarbeider med ressurser med lang erfaring innen informasjonforvaltning og utlevering. Vi kan også dra verksel på erfaringer fra det eksisterende saksbehandlingssystemet – DUS (Datautleveringssystem).

Beskrive og forvalte metadata

Gjennom programmet ser vi at det oppleves som en høy terskel og krevende å beskrive data med metadata. Katalogen baserer seg på metadata beskrevet i en JSON-struktur, som for mange oppleves som fremmed og vanskelig å forholde seg til. Vi ser derfor på muligheten å lage et grafisk brukergrensesnitt for å forvalte metadatabeskrivelser til et datasett.

Program for konvertering av tabell-data til API

Mye data finnes i dag tilgjengelig i tabell-filer, slik som Excel og CSV-filer. Å gå fra dette til et API kan oppleves som krevende, og ikke alle virksomheter har tilgang på tekniske ressurser for å gjøre dette. Infrastruktur-teamet har laget et verktøy som kan konvertere en tabell-fil til et program som kan tilbys via et skybasert driftsmiljø for å tilby dataene via et API som er i henhold til KUDAFs standarder. Dette for å senke terskelen for å tilby data som i dag finnes i tabell-format.