Onboardingprocess

Den här sidan beskriver en generell arbetsprocess för onboarding av datapunkter i Miner.

Med onboarding menas arbetet med att identifiera, välja ut, beskriva, kvalitetssäkra och vid behov provisionera datapunkter innan de tas i drift i ett dataflöde.

Onboardingprocessen används när datapunkter från ett eller flera källsystem ska göras användbara i en mottagande plattform, databas, grafdatabas, analysmiljö eller annan digital tjänst.

För en övergripande beskrivning av integrationsområdet, se Integrationer.

Syftet med onboardingprocessen är att säkerställa att datapunkter inte bara förs över tekniskt, utan också blir begripliga, sökbara, strukturerade och möjliga att använda i mottagande system.

Processen hjälper till att svara på frågor som:

• Vilka datapunkter ska ingå?
• Vilket system eller vilken komponent tillhör datapunkten?
• Vad representerar datapunkten?
• Vilken enhet, funktion eller mätstorhet har datapunkten?
• Ska datapunkten endast läsas eller även kunna skrivas till?
• Behöver metadata eller objekt provisioneras till ett mottagande system?
• Är dataflödet kvalitetssäkrat innan det tas i drift?

Onboardingprocessen används exempelvis när:

• en ny fastighet, byggnad eller anläggning ska anslutas
• ett nytt källsystem ska integreras
• datapunkter ska standardiseras eller klassificeras
• metadata ska laddas upp till en grafdatabas
• datapunkter ska provisioneras till en mottagande plattform
• data ska göras användbar för analys, visualisering, optimering eller AI-tillämpningar

Processen kan genomföras helt i Miners användargränssnitt, via export/import av filer eller i kombination med externa arbetsverktyg, exempelvis kalkylblad.

En typisk onboardingprocess kan beskrivas enligt följande:

Provisionering är endast aktuellt i vissa integrationsflöden, exempelvis när metadata ska laddas upp till en grafdatabas eller när Miner används för att provisionera datapunkter, objekt eller relationer till ett mottagande system.

Läs mer på sidan Provisionering.

Börja med att klarlägga vilket eller vilka system som ska integreras och vad det finns för krav med avseende på omfattningen av integrationen.

Exempel på frågor:

• Vilket källsystem ska anslutas?
• Hur ser specifikationen ut för vilken typ av data som ska ingå i datainsamlingen? Vilka signaler letar vi efter i källsystemet?
• Vilket eller vilka system ska data från källsystemet levereras till?
• Vilka typer av miner-anslutningar är lämpliga att använda och konfigurera för integrationen?
• Finns nödvändiga användarkonton, API-nycklar, certifikat med mera på plats för att konfigurera anslutningarna?
• Finns möjlighet till kommunikation med avseende på uppkoppling och nätverksåtkomst till nödvändiga IP-adresser och portar?
• Ska data endast läsas eller även kunna skrivas tillbaka?
• Behövs metadata, objekt eller relationer i ett mottagande system innan dataöverföringen startas?

Skapa därefter relevanta anslutningar i Miner.

Läs mer om anslutningar och jobb på sidan Systemintegration.

När anslutningen är skapad kan ett jobb konfigureras.

Jobbet används för att hämta, läsa, exportera eller leverera data beroende på integrationens syfte.

I detta steg tas ett arbetsunderlag fram. Det kan ske genom att:

• Miner läser in datapunkter från källsystemet
• datapunkter väljs via Miners webbgränssnitt, eller
  • datapunkter väljs genom export/import av CSV-filer, eller
  • datapunktlistor importeras från fil – gäller exempelvis vid dataintegration mot Modbus-system
• metadatalistor för databerikning hämtas från en ansluten plattform. Se exempel för integration mot ProptechOS.
• eventuellt kompletterande underlag sammanställs manuellt

Om integrationen tillhandahåller färdiga metadata-listor, klasslistor eller mallar kan dessa användas som stöd i onboardingarbetet.

När datapunkterna finns tillgängliga görs en genomgång av underlaget.

Syftet är att förstå:

• vilka system som ingår
• hur datapunkterna är namngivna
• om det finns beskrivningstexter eller andra tekniska attribut (metadata) som kompletterar beskrivningen
• om det finns någon särskild nyckel som kan användas för identifiering av unika datapunkter
  • exempelvis särskilt attribut, eller kombination av andra attribut som kan utvinnas ur tillgänglig data, exempelvis en kombination av beteckningar för byggnadsbeteckning, systembeteckning, komponentbeteckning och så kallad kvalificerare
• om det finns särskilda mönster som kan användas för klassificering

Vid behov kan kompletterande underlag tas fram från källsystemet, exempelvis systembilder, funktionsbeskrivningar eller andra dokument som gör det lättare att förstå datapunkternas sammanhang.

Alla datapunkter behöver normalt inte onboardas.

I detta steg väljs de datapunkter som ska ingå i integrationen.

Urvalet kan baseras på exempelvis:

• krav från mottagande system
• kundens prioriteringar
• behov för analys, visualisering eller styrning
• förväntad nytta: varför sker systemintegrationen? Vilken nytta förväntas insamlad data generera för verksamheten?

Det är ofta lämpligt att markera datapunkter med en särskild status eller flagga i arbetsunderlaget.

Exempel:

Exakta kolumnnamn och statusvärden kan anpassas efter projektets arbetssätt.

Tips: Markera kolumnen för onboardingflagga som en kommentar (namnet föregås av ”#”, det vill säga exakt beteckning: ”#onboarding”). Klicka här för beskrivning av olika prefix som kan användas för benämning av attribut.

När relevanta datapunkter har identifierats kan de kompletteras med ytterligare metadata (attribut), för att ge dem mera mening och kontext och göra det enklare att aggregera data från datapunkterna inom mottagande system.

Utökad metadata (attribut) kan exempelvis beskriva:

• byggnad eller anläggning
• tekniskt system (beteckning och/eller klassificering)
• utrustning eller komponent (beteckning och/eller klassificering)
• datapunktens funktion
• mätstorhet och enhet
• placering
• läs-/skrivbarhet
• namn som ska visas i mottagande system
• relationer till andra objekt

Miner är inte låst till någon viss metadatastandard. Metadata kan utgå från:

• egna metadatafält
• kundspecifika scheman
• standardiserade metadatauppsättningar
• metadatalistor från anslutna system
• projektspecifika mallar
• manuella klassificeringssystem

Läs mer på sidan Metadata.

I många integrationer behöver tekniska punktbeteckningar kompletteras med mer läsbara namn.

Det kan exempelvis finnas behov av att skilja mellan:

• teknisk beteckning
• visningsnamn
• systemnamn
• komponentbeteckning
• datapunktens funktion

En bra princip är att bevara tekniska beteckningar för spårbarhet, men samtidigt skapa användarvänliga namn för mottagande system och gränssnitt.

Exempel:

Exakt vilka fält som används beror på metadataupplägg och mottagande system.

För datapunkter som kan styras eller skrivas till, kan läs-/skrivbarhet kontrolleras särskilt. Miner anger information om läs-/skrivbarhet via attributet ”data_access” som kan ha värden enligt tabellen nedan.

OBS! Det är inte alla tekniskt skrivbara datapunkter som är eller behöver anges som styrbara i mottagande system. Till exempel tillåter API på Webport, att alla datapunkters värden kan ändras. Men, bara för att Miner kan ändra värdet på en datapunkt, betyder det inte att värdet för just den datapunkten skrivs ned till PLC-systemet som Webport i sin tur kommunicerar med. Miner kan med andra ord ändra värdet för en uppmätt sensor, men det avlästa värdet kommer att skrivas över direkt av PLC som läser av värdet från sensorn från sin analoga ingång. I fallet med Webport kommer Miner att ange alla datapunkter med ”data_access=rw”, så det är upp till systemintegratören att kontrollera vilka datapunkter som egentligen är skrivbara och ändra förinställda värden i kolumnen, så att dessa bättre stämmer överens med verkligheten.

Felaktig klassificering av läs-/skrivbarhet kan påverka hur datapunkter visas, provisioneras eller används i mottagande system.

Läs mer om tekniska förutsättningar för läsning och skrivning på sidan Systemintegration.

När metadata har kompletterats, är det bra om underlaget kvalitetssäkras innan jobbet startas.

Kontrollera exempelvis att:

• rätt datapunkter har valts
• datapunkterna har rätt metadata
• obligatoriska metadatafält är ifyllda
• enheter och mätstorheter är rimliga
• läs-/skrivbarhet är korrekt
• visningsnamn och tekniska beteckningar är konsekventa
• relationer till byggnad, system och komponenter är rimliga
• eventuella avvikelser är dokumenterade

Det är ofta lämpligt att gå igenom underlaget system för system och dokumentera avvikelser i en separat lista.

När datapunktens urval och egenskaper är kvalitetssäkrade, kan detta anges genom att ”färdigmarkera” datapunkten för dataöverföring. Antingen via Miners webbgränssnitt, eller genom att ange flaggan ”config_status=Done” i konfigurationsunderlaget som läses in via CSV-import.

Läs mer på sidan QA.

Provisionering är aktuellt när Miner ska skapa eller uppdatera information i ett mottagande system.

Det kan exempelvis handla om att:

• ladda upp metadata till en grafdatabas
• skapa datapunkter i en mottagande plattform
• skapa objekt och relationer
• uppdatera metadata i ett externt system
• förbereda mottagaren innan dataöverföringen startas

Provisionering är inte nödvändig i alla integrationer. Om mottagaren endast ska ta emot mätvärden kan dataöverföringen ofta startas utan detta steg.

Läs mer på sidan Provisionering.

När datapunkter, metadata och eventuell provisionering är klara kan dataöverföringen startas.

Kontrollera vid start att:

• jobbet kan startas utan fel
• data hämtas från källsystemet
• data skickas till rätt mottagare
• tidsstämplar och värden ser rimliga ut
• eventuella kvalitetsstämplar hanteras korrekt
• loggar inte visar återkommande fel

Vid behov kan jobbet först köras i begränsad omfattning innan hela integrationen aktiveras.

Efter driftsättning bör integrationen följas upp.

Förvaltning kan omfatta:

• kontroll av datakvalitet
• uppdatering av metadata
• tillägg eller borttag av datapunkter
• hantering av ändrade punktbeteckningar
• uppdatering av jobbkonfiguration
• dokumentation av förändringar
• ny provisionering vid behov

Onboarding är därför inte bara ett engångsarbete, utan en del av den löpande informationsförvaltningen.

I större onboardingprojekt är det ofta praktiskt att arbeta med exporterade listor och kalkylblad.

Ett arbetsunderlag kan exempelvis innehålla:

Vilka kolumner som används beror på projektets metadataupplägg och mottagande system.

Onboarding kan involvera flera roller.

I mindre projekt kan samma person ha flera av dessa roller.

När onboardingprocessen är klar bör följande vara uppfyllt:

• relevanta datapunkter är identifierade
• datapunkterna har nödvändig metadata
• läs-/skrivbarhet är kontrollerad
• eventuella avvikelser är dokumenterade
• mottagande system är förberett, om provisionering behövs
• dataöverföringen kan startas och följas upp
• integrationen är dokumenterad och möjlig att förvalta

• Integrationer
• Systemintegration
• Metadata
• Provisionering
• QA
• Komma igång
• Dokumenterade integrationsprofiler