Skillnader

Här visas skillnader mellan den valda versionen och den nuvarande versionen av sidan.

--- miner:integrationer:onboardingprocess [2026/06/09 12:37] – [Relaterade sidor] dokuadmin
+++ miner:integrationer:onboardingprocess [2026/06/12 11:01] (aktuell) – raderad dokuadmin
@@ Rad 1: / Rad 1: @@
-====== Onboardingprocess ======
-Den här sidan beskriver en generell arbetsprocess för onboarding av datapunkter i Miner.
-Med onboarding menas arbetet med att identifiera, välja ut, beskriva, kvalitetssäkra och vid behov provisionera datapunkter innan de tas i drift i ett dataflöde.
-Onboardingprocessen används när datapunkter från ett eller flera källsystem ska göras användbara i en mottagande plattform, databas, grafdatabas, analysmiljö eller annan digital tjänst.
-För en övergripande beskrivning av integrationsområdet, se [[miner:integrationer|Integrationer]].
-===== Syfte =====
-Syftet med onboardingprocessen är att säkerställa att datapunkter inte bara förs över tekniskt, utan också blir begripliga, sökbara, strukturerade och möjliga att använda i mottagande system.
-Processen hjälper till att svara på frågor som:
-  * Vilka datapunkter ska ingå?
-  * Vilket system eller vilken komponent tillhör datapunkten?
-  * Vad representerar datapunkten?
-  * Vilken enhet, funktion eller mätstorhet har datapunkten?
-  * Ska datapunkten endast läsas eller även kunna skrivas till?
-  * Behöver metadata eller objekt provisioneras till ett mottagande system?
-  * Är dataflödet kvalitetssäkrat innan det tas i drift?
-===== När används processen? =====
-Onboardingprocessen används exempelvis när:
-  * en ny fastighet, byggnad eller anläggning ska anslutas
-  * ett nytt källsystem ska integreras
-  * datapunkter ska standardiseras eller klassificeras
-  * metadata ska laddas upp till en grafdatabas
-  * datapunkter ska provisioneras till en mottagande plattform
-  * data ska göras användbar för analys, visualisering, optimering eller AI-tillämpningar
-Processen kan genomföras helt i Miners användargränssnitt, via export/import av filer eller i kombination med externa arbetsverktyg, exempelvis kalkylblad.
-===== Övergripande process =====
-En typisk onboardingprocess kan beskrivas enligt följande:
-<mermaid>
-flowchart LR
-    A["1. Förbered integration<br/>och skapa anslutning"]
-    B["2. Skapa jobb<br/>och hämta datapunkter"]
-    C["3. Inventera system<br/>och underlag"]
-    D["4. Identifiera och prioritera<br/>datapunkter"]
-    E["5. Komplettera med metadata"]
-    F["6. Validera och kvalitetssäkra"]
-    G{"Behövs provisionering?"}
-    H["7. Provisionera metadata<br/>eller objekt"]
-    I["8. Starta dataöverföring"]
-    J["9. Följ upp och förvalta"]
-    A --> B
-    B --> C
-    C --> D
-    D --> E
-    E --> F
-    F --> G
-    G -->|Ja| H
-    H --> I
-    G -->|Nej| I
-    I --> J
-</mermaid>
-Provisionering är endast aktuellt i vissa integrationsflöden, exempelvis när metadata ska laddas upp till en grafdatabas eller när Miner används för att provisionera datapunkter, objekt eller relationer till ett mottagande system.
-Läs mer på sidan [[miner:integrationer:provisionering|Provisionering]].
-===== Processens huvudsteg =====
-^ Steg ^ Beskrivning ^ Resultat ^
-| 1. Förbered integration | Skapa nödvändiga anslutningar och säkerställ åtkomst till källsystem och eventuella mottagande system. | Anslutningar och åtkomst är klara. |
-| 2. Skapa jobb | Skapa ett jobb i Miner och hämta eller importera datapunkter från källsystemet. | Ett arbetsunderlag med datapunkter finns tillgängligt. |
-| 3. Inventera system | Gå igenom källsystem, punktbeteckningar, beskrivningstexter och annan dokumentation. | Omfattning och struktur är känd. |
-| 4. Identifiera datapunkter | Välj ut vilka datapunkter som ska ingå i integrationen. | Prioriterade datapunkter är markerade. |
-| 5. Komplettera metadata | Lägg till metadata som beskriver system, komponenter, funktioner, enheter och relationer. | Datapunkterna är klassificerade och beskrivna. |
-| 6. Validera och kvalitetssäkra | Kontrollera urval, metadata, datatyper, läs-/skrivbarhet och eventuella avvikelser. | Underlaget är kvalitetssäkrat. |
-| 7. Provisionera | Skapa eller uppdatera metadata, objekt eller relationer i mottagande system om det behövs. | Mottagande system är förberett. |
-| 8. Starta dataöverföring | Starta jobbet och verifiera att data når mottagaren. | Dataflödet är aktivt. |
-| 9. Förvalta | Följ upp, justera och dokumentera förändringar över tid. | Integrationen kan förvaltas långsiktigt. |
-===== 1. Förbered integration =====
-Börja med att klarlägga vilket eller vilka system som ska integreras och vad det finns för krav med avseende på omfattningen av integrationen. Inför uppdatering och ändring av Miners konfiguration är det alltid bra att ta en backup av den nuvarande konfigurationen vid eventuellt behov av senare referens.
-Exempel på frågor:
-  * Vilket källsystem ska anslutas?
-  * Hur ser specifikationen ut för vilken typ av data som ska ingå i datainsamlingen? Vilka signaler letar vi efter i källsystemet?
-  * Vilket eller vilka system ska data från källsystemet levereras till?
-  * Vilka typer av [[integration:start|miner-anslutningar]] är lämpliga att använda och konfigurera för integrationen?
-  * Finns nödvändiga användarkonton, API-nycklar, certifikat med mera på plats för att konfigurera anslutningarna?
-  * Finns möjlighet till kommunikation med avseende på uppkoppling och nätverksåtkomst till nödvändiga IP-adresser och portar?
-  * Ska data endast läsas eller även kunna skrivas tillbaka?
-  * Behövs metadata, objekt eller relationer i ett mottagande system innan dataöverföringen startas?
-Skapa därefter relevanta anslutningar i Miner.
-Läs mer om anslutningar och jobb på sidan [[miner:integrationer:systemintegration|Systemintegration]].
-===== 2. Skapa jobb och hämta datapunkter =====
-När anslutningen är skapad kan ett jobb konfigureras.
-Jobbet används för att hämta, läsa, exportera eller leverera data beroende på integrationens syfte.
-I detta steg tas ett arbetsunderlag fram. Det kan ske genom att:
-  * Miner läser in datapunkter från källsystemet
-  * datapunkter väljs via Miners webbgränssnitt, eller
-    * datapunkter väljs genom export/import av CSV-filer, eller
-    * datapunktlistor importeras från fil -- gäller exempelvis vid dataintegration mot Modbus-system
-  * metadatalistor för databerikning hämtas från en ansluten plattform. Se [[integration/proptech_os?s[]=proptechos#ladda_lista_med_byggnadskomponenter_infoer_instaellning_av_provisioneringen| exempel för integration mot ProptechOS]].
-  * eventuellt kompletterande underlag sammanställs manuellt
-Om integrationen tillhandahåller färdiga metadata-listor, klasslistor eller mallar kan dessa användas som stöd i onboardingarbetet.
-===== 3. Inventera system och underlag =====
-När datapunkterna finns tillgängliga görs en genomgång av underlaget.
-Syftet är att förstå:
-  * vilka system som ingår
-  * hur datapunkterna är namngivna
-  * om det finns beskrivningstexter eller andra tekniska attribut (metadata) som kompletterar beskrivningen
-  * om det finns någon särskild ''nyckel'' som kan användas för identifiering av unika datapunkter
-    * exempelvis särskilt attribut, eller kombination av andra attribut som kan utvinnas ur tillgänglig data, exempelvis en kombination av beteckningar för byggnadsbeteckning, systembeteckning, komponentbeteckning och så kallad kvalificerare
-  * om det finns särskilda mönster som kan användas för klassificering
-Vid behov kan kompletterande underlag tas fram från källsystemet, exempelvis systembilder, funktionsbeskrivningar eller andra dokument som gör det lättare att förstå datapunkternas sammanhang.
-===== 4. Identifiera och prioritera datapunkter =====
-Alla datapunkter behöver normalt inte onboardas.
-I detta steg väljs de datapunkter som ska ingå i integrationen.
-Urvalet kan baseras på exempelvis:
-  * krav från mottagande system
-  * kundens prioriteringar
-  * behov för analys, visualisering eller styrning
-  * förväntad nytta: varför sker systemintegrationen? Vilken nytta förväntas insamlad data generera för verksamheten?
-Det är ofta lämpligt att markera datapunkter med en särskild status eller flagga i arbetsunderlaget.
-Exempel:
-^ Status ^ Betydelse ^
-| ''onboarding=1'' | Datapunkten ska onboardas. |
-| ''onboarding=0'' | Datapunkten ska inte onboardas. |
-| ''onboarding=9'' | Datapunkten behöver kontrolleras eller diskuteras vidare. |
-Exakta kolumnnamn och statusvärden kan anpassas efter projektets arbetssätt.
-**Tips:** Markera kolumnen för onboardingflagga som en kommentar (namnet föregås av "#", det vill säga exakt beteckning: "#onboarding"). Klicka här för beskrivning av olika prefix som kan användas för benämning av attribut.
-===== 5. Komplettera datapunkter med metadata =====
-När relevanta datapunkter har identifierats kan de kompletteras med ytterligare metadata (attribut), för att ge dem mera mening och kontext och göra det enklare att aggregera data från datapunkterna inom mottagande system.
-Utökad metadata (attribut) kan exempelvis beskriva:
-  * byggnad eller anläggning
-  * tekniskt system (beteckning och/eller klassificering)
-  * utrustning eller komponent (beteckning och/eller klassificering)
-  * datapunktens funktion
-  * mätstorhet och enhet
-  * placering
-  * läs-/skrivbarhet
-  * namn som ska visas i mottagande system
-  * relationer till andra objekt
-Miner är inte låst till någon viss metadatastandard. Metadata kan utgå från:
-  * egna metadatafält
-  * kundspecifika scheman
-  * standardiserade metadatauppsättningar
-  * metadatalistor från anslutna system
-  * projektspecifika mallar
-  * manuella klassificeringssystem
-Läs mer på sidan [[miner:integrationer:metadata|Metadata]].
-==== Namn, beteckningar och visning ====
-I många integrationer behöver tekniska punktbeteckningar kompletteras med mer läsbara namn.
-Det kan exempelvis finnas behov av att skilja mellan:
-  * teknisk beteckning
-  * visningsnamn
-  * systemnamn
-  * komponentbeteckning
-  * datapunktens funktion
-En bra princip är att bevara tekniska beteckningar för spårbarhet, men samtidigt skapa användarvänliga namn för mottagande system och gränssnitt.
-Exempel:
-^ Typ av information ^ Exempel ^
-| Teknisk beteckning | ''LB01-GT11-PV'' |
-| Systembeteckning | ''LB01'' |
-| Komponentbeteckning | ''GT11'' |
-| Funktion | ''Mätvärde'' |
-| Visningsnamn | ''Tilluftstemperatur'' |
-Exakt vilka fält som används beror på metadataupplägg och mottagande system.
-==== Läsning, skrivning och dataAccess ====
-För datapunkter som kan styras eller skrivas till, kan läs-/skrivbarhet kontrolleras särskilt. Miner anger information om läs-/skrivbarhet via attributet "data_access" som kan ha värden enligt tabellen nedan.
-^ Värde ^ Betydelse ^
-| ''r'' | Datapunkten kan läsas. |
-| ''rw'' | Datapunkten kan både läsas och skrivas. |
-**OBS!** Det är inte alla tekniskt skrivbara datapunkter som är eller behöver anges som styrbara i mottagande system. Till exempel tillåter API på Webport, att alla datapunkters värden kan ändras. Men, bara för att Miner kan ändra värdet på en datapunkt, betyder det inte att värdet för just den datapunkten skrivs ned till PLC-systemet som Webport i sin tur kommunicerar med. Miner kan med andra ord ändra värdet för en uppmätt sensor, men det avlästa värdet kommer att skrivas över direkt av PLC som läser av värdet från sensorn från sin analoga ingång. I fallet med Webport kommer Miner att ange alla datapunkter med "data_access=rw", så det är upp till systemintegratören att kontrollera vilka datapunkter som //egentligen// är skrivbara och ändra förinställda värden i kolumnen, så att dessa bättre stämmer överens med verkligheten.
-Felaktig klassificering av läs-/skrivbarhet kan påverka hur datapunkter visas, provisioneras eller används i mottagande system.
-Läs mer om tekniska förutsättningar för läsning och skrivning på sidan [[miner:integrationer:systemintegration|Systemintegration]].
-===== 6. Validera och kvalitetssäkra =====
-När metadata har kompletterats, är det bra om underlaget kvalitetssäkras innan jobbet startas.
-Kontrollera exempelvis att:
-  * rätt datapunkter har valts
-  * datapunkterna har rätt metadata
-  * obligatoriska metadatafält är ifyllda
-  * enheter och mätstorheter är rimliga
-  * läs-/skrivbarhet är korrekt
-  * visningsnamn och tekniska beteckningar är konsekventa
-  * relationer till byggnad, system och komponenter är rimliga
-  * eventuella avvikelser är dokumenterade
-Det är ofta lämpligt att gå igenom underlaget system för system och dokumentera avvikelser i en separat lista.
-När datapunktens urval och egenskaper är kvalitetssäkrade, kan detta anges genom att "färdigmarkera" datapunkten för dataöverföring. Antingen via Miners webbgränssnitt, eller genom att ange flaggan "config_status=Done" i konfigurationsunderlaget som läses in via CSV-import.
-Läs mer på sidan [[miner:admin:qa|QA]].
-===== 7. Provisionera metadata eller objekt =====
-Provisionering är aktuellt när Miner ska skapa eller uppdatera information i ett mottagande system eller databas ''innan'' överföring av själva mätdata startas.
-Det kan exempelvis handla om att:
-  * ladda upp metadata till en grafdatabas
-  * registrera eller uppdatera datapunkter i en mottagande plattform
-  * registrera eller uppdatera objekt och relationer
-  * förbereda mottagaren innan dataöverföringen startas
-Provisionering är inte nödvändig i alla integrationer. Om mottagaren endast ska ta emot mätvärden, kan dataöverföringen ofta startas utan detta steg.
-Läs mer på sidan [[miner:integrationer:provisionering|Provisionering]].
-===== 8. Starta dataöverföring =====
-När urval och konfiguration av datapunkter och eventuell provisionering är klara, kan dataöverföringen startas. **Observera** att Miner endast sparar avläsningar från datapunkter som är ''klarmarkerade'' i jobbet. Klarmarkering görs via Miners webbgränssnitt, eller genom att sätta "config_status=Done" i integrationsunderlaget via CSV-import.
-Inför uppdatering och ändring av Miners konfiguration är det alltid bra att ta en backup av den nuvarande konfigurationen vid eventuellt behov av senare referens.
-Kontrollera vid start att:
-  * jobbet kan startas utan fel
-  * data hämtas från källsystemet
-  * data skickas till rätt mottagare
-  * tidsstämplar och värden ser rimliga ut
-  * loggar inte visar återkommande fel
-Vid behov kan jobbet först köras i begränsad omfattning innan hela integrationen aktiveras. I så fall kan du börja med att ''klarmarkera'' ett fåtal datapunkter först och säkerställa att allting fungerar som det ska, innan samtliga datapunkter klarmarkeras.
-===== 9. Följ upp och förvalta =====
-Efter driftsättning bör integrationen följas upp.
-Förvaltning kan omfatta:
-  * kontroll av datakvalitet
-  * uppdatering av metadata
-  * tillägg eller borttag av datapunkter
-  * hantering av ändrade punktbeteckningar
-  * uppdatering av jobbkonfiguration
-  * dokumentation av förändringar
-  * ny provisionering vid behov
-Onboarding är därför inte bara ett engångsarbete, utan en del av den löpande informationsförvaltningen.
-===== Arbetsunderlag =====
-I större onboardingprojekt är det ofta praktiskt att arbeta med exporterade listor och kalkylblad.
-Ett arbetsunderlag kan exempelvis innehålla:
-^ Arbetsblag ^ Beskrivning ^
-| Import_ååmmdd | Den ursprungliga import som gjordes från källsystemet |
-| Arbetsblad | Underlaget där systemintegratören har arbetat med urval och metadatasättning. Arbetsbladet kan innehålla fler kolumner (exempelvis resultat från formler och eventuella noteringar och kommentarer) än det underlag som exporteras till Miner inför start av jobb. |
-| Export_ååmmdd | Det underlag som exporterades i CSV-format för start av minerjobb |
-Vilka kolumner som används beror på projektets metadataupplägg och mottagande system.
-===== Roller och ansvar =====
-Onboarding kan involvera flera roller.
-^ Roll ^ Ansvar ^
-| Integratör | Konfigurerar anslutningar, jobb och dataflöden. |
-| Teknisk specialist | Tolkar system, punktbeteckningar och funktioner. |
-| Metadataansvarig | Säkerställer att datapunkter klassificeras enligt valt metadataupplägg. |
-| Kund eller förvaltare | Prioriterar datapunkter och godkänner urval. |
-| QA-ansvarig | Kontrollerar att underlaget är komplett och korrekt innan driftsättning. |
-I mindre projekt kan samma person ha flera av dessa roller.
-===== Resultat av onboarding =====
-När onboardingprocessen är klar bör följande vara uppfyllt:
-  * relevanta datapunkter är identifierade
-  * datapunkterna har nödvändig metadata
-  * läs-/skrivbarhet är kontrollerad
-  * eventuella avvikelser är dokumenterade
-  * mottagande system är förberett, om provisionering behövs
-  * dataöverföringen kan startas och följas upp
-  * integrationen är dokumenterad och möjlig att förvalta
-===== Relaterade sidor =====
-  * [[miner:integrationer:onboardingprocess:manuell-process|Beskrivning av en fiktiv manuell process för dataintegration med Miner]]
-  * [[miner:integrationer|Integrationer]]
-  * [[miner:integrationer:systemintegration|Systemintegration]]
-  * [[miner:integrationer:metadata|Metadata]]
-  * [[miner:integrationer:provisionering|Provisionering]]
-  * [[miner:anvandning:kommaigang|Komma igång]]
-  * [[integration:start|Dokumenterade integrationsprofiler]]