Data-alustan modernisaatio ja uudet vaatimukset
Miksi modernisoida data-alustaa?
Alla käsitellään erilaisia vaatimuksia joita data-alustoille on asetettu, vaatimukset ovat seurausta sekä teknologisen kehityksen tarjoamista mahdollisuuksista että toisaalta siitä että data on yhä keskeisemmässä roolissa liiketoiminnassa. Tietyssä mielessä data voi jopa saavuttaa itsenäisen muodon erilaisina datatuotteina.
Muuttuvat integraatiotyylit
Uudet teknologiat, datamäärien kasvu sekä eräajoikkunan pienentyminen vaikuttavat tapoihin toteuttaa integraatioita. Perinteinen tapa kierrättää dataa integraatiopalvelimen kautta ei ole enää näissä olosuhteissa toimiva. Reaaliaikaisuus, sanomapohjainen integraatio sekä replikointi ovat jatkuvasti yleistyneet 2020 – luvun kuluessa.
Monoliitista hajautetumpaan malliin
Moderni data platform voi myös olla hajautettu ja noudattaa läheisemmin Data Mesh – filosofiaa, jossa vastuu ja arkkitehtuuri on hajautettu enemmän ilmiöalueisiin kuin niin että kaikki kehitys on keskitetyn datafunktion vastuulla. Tämä on vielä ajatuksellisesti uutta ja edellyttää varsin vahvaa resursointia siinä että jokainen domain / ilmiöalue pystyy mieltämään oman datatuotteensa luonteen ja oikeasti vastaamaan palvelulupauksestaan datan käyttäjien suuntaan.
Perinteisesti liiketoimintaprosesseissa on ollut rajallisesti kyvykkyyttä tuottaa tuollaista palvelua ja vastuu on siksi ollut keskitetty tietovarastoinnin tiimiin tai vastaavaan. Mutta tästä keskittymisestä seuraa omat ongelmansa, joista yksi on hitaus vastata muutokseen. Data Mesh – mallin käyttöönotto suuri ajattelun muutos eikä välttämättä tapahdu helposti.
Data-alusta monoliittina tarkoittaa sitä että kaikkien sen komponenttien riippuvuus toisistaan on niin suurta ettei muutoksia voi tehdä helposti vain yhteen osioon ja viedä julkaisuputkessa eteenpäin ilman että muiden komponenttien muutoksia olisi huomioitu. Tai ylipäätään viedä vain tiettyä data-alustaan liittyvää komponettia itsenäisenä osiona muihin ympäristöihin julkaisuputkessa.
Sopimus tiedontuottajien ja kuluttajien välillä
Data Contract eli datasopimus tarkoittaa käytännössä muodollista sopimusta tiedon tuottajien ja tiedon käyttäjien välillä, sekä saman organisaation sisällä että ulkoisten osapuolten välillä. Tavoitteena on muodollistaa tietynlainen palvelulupaus palvelutasosopimuksen muotoon ja se liittyy tuotettuun data-aineistoon jota kuvataan datatuotteena. Näitä datatuotteita voisi ajatella sitten syötteinä datan käyttäjien omiin tarpeisiin.
Datasopimuksella pyritään määrittämään roolit, vastuut ja oikeudet. Datan ei ajatella liittyvän vain tiettyyn lähdejärjestelmään vaan enemmän ilmiöaluekokonaisuuteen eli domainiin. Datatuotteet, datasopimukset ja Data Mesh – ajattelu kytkeytyvät tässä mielessä vahvasti toisiinsa.
Data Contract voi sisältää datan metadatakuvauksen lisäksi myös sellaisia osia jotka mahdollistavat vaikkapa sanomien validoinnin ja muuta yhteentoimivuutta mahdollistavaa.
Lakehouse - analytiikka
Moderni data platform eli data-alusta pystyy käsittelemään monenlaista dataa, se voi myös olla hybridi, jossa on Lakehouse – analytiikan tyyppisiä osia yhdessä analyyttisen tietokantatuotteen kanssa. Moderni data-alusta voi vielä olla on-premises tai sitten todennäköisemmin kokoelma erilaisia pilvipalveluita.
Jos data platform koostuu erilaisista Serverless sekä PaaS – osista, niin pilvipalveluiden tarjoajan vastuulle siirtyy paljon siitä teknisestä infrastruktuurista, joka on-premises mallissa on organisaatiolla itsellään. Modernilla data-alustalla pitäisi olla kyky käsitellä saapuvaa dataa ilman että sitä ensin pitää siirtää alustan ulkopuolelle muokkausta ja latausta varten. Jos data-alusta ostetaan palveluna, niin alustan resurssit ovat helpommin skaalattavissa.
Pilvipalveluiden suurin hyöty tulee joustavuudesta, rahaa kaikesta kehittämisestä sekä käytetyistä infrapalveluista joutuu joka tapauksessa maksamaan. Kokeneen kehittäjätiimin palkkakustannukset ovat joka tapauksessa suurin kuluerä, jolloin on järkevää automatisoida sekä käyttää lähes valmiita komponentteja.
Mitä Microsoftin Azure tarjoaa suhteessa näihin vaatimuksiin?
Microsoftilla on Azuren pilvipalvelun kautta tarjota erittäin vahva tarjoama erilaisia Azuren datapalveluita ja uskomme että monet organisaatiot hyötyvät näiden laajasta käyttöönotosta erilaisiin Data & AI - kehittämishankkeisiin.
Lakehouse – analytiikan kehittämiseen löytyy pääasiallisina vaihtoehtoina Azuressa Microsoft Fabric ja Azure Databricks.
Data Mesh – tyyppiseen lähestymiseen Microsoft Fabric tarjoaa suoraan mahdollisuuksia jos hyödynnetään sen domains - ominaisuuksia ja sidotaan yhteen loogisesti erilaisia resursseja.
Lisätietoja
Tagit
Ready Solutions - Asiantuntijat ja yhteyshenkilöt
Ready Solutions - Muita referenssejä
Ready Solutions - Muita bloggauksia
It- ja ohjelmistoalan työpaikat
- Laura - DevOps Engineer
- Laura - Senior ohjelmistokehittäjä
- Laura - Product Designer, Game Development Tools & UX
- Nordea - Technology Business Risk Manager
- Nordea - Senior IT Analyst in SWIFT area
- Frends iPaaS - Global Digital Marketing Manager | 4.5K-5.3K€/month
- Laura - Senior developer
Premium-asiakkaiden viimeisimmät referenssit
- TNNet Oy - TNNet on huomaamaton taustavoima JYP:in takana
- TNNet Oy - TNNet tuntee Viherlandian IT-infran 20 vuoden ajalta
- Nodeon - Ratikka luo kasvua Vantaalle
- Sulava Oy - Business Finland: Tavoitteena puhdas Azure-pohjainen pilviympäristö
- Wunder - Metsanhoidonsuositukset.fi – onnistunut digiloikka painetuista oppaista innovatiivisiiin rajapintaratkaisuihin
- Wunder - Tikkurila – Sirpaleisesta saumattomaan digiin
- Wunder - Ara uudisti sivustonsa yhdessä Wunderin kanssa
Tapahtumat & webinaarit
- 20.09.2024 - AamuAreena 20.9.2024: Data-avaruudet ja niiden hyödyntäminen
- 26.09.2024 - Green ICT -osaaminen tulevaisuudessa – mitä tietoja ja taitoja tarvitsemme? Green ICT -ekosysteemitapaaminen 26.9.
- 10.10.2024 - Palvelumuotoilu johtamisessa ja transformaatiossa
- 10.10.2024 - Miten tekoäly mullistaa digitaalisen asiakaskokemuksen?
- 30.10.2024 - Nordic NetSuite Summit 2024
- 19.11.2024 - The Future of Software - Embracing Collaboration in an AI-Powered World
Premium-asiakkaiden viimeisimmät bloggaukset
- Timeless Technology - ControlByWeb® Quick-Connect Sensor™, X-QCS-T, lämpötilan valvontaratkaisu palvelinhuoneisiin ja datakeskuksiin.
- Codemate - Codemate ja Upsert yhdistyvät saman brändin alle
- Codemate - Delivery Lead Mikael Komu ei ole miettinyt työpaikan vaihtoa 14 vuoteen
- Timeless Technology - Uusia Perle Systems IOLAN SCR Secure OOBM konsolipalvelimia jopa 56 konsoliportilla.
- TNNet Oy - NIS 2 - Mitä on odotettavissa?
- TietoPiiri Oy - Tietopiiri Oy ja järjestön varainhankinnan osaaminen
- Maxtech - Aluerajoitettu työaikakirjaus tekee työajanseurannasta hallittavampaa
Digitalisaatio & innovaatiot blogimediaBlogimediamme käsittelee tulevaisuuden liiketoimintaa, digitaalisia innovaatioita ja internet-ajan ilmiöitä |