Miksi modernisoida data-alustaa?

Alla käsitellään erilaisia vaatimuksia joita data-alustoille on asetettu, vaatimukset ovat seurausta sekä teknologisen kehityksen tarjoamista mahdollisuuksista että toisaalta siitä että data on yhä keskeisemmässä roolissa liiketoiminnassa. Tietyssä mielessä data voi jopa saavuttaa itsenäisen muodon erilaisina datatuotteina.

Muuttuvat integraatiotyylit

Uudet teknologiat, datamäärien kasvu sekä eräajoikkunan pienentyminen vaikuttavat tapoihin toteuttaa integraatioita. Perinteinen tapa kierrättää dataa integraatiopalvelimen kautta ei ole enää näissä olosuhteissa toimiva. Reaaliaikaisuus, sanomapohjainen integraatio sekä replikointi ovat jatkuvasti yleistyneet 2020 – luvun kuluessa.

Monoliitista hajautetumpaan malliin

Moderni data platform voi myös olla hajautettu ja noudattaa läheisemmin Data Mesh – filosofiaa, jossa vastuu ja arkkitehtuuri on hajautettu enemmän ilmiöalueisiin kuin niin että kaikki kehitys on keskitetyn datafunktion vastuulla. Tämä on vielä ajatuksellisesti uutta ja edellyttää varsin vahvaa resursointia siinä että jokainen domain / ilmiöalue pystyy mieltämään oman datatuotteensa luonteen ja oikeasti vastaamaan palvelulupauksestaan datan käyttäjien suuntaan.

Perinteisesti liiketoimintaprosesseissa on ollut rajallisesti kyvykkyyttä tuottaa tuollaista palvelua ja vastuu on siksi ollut keskitetty tietovarastoinnin tiimiin tai vastaavaan. Mutta tästä keskittymisestä seuraa omat ongelmansa, joista yksi on hitaus vastata muutokseen. Data Mesh – mallin käyttöönotto suuri ajattelun muutos eikä välttämättä tapahdu helposti.

Data-alusta monoliittina tarkoittaa sitä että kaikkien sen komponenttien riippuvuus toisistaan on niin suurta ettei muutoksia voi tehdä helposti vain yhteen osioon ja viedä julkaisuputkessa eteenpäin ilman että muiden komponenttien muutoksia olisi huomioitu. Tai ylipäätään viedä vain tiettyä data-alustaan liittyvää komponettia itsenäisenä osiona muihin ympäristöihin julkaisuputkessa.

Sopimus tiedontuottajien ja kuluttajien välillä

Data Contract eli datasopimus tarkoittaa käytännössä muodollista sopimusta tiedon tuottajien ja tiedon käyttäjien välillä, sekä saman organisaation sisällä että ulkoisten osapuolten välillä. Tavoitteena on muodollistaa tietynlainen palvelulupaus palvelutasosopimuksen muotoon ja se liittyy tuotettuun data-aineistoon jota kuvataan datatuotteena. Näitä datatuotteita voisi ajatella sitten syötteinä datan käyttäjien omiin tarpeisiin.

Datasopimuksella pyritään määrittämään roolit, vastuut ja oikeudet. Datan ei ajatella liittyvän vain tiettyyn lähdejärjestelmään vaan enemmän ilmiöaluekokonaisuuteen eli domainiin. Datatuotteet, datasopimukset ja Data Mesh – ajattelu kytkeytyvät tässä mielessä vahvasti toisiinsa.

Data Contract voi sisältää datan metadatakuvauksen lisäksi myös sellaisia osia jotka mahdollistavat vaikkapa sanomien validoinnin ja muuta yhteentoimivuutta mahdollistavaa.

Lakehouse - analytiikka

Moderni data platform eli data-alusta pystyy käsittelemään monenlaista dataa, se voi myös olla hybridi, jossa on Lakehouse – analytiikan tyyppisiä osia yhdessä analyyttisen tietokantatuotteen kanssa. Moderni data-alusta voi vielä olla on-premises tai sitten todennäköisemmin kokoelma erilaisia pilvipalveluita.

Jos data platform koostuu erilaisista Serverless sekä PaaS – osista, niin pilvipalveluiden tarjoajan vastuulle siirtyy paljon siitä teknisestä infrastruktuurista, joka on-premises mallissa on organisaatiolla itsellään. Modernilla data-alustalla pitäisi olla kyky käsitellä saapuvaa dataa ilman että sitä ensin pitää siirtää alustan ulkopuolelle muokkausta ja latausta varten. Jos data-alusta ostetaan palveluna, niin alustan resurssit ovat helpommin skaalattavissa.

Pilvipalveluiden suurin hyöty tulee joustavuudesta, rahaa kaikesta kehittämisestä sekä käytetyistä infrapalveluista joutuu joka tapauksessa maksamaan. Kokeneen kehittäjätiimin palkkakustannukset ovat joka tapauksessa suurin kuluerä, jolloin on järkevää automatisoida sekä käyttää lähes valmiita komponentteja.

Mitä Microsoftin Azure tarjoaa suhteessa näihin vaatimuksiin?

Microsoftilla on Azuren pilvipalvelun kautta tarjota erittäin vahva tarjoama erilaisia Azuren datapalveluita ja uskomme että monet organisaatiot hyötyvät näiden laajasta käyttöönotosta erilaisiin Data & AI - kehittämishankkeisiin.

Lakehouse – analytiikan kehittämiseen löytyy pääasiallisina vaihtoehtoina Azuressa Microsoft Fabric ja Azure Databricks.

Data Mesh – tyyppiseen lähestymiseen Microsoft Fabric tarjoaa suoraan mahdollisuuksia jos hyödynnetään sen domains - ominaisuuksia ja sidotaan yhteen loogisesti erilaisia resursseja.