Data-alustan modernisaatio ja uudet vaatimukset
Miksi modernisoida data-alustaa?
Alla käsitellään erilaisia vaatimuksia joita data-alustoille on asetettu, vaatimukset ovat seurausta sekä teknologisen kehityksen tarjoamista mahdollisuuksista että toisaalta siitä että data on yhä keskeisemmässä roolissa liiketoiminnassa. Tietyssä mielessä data voi jopa saavuttaa itsenäisen muodon erilaisina datatuotteina.
Muuttuvat integraatiotyylit
Uudet teknologiat, datamäärien kasvu sekä eräajoikkunan pienentyminen vaikuttavat tapoihin toteuttaa integraatioita. Perinteinen tapa kierrättää dataa integraatiopalvelimen kautta ei ole enää näissä olosuhteissa toimiva. Reaaliaikaisuus, sanomapohjainen integraatio sekä replikointi ovat integraatiotapoina jatkuvasti yleistyneet 2020 – luvun kuluessa.
Monoliitista hajautetumpaan malliin
Moderni data platform voi myös olla hajautettu ja noudattaa läheisemmin Data Mesh – filosofiaa, jossa vastuu ja arkkitehtuuri on hajautettu enemmän kohdealueisiin (ilmiöalueisiin, domains) kuin niin että kaikki kehitys on keskitetyn datafunktion vastuulla. Tämä on vielä ajatuksellisesti uutta ja edellyttää varsin vahvaa resursointia siinä että jokainen domain / ilmiöalue pystyy mieltämään oman datatuotteensa luonteen ja oikeasti vastaamaan palvelulupauksestaan datan käyttäjien suuntaan.
Perinteisesti liiketoimintaprosesseissa on ollut rajallisesti kyvykkyyttä tuottaa tuollaista palvelua ja vastuu on siksi ollut keskitetty tietovarastoinnin tiimiin tai vastaavaan. Mutta tästä keskittymisestä seuraa omat ongelmansa, joista yksi on hitaus vastata muutokseen. Data Mesh – mallin käyttöönotto suuri ajattelun muutos eikä välttämättä tapahdu helposti.
Data-alusta monoliittina tarkoittaa sitä että kaikkien sen komponenttien riippuvuus toisistaan on niin suurta ettei muutoksia voi tehdä helposti vain yhteen osioon ja viedä julkaisuputkessa eteenpäin ilman että muiden komponenttien muutoksia olisi huomioitu. Tai ylipäätään viedä vain tiettyä data-alustaan liittyvää komponettia itsenäisenä osiona muihin ympäristöihin julkaisuputkessa.
Sopimus tiedontuottajien ja kuluttajien välillä
Data Contract eli datasopimus tarkoittaa käytännössä muodollista sopimusta tiedon tuottajien ja tiedon käyttäjien välillä, sekä saman organisaation sisällä että ulkoisten osapuolten välillä. Tavoitteena on muodollistaa tietynlainen palvelulupaus palvelutasosopimuksen muotoon ja se liittyy tuotettuun data-aineistoon jota kuvataan datatuotteena. Näitä datatuotteita voisi ajatella sitten syötteinä datan käyttäjien omiin tarpeisiin.
Datasopimuksella pyritään määrittämään roolit, vastuut ja oikeudet. Datan ei ajatella liittyvän vain tiettyyn lähdejärjestelmään vaan enemmän ilmiöaluekokonaisuuteen eli domainiin. Datatuotteet, datasopimukset ja Data Mesh – ajattelu kytkeytyvät tässä mielessä vahvasti toisiinsa.
Data Contract voi sisältää datan metadatakuvauksen lisäksi myös sellaisia osia jotka mahdollistavat vaikkapa sanomien validoinnin ja muuta yhteentoimivuutta mahdollistavaa.
Lakehouse - analytiikka
Moderni data platform eli data-alusta pystyy käsittelemään monenlaista dataa, se voi myös olla hybridi, jossa on Lakehouse – analytiikan tyyppisiä osia yhdessä analyyttisen tietokantatuotteen kanssa. Moderni data-alusta voi vielä olla on-premises tai sitten todennäköisemmin kokoelma erilaisia pilvipalveluita.
Jos data platform koostuu erilaisista Serverless sekä PaaS – osista, niin pilvipalveluiden tarjoajan vastuulle siirtyy paljon siitä teknisestä infrastruktuurista, joka on-premises mallissa on organisaatiolla itsellään. Modernilla data-alustalla pitäisi olla kyky käsitellä saapuvaa dataa ilman että sitä ensin pitää siirtää alustan ulkopuolelle muokkausta ja latausta varten. Jos data-alusta ostetaan palveluna, niin alustan resurssit ovat helpommin skaalattavissa.
Pilvipalveluiden suurin hyöty tulee joustavuudesta, rahaa kaikesta kehittämisestä sekä käytetyistä infrapalveluista joutuu joka tapauksessa maksamaan. Kokeneen kehittäjätiimin palkkakustannukset ovat joka tapauksessa suurin kuluerä, jolloin on järkevää automatisoida sekä käyttää lähes valmiita komponentteja.
Mitä Microsoftin Azure tarjoaa suhteessa näihin vaatimuksiin?
Microsoftilla on Azuren pilvipalvelun kautta tarjota erittäin vahva tarjoama erilaisia Azuren datapalveluita ja uskomme että monet organisaatiot hyötyvät näiden laajasta käyttöönotosta erilaisiin Data & AI - kehittämishankkeisiin.
Lakehouse – analytiikan kehittämiseen löytyy pääasiallisina vaihtoehtoina Azuressa Microsoft Fabric ja Azure Databricks.
Data Mesh – tyyppiseen lähestymiseen Microsoft Fabric tarjoaa suoraan mahdollisuuksia jos hyödynnetään sen domains - ominaisuuksia ja sidotaan yhteen loogisesti erilaisia resursseja.
Ready Solutions - Asiantuntijat ja yhteyshenkilöt
Ready Solutions - Muita referenssejä
Ready Solutions - Muita bloggauksia
It- ja ohjelmistoalan työpaikat
- Nordea - Senior Backend Developer, Nordea Finance
- Laura - Palveluvastaava, tietohallinto
- Laura - Fullstack kehittäjä
- Digia Oyj - Kafka Integration Developer
- Laura - Senior Full Stack Developer
- Laura - Full Stack Developer
- Laura - Kesätyöpaikat, Toiminnanohjausjärjestelmän kehitys, Millog Oy Tampere
Premium-asiakkaiden viimeisimmät referenssit
- Into-Digital Oy - Huoneistokeskuksen digitaalinen kotipesä palvelemaan asunnon ostajia ja myyjiä
- Softlandia Oy - LlamaIndex – Softlandian parannukset nostivat haun tarkkuuden, luotettavuuden ja suorituskyvyn uudelle tasolle
- Ready Solutions Oy - Dynava: Moderni data-alusta Azuren ja Databricksin avulla
- Maxtech - RTK-Palvelu hyötyy Maxtechin ajansäästövaikutuksesta ja TES-osaamisesta
- TNNet Oy - Kauppakeskus Seppä – TNNet hoiti nettiyhtydet kerrasta kuntoon
- TNNet Oy - Evantizer Oy – Palvelinsiirtoa TNNetille ei ole tarvinnut katua
- Tecinspire Oy - Työ- ja toimintakyvyn arviointi tehostuu digitaalisella ammattilaistyökalulla
Tapahtumat & webinaarit
- 21.01.2025 - Älyteko 2025 -hybridiseminaari
- 23.01.2025 - Generatiivisen tekoälyn hyödyt liiketoimintajohtajalle
- 22.01.2025 - Verkosto 2025
- 29.01.2025 - Modern toolchain and AI breakfast seminar with Eficode, AWS and HashiCorp
- 30.01.2025 - 30.1.2025 | Webinaari: Tehokkaampaa tuotantoa teollisuusyritykselle Fellowmindin Manufacturing Template -ratkaisulla
- 30.01.2025 - Suuri Rahoitusilta
- 30.01.2025 - Open Future
Premium-asiakkaiden viimeisimmät bloggaukset
- Ready Solutions Oy - Mitä on data engineering?
- Digia Oyj - Senior Trainee: Arkkitehtina saa olla näköalapaikalla ihmisten ja teknologian välissä
- Digia Oyj - Senior Trainee: Bittejä on ilo siirrellä mielenkiintoisten asiakkaiden hyödyksi
- Efima Oyj - OpenAI o1 ja o3 – Uusi aikakausi kielimalleille?
- Codemate - Codematen kohokohdat vuodelta 2024
- Nodeon - Kun ensimmäinen miljoona on käytetty, niin siitä se homma vasta alkaa
- Efima Oyj - Voittava asiakaskokemus saavutetaan yhtenäisten prosessien ja järjestelmien avulla
Digitalisaatio & innovaatiot blogimediaBlogimediamme käsittelee tulevaisuuden liiketoimintaa, digitaalisia innovaatioita ja internet-ajan ilmiöitä |