Haluatko oppia puhumaan sujuvaa Fabricia – tai ainakin alkeita? Fabric on Microsoftin uusi analytiikka-alusta, joka kokoaa yhteen kaikki yrityksen tarvitsemat data- ja analytiikkatyökalut yhdelle SaaS-alustalle. Tämä mahdollistaa aiemmin hajanaisten työkalujen hallinnan entistä keskitetymmin ja tehokkaammin. Tekninen arkkitehtimme Tuomo Lagerström esittelee Fabricin eri työkalut ja avaa niiden käyttömahdollisuuksia.

Viime blogissani kerroin, miten Microsoftin uusi data- ja analytiikka-alusta Fabric kokoaa yhteen kaikki yrityksen tarvitsemat data- ja analytiikkatyökalut sekä punnitsin keskitetyn data-alustan hyötyjä. Tässä blogissa sukellan hieman syvemmälle siihen, mitä kaikkea Fabric kätkee sisälleen ja mikä on kunkin työkalun rooli yrityksen datanhallinnassa.

Fabricin sisältämät työkalut kootusti:

• OneLake – yrityksen kaiken tiedon varastointiin
• Data Factory – datan noutamiseen ja valmisteluun eri tietolähteistä
• Synapse Data Engineering ja Synapse Data Warehousing – tietovarastojen luomiseen ja käsittelyyn
• Synapse Data Science – tekoälyn hyödyntämiseen
• Synapse Real Time Analytics – datan reaaliaikaiseen käsittelyyn
• Power BI – datan visualisointiin
• Data Activator – dataan reagoimiseen
• Copilot – tehtävien suorittamiseen tekoälyavusteisesti

Microsoft Fabric kokoaa yhteen Microsoftin tuttuja analytiikkaratkaisuja ja tuo tarjolle myös täysin uusia kyvykkyyksiä, kuten Synapse Data Sciencen tekoälykyvykkyydet

OneLake – yrityksen kaiken tiedon varastointiin

OneLake on Microsoft Fabricin keskitetty tietovarasto, joka mahdollistaa organisaation kaiken tiedon tallentamisen ja hyödyntämisen keskitetysti. Jokainen Fabric-asennus sisältää OneLaken, ja sen avulla voidaan käsitellä ja jalostaa dataa eri liiketoimintasovelluksissa ja -prosesseissa ilman tarvetta monistaa tietoa tai tehdä monimutkaisia integraatioita.

OneLake tarjoaa myös rajapinnan ulkopuolisille järjestelmille tiedostojen käsittelyyn. Uutena tiedon siirtotekniikkana OneLake sisältää Shortcut-toiminnallisuuden, joka mahdollistaa datan lukemisen suoraan lähteeltä ilman tarvetta siirtää sitä erikseen OneLake-tietovarastoon. 

Käyttäjät voivat hallita OneLakea Windows Explorerin kautta, mikä tarjoaa tutun tavan käsitellä tietoja – aivan kuin käsittelisi OneDrive-tiedostoja Office-ympäristössä. Tiedot tallennetaan ja käsitellään OneLakessa Delta-Parquet-tiedostoformaatissa, joka on Apachen kehittämä big data -tiedostoformaatti. Delta-Parquet tuo tehokkuutta ja kustannussäästöjä datan käsittelyyn.

Workspace – työtilojen rakentamiseen OneLaken sisällä

OneLake voidaan jakaa Workspace-käsitteen avulla eri työtiloihin. Kukin työtila voi olla omistettu esimerkiksi tietylle liiketoiminta-alueelle, jolloin tiedon omistajuutta ja käyttöoikeuksia on helpompi hallita. Workspacen sisälle voidaan muodostaa erilaisia tietovarastoja: joko perinteisiä Data Warehouse tai moderneja Data Lakehouse -tietovarastoja:

• Data Warehouse on perinteinen tietovarasto, jossa tietoa tallennetaan strukturoidussa muodossa tietokantatauluihin ja sitä muokataan ja kysellään SQL-kyselykielen avulla. Data Warehouse -tietovarastot sopivat tilanteisiin, joissa tarvitaan nopeaa pääsyä hyvin organisoituun ja ennalta määriteltyyn dataan.

• Data Lakehouse on moderni tietovarasto, joka yhdistää sekä strukturoimattoman että strukturoidun datan tallennuksen. Data Lakehouse mahdollistaa suurten ja moninaisten datamassojen säilyttämisen ja analysoinnin, ja on ihanteellinen tilanteisiin, joissa tarvitaan skaalautuvaa ratkaisua datan käsittelyyn.

• Käytännössä Data Warehouse on kuin kirjasto, jossa jokainen kirja on huolellisesti järjestetty ja indeksoitu helpottamaan nopeaa löytämistä. Data Lakehouse, sen sijaan, on kuin suuri varasto, jossa on sekä laatikoita että irtotavaraa, mikä mahdollistaa laajemman valikoiman ja suurempien erien säilyttämisen. Molemmat ratkaisut tarjoavat erilaisia etuja riippuen yrityksen tarpeista ja datan käyttötavoista – OneLake mahdollistaa molempien hyödyntämisen.

Data Factory – datan noutamiseen ja valmisteluun eri tietolähteistä

Data Factoryn tehtävä on noutaa dataa OneLakeen mistä tahansa tietolähteestä sekä muuntaa ja valmistella se varastointia varten. Data Factory sisältää yli 100 valmista connectoria esimerkiksi Microsoftin omiin pilvipalveluihin, eri tietokantamoottoreihin ja muihin yritysjärjestelmiin, kuten SAP:iin. Data Factoryn avulla organisaatiot voivat yksinkertaistaa monimutkaisia integraatioprosesseja ja parantaa tiedon laatua. 

Data Factory jakautuu kahteen eri pääkomponenttiin:

• Dataflows tarjoaa low-code-käyttöliittymän, jonka avulla tietoja voidaan muuntaa lähdeformaatista haluttuun kohdeformaattiin käyttäen Power Query -työkalua. Se tekee tietojen käsittelystä helppoa ja intuitiivista.

• Pipelines tarjoaa työkalut tiedonkulun hallittuun orkestrointiin ja monitorointiin.

Synapse Data Engineering ja Synapse Data Warehousing – tietovarastojen luomiseen ja käsittelyyn

Synapse Data Engineering ja Synapse Data Warehousing ovat molemmat työkaluja, joilla luodaan tietovarastoja OneLakeen.

Synapse Data Engineering mahdollistaa modernien Data Lakehouse -tietovarastojen rakentamisen OneLakeen. Sen avulla yritysten data- ja analytiikkatiimit voivat prosessoida ja muuntaa dataa tarpeenmukaiseen muotoon. Tämän jälkeen data tallennetaan Lakehouse-tietovarastoon, josta se on helposti hyödynnettävissä eri sovelluksissa ja analyyseissä.

Datan muokkaus onnistuu käyttämällä Spark-notebookkeja, jotka tarjoavat joustavan ja tehokkaan tavan käsitellä tietoja. Datan kyselyyn ja lukemiseen voidaan käyttää Sparkin ja T-SQL:n kyselykieliä, jotka tukevat niin strukturoidun kuin ei-strukturoidun datan hallintaa. Kaikki tiedot tallennetaan Delta Lake -formaattiin, joka on optimoitu suurten datamäärien käsittelyyn.

Synapse Data Engineering -työkalun käyttö soveltuu organisaatioille, joilla on omaa data engineering ja data science -osaamista sekä kokemusta Spark-pohjaisten ratkaisujen kehittämisestä.

Synapse Data Warehousing sen sijaan mahdollistaa perinteisten Data Warehouse -tietovarastojen rakentamisen OneLakeen. Työkalun avulla tietoa voidaan kysellä, päivittää, lisätä ja poistaa SQL-kyselykielen avulla. Data Warehouse -tietovarastot tukevat vain rakenteellista dataa, ja tieto varastoidaan tietokannoista tuttuihin rakenteisiin – tietokantoihin, skeemoihin ja tauluihin. Sen toteutus perustuu deltatauluihin.

Synapse Data Warehousing on ihanteellinen työkalu yrityksille, jotka ovat jo investoineet Data Warehouse -ratkaisuihin ja joilla on asiantuntemusta SQL-kyselykielen käytössä.

Synapse Data Science – tekoälyn hyödyntämiseen

Yritysten liiketoiminnan synnyttämä tieto tarjoaa mahdollisuuden paitsi analysoida mennyttä myös ennustaa tulevaisuutta. Tähän tarvitaan kehittyneitä tekoälytyökaluja, ja Fabricin sisältämä Synapse Data Science sisältääkin työkalut koneoppimismallien kehittämiselle ja käyttämiselle. 

Synapse Data Sciencen avulla yritykset voivat kouluttaa omia koneoppimismallejaan OneLakessa sijaitsevalla datalla ja analysoida niiden avulla suuria datamassoja tehokkaasti. Prosessin lopputuloksena voidaan muodostaa esimerkiksi entistä laadukkaampia ennusteita tai tunnistaa liiketoiminnan kannalta merkittäviä poikkeamia.

Koneoppimismallien lisäksi Fabric tarjoaa mahdollisuuden hyödyntää yrityksen omaa dataa Open AI -kielimallin kouluttamiseen. Tämän avulla esimerkiksi asiakaspalautteita voidaan käsitellä ja kategorisoida automaattisesti, ja niistä voidaan kysellä tietoa luonnollisella kielellä.

Synapse Real Time Analytics – datan reaaliaikaiseen käsittelyyn

Synapse Real Time Analytics mahdollistaa yritysten datan reaaliaikaisen käsittelyn ja analysoinnin. Työkalu on erityisen hyödyllinen silloin, kun käsiteltävänä on suuria datamääriä, jotka vaativat nopeaa ja jatkuvaa prosessointia, kuten IoT-laitteiden sensoridata tai tietoturvaa koskevat tiedot.

Synapse Real Time Analytics on suunniteltu tukemaan monenlaisia sovelluksia, kuten logistiikan varastonhallintaa ja laitteiden kunnonvalvontaa, mahdollistaen ennakoivan huollon ja vikojen ennakoinnin. Synapse Real Time Analyticsin ytimessä on Kusto-tietokantamoottori, joka on optimoitu suurten datamassojen nopeaan kyselyyn ja analysointiin, palauttaen vastaukset millisekuntien kuluessa.

Data voidaan tuoda Kusto-tietokantaan useista eri lähteistä, kuten Event Stream -palvelusta, ja sitä kysellään käyttäen KQL-kyselykieltä (Kusto Query Language). KQL on suunniteltu erityisesti nopeaan ja tehokkaaseen datan käsittelyyn. Tämä mahdollistaa yrityksille reaaliaikaisen näkymän toimintaansa ja nopeat päätökset datan perusteella.

Power BI – loppukäyttäjän työkalu datan visualisointiin

Power BI on visuaalisen datan analysointityökalu, ja Fabricin työkaluista se on loppu viimein ainut näkyvä työkalu organisaatioiden loppukäyttäjille. Se on ollut saatavilla itsenäisenä tuotteena jo pitkään, mutta on nyt integroitu osaksi myös Fabricia. Power BI -raportit itsessään näyttävät samoilta kuin aina ennenkin, mutta Fabricin myötä käytettävä data saadaan muodostettua hyödyntäen kattavan data-alustan kaikki mahdollisuudet – esimerkiksi ennustavan analytiikan.

Power BI:n käyttöliittymät on suunniteltu eri käyttäjäryhmille:

• Power BI Desktop on asennettava sovellus, joka mahdollistaa raporttien luomisen ja muokkaamisen suoraan työasemalta.

• Power BI Service on pilvipohjainen palvelu, jossa raportit julkaistaan ja jaetaan loppukäyttäjille.

• Power BI Mobile tarjoaa mobiilikäyttöliittymän, jonka avulla raportteihin pääsee käsiksi missä ja milloin tahansa.
• 
  

Näiden työkalujen avulla käyttäjät voivat visualisoida ja jakaa tietoa tehokkaasti, mikä tukee parempia liiketoimintapäätöksiä.

Data Activator – dataan reagointiin

Data Activator on työkalu, joka auttaa organisaatioita reagoimaan nopeasti datan muutoksiin. Se seuraa Power BI -raportteja ja EventStreamia ja tunnistaa määriteltyjen raja-arvojen ylitykset. Kun raja-arvo ylittyy, Data Activator voi esimerkiksi lähettää automaattisesti ilmoituksen, kuten sähköpostin tai Teams-viestin, tai aktivoida Power Automate -työnkulun, jotta organisaatio voi vastata tilanteeseen asianmukaisesti.

Käyttötapauksia ovat esimerkiksi asiakastukipyynnön käsittelyajan ylittäminen, budjetin ylitys tai poikkeavuudet IoT-datassa. Data Activator on kirjoitushetkellä vielä esikatseluvaiheessa, mikä tarkoittaa, että se on testikäytössä ja sitä kehitetään edelleen.

Copilot – tehtävien suorittamiseen tekoälyavusteisesti 

Copilot on tekoälypohjainen avustaja, joka auttaa Fabricin käyttäjiä automatisoimaan ennestään manuaalisia prosesseja – esimerkiksi kehittämään Power BI -raportteja. Loppukäyttäjät voivat esimerkiksi pyytää Copilotia luomaan raportteja valitsemiensa dimensioiden ja mittareiden mukaan. He voivat myös pyytää Copilotia analysoimaan dataa ja ehdottamaan raportteja, jotka se katsoo datan perusteella parhaiksi.

Copilot on käytettävissä Power BI:n lisäksi myös Synapse Data Factoryssa, Data Engineeringissä ja Data Sciencessä. Tämä mahdollistaa kehittäjille Copilotin hyödyntämisen ratkaisujen kehittämisessä ja ongelmien ratkaisemisessa. Tämän blogin kirjoitushetkellä työkalu on vielä esikatseluvaiheessa, ja sen käyttö edellyttää vähintään F64-tason ympäristöä.

Yhdessä kaikki esittelemäni työkalut – OneLakesta Copiloteihin – muodostavat kattavan data- ja analytiikkaratkaisun, joka palvelee organisaatioiden tarpeita pitkälle tulevaisuuteen. 

Microsoft Fabric ei ole pelkästään vanhojen työkalujen uudelleenpakkaus; se on ekosysteemi, joka yhdistää olemassa olevat ratkaisut toisiinsa, tarjoaa synergiaetuja ja tuo käyttöön täysin uusia innovaatioita, kuten tekoälyn, parantaen näin yrityksen kykyä hyödyntää dataa strategisesti. Todennäköisesti se on myös yksi Microsoftin vauhdikkaimmin kehittyviä palveluja, jonka mahdollisuuksista kannattaa pysyä kuulolla.

Kirjoittaja

Tuomo Lagerström

Service Area Lead

Efima Oyj

Kirjoitus on julkaistu aiemmin Efiman sivuilla.