Microsoft Fabric -sanakirja: esittelyssä Fabricin analytiikkatyökalut
Haluatko oppia puhumaan sujuvaa Fabricia – tai ainakin alkeita? Fabric on Microsoftin uusi analytiikka-alusta, joka kokoaa yhteen kaikki yrityksen tarvitsemat data- ja analytiikkatyökalut yhdelle SaaS-alustalle. Tämä mahdollistaa aiemmin hajanaisten työkalujen hallinnan entistä keskitetymmin ja tehokkaammin. Tekninen arkkitehtimme Tuomo Lagerström esittelee Fabricin eri työkalut ja avaa niiden käyttömahdollisuuksia.
Viime blogissani kerroin, miten Microsoftin uusi data- ja analytiikka-alusta Fabric kokoaa yhteen kaikki yrityksen tarvitsemat data- ja analytiikkatyökalut sekä punnitsin keskitetyn data-alustan hyötyjä. Tässä blogissa sukellan hieman syvemmälle siihen, mitä kaikkea Fabric kätkee sisälleen ja mikä on kunkin työkalun rooli yrityksen datanhallinnassa.
Fabricin sisältämät työkalut kootusti:
- OneLake – yrityksen kaiken tiedon varastointiin
- Data Factory – datan noutamiseen ja valmisteluun eri tietolähteistä
- Synapse Data Engineering ja Synapse Data Warehousing – tietovarastojen luomiseen ja käsittelyyn
- Synapse Data Science – tekoälyn hyödyntämiseen
- Synapse Real Time Analytics – datan reaaliaikaiseen käsittelyyn
- Power BI – datan visualisointiin
- Data Activator – dataan reagoimiseen
- Copilot – tehtävien suorittamiseen tekoälyavusteisesti
Microsoft Fabric kokoaa yhteen Microsoftin tuttuja analytiikkaratkaisuja ja tuo tarjolle myös täysin uusia kyvykkyyksiä, kuten Synapse Data Sciencen tekoälykyvykkyydet
OneLake – yrityksen kaiken tiedon varastointiin
OneLake on Microsoft Fabricin keskitetty tietovarasto, joka mahdollistaa organisaation kaiken tiedon tallentamisen ja hyödyntämisen keskitetysti. Jokainen Fabric-asennus sisältää OneLaken, ja sen avulla voidaan käsitellä ja jalostaa dataa eri liiketoimintasovelluksissa ja -prosesseissa ilman tarvetta monistaa tietoa tai tehdä monimutkaisia integraatioita.
OneLake tarjoaa myös rajapinnan ulkopuolisille järjestelmille tiedostojen käsittelyyn. Uutena tiedon siirtotekniikkana OneLake sisältää Shortcut-toiminnallisuuden, joka mahdollistaa datan lukemisen suoraan lähteeltä ilman tarvetta siirtää sitä erikseen OneLake-tietovarastoon.
Käyttäjät voivat hallita OneLakea Windows Explorerin kautta, mikä tarjoaa tutun tavan käsitellä tietoja – aivan kuin käsittelisi OneDrive-tiedostoja Office-ympäristössä. Tiedot tallennetaan ja käsitellään OneLakessa Delta-Parquet-tiedostoformaatissa, joka on Apachen kehittämä big data -tiedostoformaatti. Delta-Parquet tuo tehokkuutta ja kustannussäästöjä datan käsittelyyn.
Workspace – työtilojen rakentamiseen OneLaken sisällä
OneLake voidaan jakaa Workspace-käsitteen avulla eri työtiloihin. Kukin työtila voi olla omistettu esimerkiksi tietylle liiketoiminta-alueelle, jolloin tiedon omistajuutta ja käyttöoikeuksia on helpompi hallita. Workspacen sisälle voidaan muodostaa erilaisia tietovarastoja: joko perinteisiä Data Warehouse tai moderneja Data Lakehouse -tietovarastoja:
- Data Warehouse on perinteinen tietovarasto, jossa tietoa tallennetaan strukturoidussa muodossa tietokantatauluihin ja sitä muokataan ja kysellään SQL-kyselykielen avulla. Data Warehouse -tietovarastot sopivat tilanteisiin, joissa tarvitaan nopeaa pääsyä hyvin organisoituun ja ennalta määriteltyyn dataan.
- Data Lakehouse on moderni tietovarasto, joka yhdistää sekä strukturoimattoman että strukturoidun datan tallennuksen. Data Lakehouse mahdollistaa suurten ja moninaisten datamassojen säilyttämisen ja analysoinnin, ja on ihanteellinen tilanteisiin, joissa tarvitaan skaalautuvaa ratkaisua datan käsittelyyn.
- Käytännössä Data Warehouse on kuin kirjasto, jossa jokainen kirja on huolellisesti järjestetty ja indeksoitu helpottamaan nopeaa löytämistä. Data Lakehouse, sen sijaan, on kuin suuri varasto, jossa on sekä laatikoita että irtotavaraa, mikä mahdollistaa laajemman valikoiman ja suurempien erien säilyttämisen. Molemmat ratkaisut tarjoavat erilaisia etuja riippuen yrityksen tarpeista ja datan käyttötavoista – OneLake mahdollistaa molempien hyödyntämisen.
Data Factory – datan noutamiseen ja valmisteluun eri tietolähteistä
Data Factoryn tehtävä on noutaa dataa OneLakeen mistä tahansa tietolähteestä sekä muuntaa ja valmistella se varastointia varten. Data Factory sisältää yli 100 valmista connectoria esimerkiksi Microsoftin omiin pilvipalveluihin, eri tietokantamoottoreihin ja muihin yritysjärjestelmiin, kuten SAP:iin. Data Factoryn avulla organisaatiot voivat yksinkertaistaa monimutkaisia integraatioprosesseja ja parantaa tiedon laatua.
Data Factory jakautuu kahteen eri pääkomponenttiin:
- Dataflows tarjoaa low-code-käyttöliittymän, jonka avulla tietoja voidaan muuntaa lähdeformaatista haluttuun kohdeformaattiin käyttäen Power Query -työkalua. Se tekee tietojen käsittelystä helppoa ja intuitiivista.
- Pipelines tarjoaa työkalut tiedonkulun hallittuun orkestrointiin ja monitorointiin.
Synapse Data Engineering ja Synapse Data Warehousing – tietovarastojen luomiseen ja käsittelyyn
Synapse Data Engineering ja Synapse Data Warehousing ovat molemmat työkaluja, joilla luodaan tietovarastoja OneLakeen.
Synapse Data Engineering mahdollistaa modernien Data Lakehouse -tietovarastojen rakentamisen OneLakeen. Sen avulla yritysten data- ja analytiikkatiimit voivat prosessoida ja muuntaa dataa tarpeenmukaiseen muotoon. Tämän jälkeen data tallennetaan Lakehouse-tietovarastoon, josta se on helposti hyödynnettävissä eri sovelluksissa ja analyyseissä.
Datan muokkaus onnistuu käyttämällä Spark-notebookkeja, jotka tarjoavat joustavan ja tehokkaan tavan käsitellä tietoja. Datan kyselyyn ja lukemiseen voidaan käyttää Sparkin ja T-SQL:n kyselykieliä, jotka tukevat niin strukturoidun kuin ei-strukturoidun datan hallintaa. Kaikki tiedot tallennetaan Delta Lake -formaattiin, joka on optimoitu suurten datamäärien käsittelyyn.
Synapse Data Engineering -työkalun käyttö soveltuu organisaatioille, joilla on omaa data engineering ja data science -osaamista sekä kokemusta Spark-pohjaisten ratkaisujen kehittämisestä.
Synapse Data Warehousing sen sijaan mahdollistaa perinteisten Data Warehouse -tietovarastojen rakentamisen OneLakeen. Työkalun avulla tietoa voidaan kysellä, päivittää, lisätä ja poistaa SQL-kyselykielen avulla. Data Warehouse -tietovarastot tukevat vain rakenteellista dataa, ja tieto varastoidaan tietokannoista tuttuihin rakenteisiin – tietokantoihin, skeemoihin ja tauluihin. Sen toteutus perustuu deltatauluihin.
Synapse Data Warehousing on ihanteellinen työkalu yrityksille, jotka ovat jo investoineet Data Warehouse -ratkaisuihin ja joilla on asiantuntemusta SQL-kyselykielen käytössä.
Synapse Data Science – tekoälyn hyödyntämiseen
Yritysten liiketoiminnan synnyttämä tieto tarjoaa mahdollisuuden paitsi analysoida mennyttä myös ennustaa tulevaisuutta. Tähän tarvitaan kehittyneitä tekoälytyökaluja, ja Fabricin sisältämä Synapse Data Science sisältääkin työkalut koneoppimismallien kehittämiselle ja käyttämiselle.
Synapse Data Sciencen avulla yritykset voivat kouluttaa omia koneoppimismallejaan OneLakessa sijaitsevalla datalla ja analysoida niiden avulla suuria datamassoja tehokkaasti. Prosessin lopputuloksena voidaan muodostaa esimerkiksi entistä laadukkaampia ennusteita tai tunnistaa liiketoiminnan kannalta merkittäviä poikkeamia.
Koneoppimismallien lisäksi Fabric tarjoaa mahdollisuuden hyödyntää yrityksen omaa dataa Open AI -kielimallin kouluttamiseen. Tämän avulla esimerkiksi asiakaspalautteita voidaan käsitellä ja kategorisoida automaattisesti, ja niistä voidaan kysellä tietoa luonnollisella kielellä.
Synapse Real Time Analytics – datan reaaliaikaiseen käsittelyyn
Synapse Real Time Analytics mahdollistaa yritysten datan reaaliaikaisen käsittelyn ja analysoinnin. Työkalu on erityisen hyödyllinen silloin, kun käsiteltävänä on suuria datamääriä, jotka vaativat nopeaa ja jatkuvaa prosessointia, kuten IoT-laitteiden sensoridata tai tietoturvaa koskevat tiedot.
Synapse Real Time Analytics on suunniteltu tukemaan monenlaisia sovelluksia, kuten logistiikan varastonhallintaa ja laitteiden kunnonvalvontaa, mahdollistaen ennakoivan huollon ja vikojen ennakoinnin. Synapse Real Time Analyticsin ytimessä on Kusto-tietokantamoottori, joka on optimoitu suurten datamassojen nopeaan kyselyyn ja analysointiin, palauttaen vastaukset millisekuntien kuluessa.
Data voidaan tuoda Kusto-tietokantaan useista eri lähteistä, kuten Event Stream -palvelusta, ja sitä kysellään käyttäen KQL-kyselykieltä (Kusto Query Language). KQL on suunniteltu erityisesti nopeaan ja tehokkaaseen datan käsittelyyn. Tämä mahdollistaa yrityksille reaaliaikaisen näkymän toimintaansa ja nopeat päätökset datan perusteella.
Power BI – loppukäyttäjän työkalu datan visualisointiin
Power BI on visuaalisen datan analysointityökalu, ja Fabricin työkaluista se on loppu viimein ainut näkyvä työkalu organisaatioiden loppukäyttäjille. Se on ollut saatavilla itsenäisenä tuotteena jo pitkään, mutta on nyt integroitu osaksi myös Fabricia. Power BI -raportit itsessään näyttävät samoilta kuin aina ennenkin, mutta Fabricin myötä käytettävä data saadaan muodostettua hyödyntäen kattavan data-alustan kaikki mahdollisuudet – esimerkiksi ennustavan analytiikan.
Power BI:n käyttöliittymät on suunniteltu eri käyttäjäryhmille:
- Power BI Desktop on asennettava sovellus, joka mahdollistaa raporttien luomisen ja muokkaamisen suoraan työasemalta.
- Power BI Service on pilvipohjainen palvelu, jossa raportit julkaistaan ja jaetaan loppukäyttäjille.
- Power BI Mobile tarjoaa mobiilikäyttöliittymän, jonka avulla raportteihin pääsee käsiksi missä ja milloin tahansa.
Näiden työkalujen avulla käyttäjät voivat visualisoida ja jakaa tietoa tehokkaasti, mikä tukee parempia liiketoimintapäätöksiä.
Data Activator – dataan reagointiin
Data Activator on työkalu, joka auttaa organisaatioita reagoimaan nopeasti datan muutoksiin. Se seuraa Power BI -raportteja ja EventStreamia ja tunnistaa määriteltyjen raja-arvojen ylitykset. Kun raja-arvo ylittyy, Data Activator voi esimerkiksi lähettää automaattisesti ilmoituksen, kuten sähköpostin tai Teams-viestin, tai aktivoida Power Automate -työnkulun, jotta organisaatio voi vastata tilanteeseen asianmukaisesti.
Käyttötapauksia ovat esimerkiksi asiakastukipyynnön käsittelyajan ylittäminen, budjetin ylitys tai poikkeavuudet IoT-datassa. Data Activator on kirjoitushetkellä vielä esikatseluvaiheessa, mikä tarkoittaa, että se on testikäytössä ja sitä kehitetään edelleen.
Copilot – tehtävien suorittamiseen tekoälyavusteisesti
Copilot on tekoälypohjainen avustaja, joka auttaa Fabricin käyttäjiä automatisoimaan ennestään manuaalisia prosesseja – esimerkiksi kehittämään Power BI -raportteja. Loppukäyttäjät voivat esimerkiksi pyytää Copilotia luomaan raportteja valitsemiensa dimensioiden ja mittareiden mukaan. He voivat myös pyytää Copilotia analysoimaan dataa ja ehdottamaan raportteja, jotka se katsoo datan perusteella parhaiksi.
Copilot on käytettävissä Power BI:n lisäksi myös Synapse Data Factoryssa, Data Engineeringissä ja Data Sciencessä. Tämä mahdollistaa kehittäjille Copilotin hyödyntämisen ratkaisujen kehittämisessä ja ongelmien ratkaisemisessa. Tämän blogin kirjoitushetkellä työkalu on vielä esikatseluvaiheessa, ja sen käyttö edellyttää vähintään F64-tason ympäristöä.
Yhdessä kaikki esittelemäni työkalut – OneLakesta Copiloteihin – muodostavat kattavan data- ja analytiikkaratkaisun, joka palvelee organisaatioiden tarpeita pitkälle tulevaisuuteen.
Microsoft Fabric ei ole pelkästään vanhojen työkalujen uudelleenpakkaus; se on ekosysteemi, joka yhdistää olemassa olevat ratkaisut toisiinsa, tarjoaa synergiaetuja ja tuo käyttöön täysin uusia innovaatioita, kuten tekoälyn, parantaen näin yrityksen kykyä hyödyntää dataa strategisesti. Todennäköisesti se on myös yksi Microsoftin vauhdikkaimmin kehittyviä palveluja, jonka mahdollisuuksista kannattaa pysyä kuulolla.
Kirjoittaja
Tuomo Lagerström
Service Area Lead
Efima Oyj
Kirjoitus on julkaistu aiemmin Efiman sivuilla.
Lisätietoja
Tagit
Liiketoimintaprosessi
Tietohallinto |
Erikoisosaaminen
Analytiikka | |
Big Data | |
Pilvipalvelut / SaaS |
Teknologia
Microsoft |
Tarjonnan tyyppi
Konsultointi | |
Koulutus | |
Tuki- ja ylläpitotyö | |
Valmisohjelmisto |
Omat tagit
Efima - Asiantuntijat ja yhteyshenkilöt
Efima - Muita referenssejä
Efima - Muita bloggauksia
It- ja ohjelmistoalan työpaikat
- Laura - IT BUSINESS PARTNERING DIRECTOR
- Laura - Data Engineer
- Laura - Datainsinööri, tietohallinto
- Laura - Ohjaaja media- ja it-tiimi / oppisopimus
- Laura - Kesätyöpaikat IT-ala
- Frends iPaaS - Technical Community Manager
- Druid Oy - Myyjä - hunter-henkinen tekijä, joka saa tuloksia aikaiseksi!
Premium-asiakkaiden viimeisimmät referenssit
- Nordea - Scrum Master to the Financial Crime Prevention Technology team
- Codemate - Kestävää kasvua sovelluskehityksen transformaatiolla
- Maxtech - Muonion kunta modernisoi työajanseurantansa Maxtechin järjestelmällä
- Identio Oy - Identio x Svenska litteratursällskapet i Finland - Täsmäosaamista modernin sisällönhallintajärjestelmän kehittämiseen
- Hellon - Redefining Digital Insurance for Vodafone
- Agenda Digital - Fican.fi WordPress-verkkosivut
- Red & Blue Oy - Taivalkosken uusi saavutettava ja erottuva verkkopalvelu
Tapahtumat & webinaarit
- 15.01.2025 - Datavastuullisuuden valmennus: hanki valmiudet vastuulliseen datan ja tekoälyn hyödyntämiseen
- 15.01.2025 - FCAI-SIG: AI in Energy
- 15.01.2025 - SaaS-klubi: Myyntivetoinen kasvu
- 21.01.2025 - Älyteko 2025 -hybridiseminaari
- 23.01.2025 - Generatiivisen tekoälyn hyödyt liiketoimintajohtajalle
- 29.01.2025 - Modern toolchain and AI breakfast seminar with Eficode, AWS and HashiCorp
- 30.01.2025 - Suuri Rahoitusilta
Premium-asiakkaiden viimeisimmät bloggaukset
- Kisko Labs Oy - Miksi saavutettavuus kuuluu kaikille ja miksi sen merkitys kasvaa jatkuvasti?
- Codemate - Tietoturvaa ja Hollywoodia: Vesse Saastamoinen yhdistää intohimonsa Codematella
- Codemate - Hannun polku IT-yrittäjyydestä Codematelle
- Codemate - UX-suunnittelija Tiina Nykänen ajautui tietämättään unelma-ammattiinsa
- Codemate - Jukka-Pekka eteni Codematella mobiilidevaajasta tiiminvetäjäksi
- Maxtech - Avainta TES -muutokset ja niiden hallinta: Näin Maxtech voi auttaa
- Vetonaula Oy - Windows 10:n tuen päättyminen: mitä yrityksesi tulisi tietää?
Digitalisaatio & innovaatiot blogimediaBlogimediamme käsittelee tulevaisuuden liiketoimintaa, digitaalisia innovaatioita ja internet-ajan ilmiöitä |