Lakehouse – alusta vai tietovarasto moderniin analytiikkakehitykseen?
![](https://www.itewiki.fi/write/post_images/26378.png)
![26378 Bloggaus](https://www.itewiki.fi/images/icons/content_type_labels/post_post.png)
Modernien lakehouse – alustojen taustalla olevat teknologiat tarjoavat analyyttisten tietokantatuotteiden ominaisuuksia
Aiemmin oli selvää, että tarvittiin erikseen jonkinlainen analyyttinen tietokantatuote, joka pystyi toimimaan vahvasti tietomallinnetun tiedon tarjoamisen näkökulmasta analytiikan hyödyntämisen keskiössä. Tällöin erilaiset lakehouse – tyyppiset teknologiat käsitettiin enemmän big datan kaltaisen datan käsittelyn moottoreina ja toisaalta datan pitkäaikaisen tallennuksen edullisina ratkaisuina.
Modernit teknologiat ovat kuitenkin tuoneet uusia mahdollisuuksia eikä ole enää itsestään selvää, että välttämättä olisi tarvetta erilliselle analyyttiselle tietokantatuotteelle osana data-alustaa. Mitä tämä sitten käytännössä tarkoittaa analytiikan kehittämisen kannalta, asiaa käsitellään tässä kirjoituksessa?
Lakehouse – alusta ja object storage - tallennusratkaisut
Lakehouse – alustojen teknologioissa yhdistyvät erilaiset joustavat datankäsittelyn moottorit ja toisaalta datan tallennuksen ratkaisut yleisiin pilvipalveluiden object storage – tiedontallennuspalveluihin kuten Azure Storageen. Apache Spark, tai sen kaupalliset johdannaiset kuten Azure Databricks, ovat olleet pitkään keskeisiä datankäsittelyn moottoreita lakehouse – alustoilla.
Lakehouse – alustalla datan pysyväistallennus ja datan käsittelyn erilaiset tarpeen mukaiset moottorit ovat aidosti erotettu toisistaan, samaa dataa on mahdollista käsitellä hyödyntäen useita erilaisia datankäsittelyn moottoreita.
Databricksin käyttämä Delta Lake – tallennuskerros hyödyntää avoimen lähdekoodin Delta Tables – ominaisuutta, joka on laajennos pitkään käytössä olleiden parquet – tiedostojen päällä. Parhaimmillaan käyttäjät voivat hyödyntää erilaisia lakehouse – tauluja datankäsittelyn SQL – moottorin läpi huomaamatta eroa mihinkään tietokantatuotteeseen. Delta – taulut mahdollistavat myös tietynlaisen versiohistoriaan palaamisen.
Delta Lake ei ole ainoa tällainen avoin tiedostoformaatti, myös AWS:n Apache Iceberg on vastaava avoin tiedostoformaatti.
Mitali – arkkitehtuuri jakaa datankäsittelyn eri osa-alueisiin vaiheen perusteella
Mitali – arkkitehtuuri (medallion architecture) tarkoittaa tapaa jäsentää lakehouse - data-alustalla olevat datankäsittelyn kerrokset käsittelyn vaiheen mukaan. Kyseessä on oikeastaan uusi nimi perinteiselle asialle, jota tietovarastoinnissa on käytetty. Mitali – arkkitehtuuriin kuuluu seuraavat kerrokset.
- Pronssikerros raakadatalle
- Hopeakerros mallinnetulle datalle
- Kultakerros loppukäyttäjien käyttämälle datalle
Prosessikerros vastaa siitä, että raakadatat eri lähteistä tulevat datat tulevat käsitellyiksi, hopeakerros muodostaa tietynlaisen tietovarastokerroksen ja kultakerrokseen luodaan optimoituja tietorakenteita. Ei ole itsestään selvää millä tavalla hopeakerroksen data pitäisi mallintaa, vaihtoehtoja on useita ja perinteinen Ralf Kimballin esittämä dimensiomalli voi olla käyttökelpoinen. Toisaalta mikään ei estä mallintamasta hopeakerroksen dataa vaikkapa jotain toimialan tai organisaation tietomallia käyttäen ja hyödyntämällä dimensiomallia vasta kultakerrokseen.
Lakehouse – alustalla varmasti mallinnetaan tietoa, mutta on todennäköistä, että ei ole mitään yksittäistä metodologiaa joka nousee hallitsevaksi.
Azure Databricks ja Microsoft Fabric
Azuressa Microsoft Fabric ja Azure Databricks ovat molemmat hyviä vaihtoehtoja lakehouse – alustan teknologioiksi.
Molemmat mahdollistavat mitali – arkkitehtuurin, jossa data erilaisista tietolähteistä käsitellään kerroksittain ja lopulta tarjotaan loppukäyttäjille eri muodoissaan. Suurin ero näissä on se että lopulta Azure Databricks on ulkoinen palvelu jonka käyttöönottoon liittyy enemmän konfigurointia ja muiden Azuren palveluiden hyödyntämistä, Microsoft Fabric on suoraviivaisempi ottaa käyttöön. Microsoft Fabricin Data Factoryn toiminnallisuudet tarjoavat myös erilaisia low code – kehitystyövälineitä kun taas Azure Databricks perustuu koodipohjaiseen kehittämiseen.
![Ready Solutions Oy logo](https://www.itewiki.fi/thumb.php?src=https://www.itewiki.fi/write/logos/ready-solutions.png&size=x100)
Lisätietoja
Tagit
Liiketoimintaprosessi
![]() |
BI ja raportointi |
Erikoisosaaminen
![]() |
Analytiikka |
![]() |
Arkkitehtuuri |
![]() |
Big Data |
![]() |
Tekoäly (AI) ja koneoppiminen |
![]() |
Pilvipalvelut / SaaS |
Teknologia
![]() |
Azure |
![]() |
Microsoft |
Tarjonnan tyyppi
![]() |
Konsultointi |
![]() |
Toteutustyö |
![]() |
Tuki- ja ylläpitotyö |
Omat tagit
Ready Solutions - Asiantuntijat ja yhteyshenkilöt
Ready Solutions - Muita referenssejä
Ready Solutions - Muita bloggauksia
It- ja ohjelmistoalan työpaikat
- Laura - Senior developer
- Laura - IT Manager (F-35 Programme)
- Efima Oyj - Senior Solution Consultant, Microsoft Dynamics 365 Finance
- Laura - Director, Risk
- Laura - Senior Embedded Software Engineer
- Nordea - Sr IT Analyst - Adobe/SAS Marketing Automation
- Laura - Tietoanalyytikko, tietohallinto, yli 12kk
Premium-asiakkaiden viimeisimmät referenssit
- Wunder - Metsanhoidonsuositukset.fi – onnistunut digiloikka painetuista oppaista innovatiivisiiin rajapintaratkaisuihin
- Wunder - Tikkurila – Sirpaleisesta saumattomaan digiin
- Wunder - Ara uudisti sivustonsa yhdessä Wunderin kanssa
- Red & Blue Oy - Chiller Oy:n kasvumarkkinointi
- Altoros Finland Oy - Virtuaalinen tekoälyavusteinen kävelykierrosopas
- Softlandia Oy - Framery luottaa Softlandian osaamiseen vaativissa innovaatioprojekteissa
- SprintIT Oy - Näin Tele-Tukku vähensi manuaalista työtä ja säästi rahaa Odoon avulla
Tapahtumat & webinaarit
- 30.10.2024 - Nordic NetSuite Summit 2024
- 19.11.2024 - The Future of Software - Embracing Collaboration in an AI-Powered World
Premium-asiakkaiden viimeisimmät bloggaukset
- Softlandia Oy - Arto Nyberg haastatteli Softlandian toteuttamaa tekoälyä
- Aveso Oy - IFS Cloud 24R1 julkaisun uudistukset
- Timeless Technology - Tempmate-GM2 dataloggeri kuljetusolosuhteiden ja -reitin seurantaan pilvipalvelulla.
- Maxtech - Maxtechin uudistuksilla etenkin teollisuuden työvuorosuunnittelu on entistäkin tehokkaampaa
- Softlandia Oy - Tekoälymoottori – sitä parempaa automaatiota
- Ready Solutions Oy - Data-alustan modernisaatio ja uudet vaatimukset
- Timeless Technology - Tietoliikenteen talteenotto ja analyysi.
![]() |
Digitalisaatio & innovaatiot blogimediaBlogimediamme käsittelee tulevaisuuden liiketoimintaa, digitaalisia innovaatioita ja internet-ajan ilmiöitä |