Van losse draden naar een sterke stof: Fabric

Data is tegenwoordig altijd en overal om ons heen. Organisaties verzamelen, transformeren en analyseren steeds meer data met als doel: INFORMATIE en INZICHT. Microsoft Fabric weeft losse databronnen samen tot bruikbare inzichten: een cloud-native, alles-in-één dataplatform.

1. Waarom overstappen naar Microsoft Fabric?
2. Wanneer kan dit interessant zijn?
3. Waar moeten we beginnen? 
4. Wat kost Fabric? 

Waarom overstappen naar Microsoft Fabric?

In plaats van aparte tools te gebruiken voor data-ingestie, datatransformatie, met daarnaast nog aparte omgevingen voor datalakes en/of datawarehouses, gevolgd door een losstaand BI-platform; wil je natuurlijk veel liever een one-stop-shop gebruiken welke dit allemaal kan.

Al deze losse tools hebben eigen licenties, configuraties en beheer nodig. Deze met elkaar integreren is vaak een complexe en tijdrovende klus.

Microsoft Fabric is een geïntegreerd en schaalbaar dataplatform in de cloud. Het verenigt alle essentiële componenten van moderne data-analyse in één omgeving:

1. OneLake is een uniform opslagplatform. Je kan hiermee gestructureerde data, semi-gestructureerde data en ongestructureerde data, uit verschillende bronnen eenvoudig opslaan. Hiermee krijg je dus wereldwijde toegang tot je data.
2. Delta Lake-formaat hiermee kan je grotere datasets sneller verwerken dan traditioneel mogelijk was in een datawarehouse. Delta Lake-formaat is ontworpen voor schaalbaarheid en efficiënt laden. Met krachtige inbegrepen tools kan je data snel transformeren en analyseren.
3. Power BI is volledig geïntegreerd als de analytische en visuele laag binnen Microsoft Fabric, waardoor gebruikers direct inzichten kunnen halen uit data die in OneLake wordt opgeslagen en verwerkt. 
4. Microsoft 365 en Fabric werken naadloos samen, waardoor data uit Teams, SharePoint en OneDrive direct toegankelijk is binnen Fabric. Dit maakt het eenvoudig om dashboards, rapporten en analyses te delen en te bewerken.
5. Ingebouwde data engineering via notebooks en pipelines, waarmee data verzameld, getransformeerd en voorbereid kan worden voor analyse. Notebooks ondersteunen Python, SQL en Spark, zodat complexe berekeningen en transformaties mogelijk zijn. Pipelines automatiseren datastromen, waardoor gegevens efficiënt van bron naar opslag en analyse worden verplaatst. 
6. Microsoft Entra ID (Azure AD) biedt uniforme beveiliging en identiteitsbeheer. Het zorgt voor centrale gebruikersauthenticatie en toegangscontrole voor alle data en toepassingen. Hierdoor wordt veilig samenwerken en consistent beleid voor data governance gegarandeerd.
7. Capaciteit gebaseerde schaalbaarheid (CU’s) Elke CU levert een vooraf bepaalde hoeveelheid rekenkracht en geheugen, voor analyses en dataflows. Er kan eenvoudig worden opgeschaald of afgeschaald op basis van datavolume en workload behoeft. 
8. Microsoft Purview zorgt voor centrale governance van databeleid. Het biedt inzicht in dataherkomst en classificatie binnen het platform. Met als doel veilig werken en voldoen aan compliance-eisen.
9. AI-functionaliteiten zijn naadloos geintegreerd, waardoor je complexe AI-modellen kunt trainen en toepassen met data direct uit OneLake: Of je nu voorspellingen wilt doen of processen automatiseren.

Wanneer kan dit interessant zijn? 

Na het lezen van de vorige alinea, we weten nu waarom je de overstap naar Microsoft Fabric wil maken. Om het nog wat concreter te maken, lopen we hieronder door een aantal scenario’s:

Voor welke organisaties is dit interessant?

1. Middelgrote en grote organisaties die veel verschillende databronnen combineren en tegen de grenzen van Power BI on-prem lopen.
2. Organisaties met internationale vestigingen die wereldwijd toegang tot dezelfde data en rapportages willen hebben.
3. Organisaties die actief zijn in de sectoren: finance, retail, logistiek, e-commerce of manufacturing. Bij deze sectoren is de data namelijk zeer intensief, waardoor snelheid en schaalbaarheid cruciaal zijn.
4. Organisaties die al sterk inzetten op Microsoft 365, Power BI en Azure. Vanuit deze toepassingen is de drempel voor integratie met Microsoft Fabric een stuk lager.
5. Organisaties die AI en predictive analytics willen toepassen op hun bestaande BI-data. 

In welke situaties kan dit interessant zijn?

1. Wanneer het onderhoud van servers, patches, storage en schaalbaarheid te duur en te tijdrovend wordt. Microsoft Fabric biedt schaalbare cloud-infrastructuur.
2. Wanneer datasets groter worden dan wat Power BI on-prem efficiënt kan verwerken. Microsoft Fabric kan grote hoeveelheden data opslaan en analyseren doormiddel van de geïntegreerde modules: Data Engineering, Data Warehousing en Data Science.
3. Wanneer data verspreid is over meerdere bronnen die samengevoegd moeten worden. Microsoft Fabric kan deze data centraal en near real-time samenbrengen in de OneLake.
4. Wanneer er naast dashboards ook behoefte is aan advanced analytics, machine learning en / of near real-time inzichten. Microsoft Fabric heeft ingebouwde AI/ML-integratie.
5. Wanneer er een (al maar groeiende) behoefte aan self-service + governance. Waarbij gebruikers zelf rapportages willen bouwen, maar IT grip moet houden op security en data lineage. Microsoft Fabric combineert beide: centrale governance en decentrale toegang via Power BI.
6. Wanneer een organisatie een bredere cloudtransitie doormaakt ten behoeve van modernisering /  cloud-first strategie (Azure, M365, etc.). Microsoft Fabric past naadloos in de Microsoft-cloudstack. Waar moeten we beginnen? 

Waar moeten we beginnen

Het is belangrijk om eerst goed de huidige situatie goed in kaart te brengen:

1. Welke tools worden gebruikt?
2. Welke databronnen zijn eraan gekoppeld?
3. Welke kernprocessen zijn cruciaal?
4. Welke rapportages en dashboard ondersteunen dit proces?

Identificeer afhankelijkheden, bottlenecks, onderhoudskosten en technische schulden. Zo ontstaat een helder overzicht van verbeterpunten en risico’s.

Op basis van de analyse van de huidige situatie, kan vervolgens bepaald worden hoe de toekomstige omgeving eruit moet komen te zien. De nieuwe architectuur richt zich op moderne, schaalbare en gebruiksvriendelijke oplossingen die aansluiten bij de behoeften van de organisatie. Belangrijke uitgangspunten zijn onder andere:

• OneLake als centrale opslagplaats, waardoor data op één plek beschikbaar is en eenvoudig kan worden beheerd.
• Lakehouse-structuur met een medaillon structuur (Bronze, Silver en Gold lagen) voor een gestandaardiseerde en overzichtelijke dataorganisatie.
• Fabric Pipelines voor geautomatiseerde, robuuste en beheersbare datastromen.
• Dataflows voor self-service data, zodat gebruikers zelfstandig datasets kunnen samenstellen en analyseren.
• Power BI semantic models als vervanging van traditionele cubes, om rapportages en analyses flexibeler en sneller te maken.

Wanneer bepaald is hoe de inrichting van Microsoft Fabric er moet komen te zien, kan de migratiestrategie worden bepaald. Er zijn verschillende mogelijke benaderingen, elk met eigen voor- en nadelen:

• Big bang: hierbij wordt de gehele omgeving in één keer overgezet naar het nieuwe platform. Dit kan snel resultaat opleveren, maar brengt ook aanzienlijke risico’s met zich mee, vooral bij complexe omgevingen met veel afhankelijkheden.
• Gefaseerde migratie: de migratie vindt stap voor stap plaats, bijvoorbeeld per domein zoals finance, sales of HR. Dit verkleint het risico, maakt problemen makkelijker beheersbaar en zorgt ervoor dat het nieuwe systeem geleidelijk kan worden getest en geoptimaliseerd.
• Parallelle omgeving: het oude en nieuwe platform draaien tijdelijk naast elkaar. Dit biedt zekerheid en continuïteit, maar vergt extra middelen en kan leiden tot dubbele processen.

Advies: kies bij voorkeur voor een gefaseerde migratie. Zo wordt de continuïteit gewaarborgd en kunnen eventuele problemen sneller worden opgespoord en opgelost.

Wat kost Fabric?

De kostenstructuur van Microsoft Fabric is gebaseerd op SKU’s. Dit zijn rekeneenheden die CPU en geheugen combineren. Het instapniveau begint bij de F2-SKU, waarmee je voor een relatief laag maandbedrag al aan de slag kunt (ten tijde van dit schrijven €164 per maand). Dit maakt het vooral aantrekkelijk voor kleinere teams of organisaties die net starten met Fabric. 

Grotere organisaties met meer actieve gebruikers, meerdere refreshes per dag, zwaardere workloads, etc. Zijn er hogere SKU’s beschikbaar. Veruit de meeste bedrijven starten met een SKU tussen de F2 en F64.

Bij het afnemen van capaciteit heb je de keuze tussen pay-as-you-go (betalen naar daadwerkelijk gebruik) of gereserveerde capaciteit (een vast maandbedrag). 

Voordelen van Pay-As-You-Go:

1. Je betaalt alleen voor wat je daadwerkelijk gebruikt, zonder langdurige verplichting.
2. Makkelijk op- of afschalen wanneer de vraag veranderd.
3. Handig voor startende projecten of onzekere workloads.
4. Geen noodzaak om capaciteit te plannen of reserveren.

Nadelen van Pay-As-You-Go:

1. Op de lange termijn duurder dan reserveringen.
2. Maandelijkse kosten kunnen sterk fluctueren.

Voordelen van Reservation:

1. Gemiddeld 41% goedkoper dan Pay-as-you-Go.
2. Kosten zijn vast voor de reserveringsperiode (meestal 1 of 3 jaar).
3. Perfect als je weet dat je bepaalde capaciteit constant nodig hebt.

Nadelen van Reservation:

1. Je zit vast aan een bepaalde configuratie of looptijd.
2. Voorafbetaling of langdurige verplichting.
3. Als je gebruik afneemt, betaal je nog steeds voor de gereserveerde capaciteit

Hier vind je een actueel overzicht van de kosten per SKU: Fabric Pricing

Naast de kosten voor de gekozen SKU, dien je ook reken te houden met kosten voor opslag in OneLake. Het tarief wat ten tijde van dit schrijven wordt gehanteerd is van ongeveer €0,021 per GB per maand, dit komt neer op ongeveer €21,- per terabyte per maand. Hiermee kan dus tegen relatief lage kosten veel data worden opgeslagen. Deze kosten vind je ook onder Fabric Pricing.

Dataopslag zal ongemerkt blijven doorgroeien, controleer daarom regelmatig welke datasets en rapporten nog daadwerkelijk nodig zijn. Wanneer je regelmatig overbodige objecten opruimt, beperk je de opslagkosten.

Om vooraf een inschatting van de benodigde capaciteit te krijgen, kan je het beste Microsoft Fabric Capacity Estimator tool gebruiken: Capacity Estimator.

Om inzicht te krijgen in de werkelijke rekencapaciteit die verschillende processen en teams benutten, kan je gebruik maken van de gratis Capacity Metric App binnen Fabric. Zo stem je capaciteit nauwkeurig af op de behoefte en voorkom je dat je structureel te veel betaalt. 

Conclusie

Microsoft Fabric is een geïntegreerd en schaalbaar dataplatform in de cloud. Het verenigt alle essentiële componenten van moderne data-analyse in één omgeving. Het kan grote hoeveelheden data opslaan en analyseren doormiddel van de geïntegreerde modules: Data Engineering, Data Warehousing en Data Science. Microsoft Fabric combineert beide: centrale governance en decentrale toegang via Power BI en past naadloos in de Microsoft-cloudstack.

Samengevat belooft het:

1. Snellere time-to-value voor data- en AI-initiatieven
2. Lagere integratie- en operationele kosten
3. Sterkere beveiliging en governance
4. Breder toegankelijke data dankzij semantische modellen en data-agents