Inleiding
Gedurende een aantal maanden werkte ik voor Heineken Procurement, in opdracht van Macaw, aan het (her)bouwen van een procurement semantisch model. De grootste uitdaging van dit project was de performance, vanwege de enorme hoeveelheid data (miljarden rijen) waarmee we werkten.
Details
Zoals hierboven aangegeven bracht dit project een uitdaging met zich mee: het werken met en beschikbaar stellen van een enorme hoeveelheid data. Hierdoor was performance-optimalisatie cruciaal en van uiterst belang.
Door de hoeveelheid data moesten we vele mogelijkheden in Power BI onderzoeken om de beste aanpak te vinden. Uiteindelijk hebben we gebruik gemaakt van aggregations, waarbij een deel van de data werd geïmporteerd en een deel als Direct Query beschikbaar werd gesteld. Het was van groot belang dat de juiste data en de juiste granulariteit werden ingeladen, zodat de belangrijkste overzichten snel weergegeven konden worden. Dit zorgde ervoor dat gebruikers snel toegang hadden tot de meest relevante informatie zonder vertragingen.
Het model dat we bouwden was groot en complex, en we maakten gebruik van de Kimball-modelleringstechniek om de data op een gestructureerde en efficiënte manier te organiseren. Deze aanpak hielp ons om de performance te optimaliseren en ervoor te zorgen dat het model schaalbaar en onderhoudbaar bleef.