Inleiding
Gedurende een periode van ongeveer vier maanden heb ik, vanuit Macaw, gewerkt aan de migratie van semantische modellen van Azure Analysis Services naar Power BI Premium. Hierbij heb ik onder andere gebruik gemaakt van slimme verversingsmechanismen om de grote hoeveelheid data van New York Pizza op een efficiënte manier (dagelijks) te verversen.
Details
Tijdens mijn werk aan de migratie van semantische modellen van Azure Analysis Services naar Power BI Premium voor New York Pizza heb ik verschillende technieken toegepast om de performance te optimaliseren.
Door gebruik te maken van tools zoals Tabular Editor hebben we ervoor gezorgd dat het reeds bestaand model grotendeels efficiënt kon worden hergebruikt. Daarnaast hebben we incremental refresh geconfigureerd voor grote tabellen, waarbij we gebruik maakten van partitionering om de data op een slimme manier te verversen. Dit zorgde ervoor dat alleen de meest recente data werd bijgewerkt, wat de verwerkingssnelheid aanzienlijk verbeterde.
Veel van de business logica hebben we van DAX en Power Query overgezet naar SQL. Deze aanpak verbeterde de performance van de modellen aanzienlijk, omdat SQL beter geschikt is voor complexe berekeningen en data-transformaties. Uiteraard hebben we het semantische model gemodelleerd met technieken zoals star schemas en de Kimball-methodologie om maximale performance te behalen bij het rapporteren.