Plataforma, Delta Lake, Unity Catalog e computação

O que cai na prova

• Componentes principais da Data Intelligence Platform: arquitetura, Delta Lake e Unity Catalog
• Serviços de computação: características, limitações e custos, e a melhor opção para cada carga de trabalho

Resumo da aula

Lakehouse

Junta o data lake (arquivos baratos na nuvem) com recursos de data warehouse (transações, esquema, desempenho). Os dados ficam no armazenamento de objetos da nuvem (S3, ADLS, GCS) e servem tanto a BI quanto a IA.

Delta Lake

O formato de tabela padrão do Databricks: arquivos Parquet mais um log de transações. Traz transações ACID, imposição de esquema, MERGE, UPDATE e DELETE, e time travel para consultar versões antigas.

Unity Catalog

A camada de governança: um só lugar para permissões, auditoria e linhagem de tabelas, volumes, modelos e funções, em todos os workspaces. Os nomes seguem catálogo.esquema.tabela.

Computação

All-purpose: interativa, para notebooks, mais cara. Job compute: criada para rodar um job e desligada depois, mais barata. SQL warehouse: para SQL e BI. Serverless: o Databricks gerencia as máquinas, com partida rápida. O custo é medido em DBUs.