Azure Databricks glossário de terminologia técnica

A terminologia do Azure Databricks abrange engenharia de dados, análise, aprendizado de máquina, governança e arquitetura lakehouse. Este glossário define os termos-chave em ordem alfabética.

A

lista de controle de acesso (ACL)

Uma lista de permissões anexadas ao workspace, ao cluster, ao trabalho, à tabela ou ao experimento. Uma ACL especifica quais usuários ou processos do sistema têm acesso aos objetos e quais operações são permitidas nos ativos. Cada entrada em uma ACL típica especifica uma entidade e uma operação. Confira Listas de Controle de Acesso.

modo de acesso

Um recurso de segurança que determina quem pode usar um recurso de computação e os dados que podem acessar ao usar o recurso de computação. Cada recurso de computação em Azure Databricks tem um modo de acesso. Consulte Modos de acesso.

Transações ACID

Transações de banco de dados que são processadas de forma confiável. ACID significa atomicidade, consistência, isolamento, durabilidade. Confira Boas práticas de confiabilidade.

Bricks do Agente

Os recursos do Azure Databricks que permitem criar uma solução de IA de alta qualidade.

inteligência artificial (IA)

A capacidade de um computador de imitar o comportamento humano inteligente. Consulte Aprendizado de máquina no Azure Databricks.

Agente de IA

Uma aplicação com capacidades complexas de raciocínio que lhe permite criar seu próprio plano e executar a tarefa de acordo com as ferramentas à sua disposição. Veja Componentes de um agente.

Funções de IA

As funções SQL internas que permitem aplicar IA em seus dados diretamente do SQL no Azure Databricks. Veja Transformar dados não estruturados usando Funções de IA.

Playground de IA

Um recurso Azure Databricks com o qual os usuários podem interagir, testar e comparar modelos de IA servidos em seu workspace Azure Databricks. Veja Converse com LLMs e crie protótipos de aplicativos de IA no AI Playground.

Runtime de IA

Uma oferta de computação serverless para cargas de trabalho de deep learning que traz suporte para GPU para a computação serverless do Azure Databricks. Use o AI Runtime para treinar e ajustar modelos personalizados com os frameworks que você escolher. Consulte Visão geral.

Detecção de anomalias

Técnicas e ferramentas usadas para identificar padrões incomuns que não estão em conformidade com o comportamento esperado em conjuntos de dados. Azure Databricks facilita a detecção de anomalias por meio de seus recursos de aprendizado de máquina e processamento de dados.

Apache Iceberg

Um formato de tabela de software livre para cargas de trabalho de análise que dão suporte à evolução do esquema, à viagem no tempo e ao particionamento oculto. Azure Databricks dá suporte a tabelas Iceberg gerenciadas pelo Catálogo do Unity e por catálogos estrangeiros. Veja O que é o Apache Iceberg em Azure Databricks?.

Apache Spark

Um sistema de computação distribuído de código aberto usado para cargas de trabalho de big data. Confira a visão geral do Apache Spark.

Análise de aplicativo

Um recurso Databricks Apps que mostra aos proprietários quais páginas as pessoas visitam, quais ações tomam e como o app se comporta em seus navegadores. O App Analytics combina eventos enviados pelo aplicativo com as informações de acesso ao aplicativo que o Azure Databricks coleta. Veja o que é App Analytics?

App Space

Um limite de governança para os aplicativos Databricks onde os administradores definem quem pode criar e usar apps, quais permissões esses apps possuem e quais políticas de gasto se aplicam a eles. O App Spaces permite que administradores configurem permissões para grupos de desenvolvedores de aplicativos em vez de para cada aplicativo. Veja App Spaces.

Registro de Artefato

Um recurso do Catálogo Unity que armazena imagens de contêineres como ativos governados na mesma região do metastore do Catálogo Unity. Envie imagens com comandos padrão do Docker, controle o acesso com privilégios do Unity Catalog e disponibilize as imagens para cargas de trabalho suportadas pelo Azure Databricks. Veja Registro de Artefatos.

rede neural artificial (ANN)

Um sistema de computação padronizado após a operação de neurônios no cérebro humano.

asset

Uma entidade em um workspace Azure Databricks (por exemplo, um objeto ou um arquivo).

Controle de acesso baseado em atributos (ABAC)

Um modelo de controle de acesso no Unity Catalog onde as políticas usam atributos em objetos protegidos, representados por tags governadas, para determinar o acesso. Uma política anexada em um nível da hierarquia do Catálogo Unity entra em vigor automaticamente em qualquer objeto que possua os atributos alvo. O ABAC suporta filtros de linha, máscaras de coluna, concessões de privilégios e negações de privilégios. Consulte o controle de acesso baseado em atributo no Catálogo do Unity.

log de auditoria

Um registro de atividades e ações do usuário no ambiente Azure Databricks, crucial para segurança, conformidade e monitoramento operacional. Confira Referência do log de diagnóstico.

Carregador Automático

Um recurso de ingestão de dados que processa de forma incremental e eficiente novos arquivos de dados à medida que chegam ao armazenamento em nuvem sem nenhuma configuração adicional. Confira O que é o Carregador Automático?.

AutoML

Um recurso Azure Databricks que simplifica o processo de aplicação de aprendizado de máquina aos seus conjuntos de dados encontrando automaticamente a melhor configuração de algoritmo e hiperparâmetro para você. Consulte O que é AutoML?.

Linhagem de dados automatizada

O processo de rastrear e visualizar automaticamente o fluxo de dados desde sua origem até sua forma final, essencial para depuração, conformidade e compreensão das dependências de dados. Azure Databricks facilita isso por meio de integrações com ferramentas de linhagem de dados.

Gerenciamento automático de identidades

Um recurso que permite aos administradores adicionar usuários e grupos do seu provedor de identidade ao Azure Databricks. Administradores buscam identidades diretamente em espaços de trabalho federados por identidade e as adicionam, e o Azure Databricks usa o provedor de identidade como fonte de registro para a filiação ao grupo. Consulte o gerenciamento automático de identidade.

dimensionamento automático, horizontal

Adicionar ou remover executores com base no número de tarefas aguardando agendamento. Isso acontece dinamicamente durante uma única atualização.

dimensionamento automático, vertical

Aumentar ou diminuir o tamanho de um computador (driver ou executor) com base na pressão de memória (ou falta dela). Isso acontece apenas no início de uma nova atualização.

Azure Databricks

Uma versão do Databricks otimizada para a plataforma de nuvem Microsoft Azure.

B

processamento em lote

Um método de processamento de dados que permite definir instruções explícitas para processar uma quantidade fixa de dados estáticos e inalteráveis como uma única operação. Azure Databricks usa SQL do Spark ou DataFrames. Veja Ingest com APIs SQL e Spark.

detecção e mitigação de viés

O processo de identificação e endereçamento de preconceitos em modelos de dados e machine learning para garantir a imparcialidade e a precisão. O Databricks oferece ferramentas e integrações para ajudar a detectar e reduzir o viés. Confira o artigo Monitorar a imparcialidade e o viés para modelos de classificação.

inteligência de negócios (BI)

As estratégias e tecnologias usadas pelas empresas para a análise de dados e gerenciamento de informações de negócios.

C

catálogo (Catálogo do Unity)

O primeiro nível no namespace de três níveis do Unity Catalog (catalog.schema.table-etc). Um catálogo é um contêiner para esquemas, que, por sua vez, contêm tabelas, exibições, volumes, modelos e funções. Consulte O que são catálogos em Azure Databricks?.

Gerenciador de Catálogos

Um recurso Azure Databricks que fornece uma interface do usuário para explorar e gerenciar dados, esquemas (bancos de dados), tabelas, modelos, funções e outros ativos de IA. Você pode usá-lo para localizar objetos de dados e proprietários, reconhecer as relações de dados entre tabelas e gerenciar permissões e compartilhamentos. Confira O que é o Explorador de Catálogos?.

instância filho

Uma instância filho é um clone de cópia em gravação da instância original do banco de dados. Ele pode ser criado a partir do momento atual ou de um momento histórico dentro da janela de retenção. Confira Recuperação pontual.

CICD ou CI/CD

As práticas combinadas de integração contínua (CI) e entrega contínua (CD). Consulte CI/CD no Azure Databricks.

limpar dados

Dados que passaram por um processo de limpeza de dados, que é o processo de detecção e correção (ou remoção) de registros corrompidos ou imprecisos de um conjunto de registros, tabela ou banco de dados e refere-se à identificação de partes incompletas, incorretas, imprecisas ou irrelevantes dos dados e, em seguida, substituir, modificar ou excluir os dados sujos ou grosseiros.

Limpar Salas

Um recurso de Azure Databricks que usa o OpenSharing e a computação sem servidor para fornecer um ambiente seguro e de proteção de privacidade em que várias partes podem compartilhar dados corporativos confidenciais e colaborar sem acesso direto aos dados uns dos outros. Com o Clean Rooms, os usuários de outras contas da Databricks podem colaborar para gerar insights sobre projetos compartilhados, como campanhas publicitárias, decisões de investimento ou pesquisa e desenvolvimento, sem compartilhar o acesso a dados subjacentes confidenciais. Veja O que é Azure Databricks Clean Rooms?.

Provedor de plataforma em nuvem

Uma empresa que fornece uma plataforma de computação em nuvem. Por exemplo, Microsoft Azure, Amazon Web Services (AWS) e GCP (Google Cloud Platform).

cluster

Um recurso de computação sem servidor usado em notebooks, trabalhos e pipelines do Lakeflow. O termo compute substituiu cluster em toda a interface do usuário Azure Databricks, mas ainda é usado na API de Clusters e em metadados.

compute

Refere-se a recursos de computação, que são elementos de infraestrutura, seja hardware ou software, que permitem a resolução de problemas e a criação de soluções por meio do recebimento, análise e armazenamento de dados. Compute.

Entrada baseada em contexto

Um recurso de segurança de rede que permite aos administradores de contas definir regras de permissão e negação que combinam quem está acessando, de onde estão acessando e o que podem alcançar no Azure Databricks. O ingress baseado em contexto funciona junto com listas de acesso IP e conectividade privada front-end. Você configura isso no nível da conta, e uma única política pode governar múltiplos espaços de trabalho. Consulte o controle de entrada baseado em contexto.

pipeline contínuo

Um pipeline que atualiza todas as tabelas continuamente, conforme novos dados chegam ininterruptamente na entrada. Confira Modo de pipeline disparado versus contínuo.

D

gráfico acíclico direcionado (DAG)

Um método de representação das dependências entre tarefas em um fluxo de trabalho ou pipeline. Em um modelo de processamento DAG, as tarefas são representadas como nós em um gráfico acíclico direcionado, em que as bordas representam as dependências entre as tarefas.

Plataforma de Dados + IA

A plataforma unificada Azure Databricks para engenharia de dados, análises, aprendizado de máquina e IA generativa, construída sobre uma arquitetura lakehouse e governada pelo Unity Catalog. Anteriormente chamada de Plataforma Databricks Lakehouse e Plataforma de Inteligência de Dados. Veja O que é Azure Databricks?.

catálogo de dados

Uma ferramenta de gerenciamento de metadados para gerenciar fontes de dados, fornecendo informações sobre a estrutura, o local e o uso dos dados. Azure Databricks integra-se a catálogos de dados externos para gerenciamento avançado de metadados.

governança de dados

A prática de gerenciar a disponibilidade, integridade, segurança e usabilidade dos dados, envolvendo políticas, procedimentos e tecnologias para garantir a qualidade e a conformidade dos dados.

ingestão de dados

O processo de importação, transferência, carregamento e processamento de dados de várias fontes para Azure Databricks para armazenamento, análise e processamento.

Data Lake

Um grande repositório de armazenamento que contém uma grande quantidade de dados brutos em seu formato nativo até que sejam necessários.

Data Lakehouse

Um sistema de gerenciamento de dados que combina os benefícios de data lakes e data warehouses. Um data lakehouse fornece recursos escalonáveis de armazenamento e processamento para organizações modernas que desejam evitar sistemas isolados para processar cargas de trabalho diferentes, como machine learning (ML) e business intelligence (BI). Um data lakehouse pode ajudar a estabelecer uma única fonte de verdade, eliminar custos redundantes e garantir a atualização de dados. Consulte O que é um data lakehouse?.

Criação de perfil de dados

Monitora as propriedades estatísticas e a qualidade dos dados em todas as tabelas da sua conta. Você também pode usá-lo para acompanhar o desempenho de modelos de machine learning e pontos de extremidade que servem modelos monitorando tabelas de inferência que contêm entradas e previsões de modelo. Consulte a criação de perfil de dados.

pipeline de dados

Uma série de estágios nos quais os dados são gerados, coletados, processados e movidos para um destino. O Databricks facilita a criação e o gerenciamento de pipelines de dados complexos para processamento de dados em lote e em tempo real.

privacidade de dados

A prática de proteger dados pessoais contra acesso, uso, divulgação ou roubo não autorizados. Azure Databricks enfatiza recursos robustos de privacidade e segurança de dados, incluindo criptografia de ponta a ponta, controle de acesso baseado em função e conformidade com as principais regulamentações de proteção de dados, para proteger informações confidenciais e garantir a governança de dados.

Virtualização de Dados

Uma abordagem de gerenciamento de dados que permite que um aplicativo recupere e manipule dados sem exigir detalhes técnicos sobre os dados, como como eles são formatados ou onde estão fisicamente localizados. Azure Databricks pode servir como parte de uma camada de virtualização de dados fornecendo acesso contínuo e análise de dados em diferentes fontes.

armazenamento de dados

Refere-se à coleta e armazenamento de dados de várias fontes para que possam ser acessados rapidamente para insights e relatórios de negócios. A arquitetura do lakehouse e o Databricks SQL trazem funcionalidades de armazenamento de dados na nuvem para seus data lakes. Consulte a arquitetura de data warehouse.

catálogo de banco de dados

Uma entidade de catálogo do Unity Catalog que representa um banco de dados Postgres em uma instância específica. Isso é conceitualmente semelhante a um catálogo estrangeiro no Catálogo do Unity. Consulte Registrar um banco de dados Lakebase no Unity Catalog.

instância do banco de dados

Uma instância de banco de dados gerencia recursos de armazenamento e computação e fornece os pontos de extremidade aos quais os usuários se conectam. Consulte Lakebase Provisioned.

Databricks

Uma plataforma de análise unificada e aberta para criar, implantar, compartilhar e manter soluções de dados, análises e IA de nível empresarial em escala. A Plataforma Databricks Data + AI integra-se com armazenamento em nuvem e segurança na sua conta em nuvem, além de gerenciar e implantar a infraestrutura em nuvem em seu nome. Veja O que é Azure Databricks?.

IA/BI do Databricks

Um produto de inteligência empresarial para fornecer compreensão da semântica de seus dados, permitindo a análise de dados por conta própria. A IA/BI é construída sobre um sistema de IA composto que extrai insights de todo o ciclo de vida dos seus dados na plataforma Databricks, incluindo pipelines de ETL, linhagem de dados e outras consultas. Veja IA/BI do Databricks.

Recursos de IA do Databricks

O mecanismo de inteligência de dados que alimenta a Plataforma Databricks. É um sistema composto de IA que combina o uso de modelos de IA, recuperação, classificação e sistemas de personalização para entender a semântica dos dados e padrões de uso da sua organização. Consulte os recursos assistenciais de IA do Databricks.

Pesquisa de IA do Databricks

Um índice vetorial de busca que está incorporado à Databricks Data + AI Platform e integrado às suas ferramentas de governança e produtividade. Consulte a Pesquisa de IA do Databricks.

A Pesquisa de IA do Databricks era anteriormente conhecida como Pesquisa de Vetores do Databricks.

Aplicativos do Databricks

Um recurso Azure Databricks que permite aos desenvolvedores criar e implantar dados seguros e aplicativos de IA diretamente na plataforma Azure Databricks usando estruturas Python ou Node.js. Os aplicativos são executados na computação sem servidor e integram-se ao Catálogo do Unity, ao DATAbricks SQL e ao OAuth. Consulte Os Aplicativos do Databricks.

Pacotes de Automação Declarativa

Uma ferramenta para facilitar a adoção das melhores práticas de engenharia de software, incluindo controle do código-fonte, revisão de código, teste e integração e entrega contínuas (CI/CD) para seus projetos de dados e IA. Os pacotes possibilitam descrever recursos do Azure Databricks, como trabalhos, pipelines e notebooks, no formato de arquivos de origem. Veja o que são pacotes de automação declarativa?.

Databricks CLI

Uma interface de linha de comando para Azure Databricks que permite aos usuários gerenciar e automatizar workspaces do Databricks e implantar trabalhos, notebooks e bibliotecas. Consulte a CLI do Databricks.

Databricks Connect

Uma biblioteca cliente que permite que os desenvolvedores conectem seus IDEs favoritos, notebooks e outras ferramentas com a computação do Azure Databricks e executem o código Spark remotamente. Consulte Databricks Connect.

Serviços de Contêiner do Databricks

Um recurso de Azure Databricks que permite especificar uma imagem do Docker ao criar computação. Consulte os Serviços de Contêiner do Databricks para computação dedicada.

Databricks Marketplace

Um fórum aberto para troca de produtos de dados. Os provedores devem ter uma conta Azure Databricks, mas os destinatários podem ser qualquer pessoa. Os ativos do Marketplace incluem conjuntos de dados, blocos de anotações Azure Databricks, aceleradores de solução de Azure Databricks e modelos de IA (machine learning). Os conjuntos de dados normalmente são disponibilizados como catálogos de dados tabulares, embora dados não tabulares, na forma de volumes de Azure Databricks, também tenham suporte. Confira O que é o Databricks Marketplace?.

Databricks Runtime

Um tempo de execução otimizado para análise de big data. O Databricks também oferece o Databricks Runtime para Aprendizado de Máquina, que é otimizado para cargas de trabalho de aprendizado de máquina. Consulte Versões e compatibilidade das notas de versão do Databricks Runtime.

Databricks Sandbox

Um ambiente serverless e sob demanda para rodar código não confiável isoladamente. Crie e gerencie sandboxes com a API REST do Azure Databricks, SDK ou linha de comando do Databricks. Veja Databricks Sandbox.

DBSQL (Databricks SQL)

A coleção de serviços que traz funcionalidades de armazenamento de dados e desempenho para seus data lakes existentes. O Databricks SQL dá suporte a formatos abertos e ao padrão ANSI SQL. Um editor de SQL na plataforma e ferramentas de dashboarding permitem que os membros da equipe colaborem com outros usuários Azure Databricks diretamente no workspace. Consulte Data warehousing no Azure Databricks.

DBUs

Uma Unidade Databricks (DBU) é uma unidade normalizada de poder de processamento na Plataforma Databricks Data + AI usada para fins de medição e precificação. O número de DBUs que uma carga de trabalho consome é orientado por métricas de processamento, que podem incluir os recursos de computação usados e a quantidade de dados processados. Consulte componentes do Azure Databricks.

DBFS (Sistema de Arquivos do Databricks)

Um sistema de arquivos distribuído montado em um workspace do Azure Databricks e disponível nos recursos de computação do Azure Databricks. Azure Databricks recomenda usar volumes do Catálogo do Unity em vez de DBFS para controlar o acesso a dados não tabulares. Confira O que é DBFS?.

DataFrame

Uma estrutura de dados que organiza os dados em uma tabela bidimensional de linhas e colunas, muito parecida com uma planilha. DataFrames são uma das estruturas de dados mais comuns usadas na análise de dados moderna porque são uma maneira flexível e intuitiva de armazenar e trabalhar com dados. Veja Tutorial: Carregar e transformar dados usando Apache Spark DataFrames.

dataset

Uma coleção estruturada de dados organizados e armazenados juntos para análise ou processamento. Os dados em um conjunto de dados geralmente são relacionados de alguma forma e obtidos de uma única fonte ou destinados a um único projeto.

Materialização de conjunto de dados

Um recurso de painéis de IA/BI que pré-calcula e armazena os resultados com base em um conjunto de dados de painel em uma programação. O carregamento e as interações do painel são renderizados a partir dos resultados armazenados em vez de reexecutar as consultas subjacentes, o que torna os painéis publicados mais rápidos. Veja Materialização de conjuntos de dados em dashboards de IA/BI.

Lago Delta

Uma camada de armazenamento de código aberto que traz confiabilidade às lagoas de dados. O Delta Lake fornece transações ACID, tratamento de metadados escalonáveis e unifica o processamento de dados de lote e streaming. Veja O que é o Delta Lake em Azure Databricks?.

Pipelines

Pipelines de processamento de dados criados em SDP (Pipelines Declarativos do Apache Spark™). Você define as transformações a serem executadas em seus dados e os pipelines do Lakeflow gerenciam a orquestração de tarefas, o gerenciamento de cluster, o monitoramento, a qualidade dos dados e o tratamento de erros. Veja Spark Declarative Pipelines no Lakeflow.

Conjuntos de dados de pipelines

As tabelas de streaming, exibições materializadas e exibições mantidas como resultados das consultas declarativas.

OpenSharing

Permite que você compartilhe dados e ativos de IA em Azure Databricks com usuários fora da sua organização, quer esses usuários usem Azure Databricks ou não. Também disponível como um projeto de software livre para compartilhar dados tabulares, usá-los em Azure Databricks adiciona a capacidade de compartilhar dados não tabulares e não estruturados (volumes), modelos de IA, exibições, dados filtrados e notebooks. Veja o que é o OpenSharing?.

Tabelas delta

O formato padrão de tabela de dados no Azure Databricks é um recurso da estrutura de dados do Delta Lake de código aberto. Normalmente, as tabelas Delta são usadas para data lakes, nos quais os dados são ingeridos por streaming ou em lotes grandes. Consulte tabelas do Azure Databricks.

DLT

O nome preterido para pipelines do Lakeflow. O produto anteriormente conhecido como DLT (Delta Live Tables) foi renomeado; O código existente não requer migração. Veja o que aconteceu com o Delta Live Tables (DLT)?.

E

inserção (substantivo)

Uma representação matemática do conteúdo semântico de dados, como texto ou imagens, expressa como um vetor de números. As inserções são usadas em Azure Databricks para pesquisa de vetor, geração aumentada por recuperação e outros aplicativos de IA. Diferente do termo "incorporação" como incorporar um painel a uma interface do usuário. Consulte a Pesquisa de IA do Databricks.

ETL (Extrair, Transformar, Carregar)

Uma abordagem moderna para integração de dados que extrai dados de fontes, carrega-os no sistema de destino e os transforma no sistema de destino. Consulte o Tutorial: Criar um pipeline de ETL com pipelines do Lakeflow.

tabela externa

Uma tabela registrada no Catálogo do Unity em que os dados residem em um local de armazenamento em nuvem externo. O Catálogo do Unity gerencia metadados e controle de acesso, mas o ciclo de vida de dados é gerenciado fora de Azure Databricks. Consulte Trabalhar com tabelas externas.

F

Repositório de Recursos

Um repositório central para armazenar, gerenciar e fornecer recursos para modelos de aprendizado de máquina. Consulte o Repositório de Recursos do Databricks.

ajuste fino

O processo de usar um modelo de machine learning pré-treinado e refiná-lo em um conjunto de dados menor e específico do domínio para otimizar seu desempenho para uma aplicação específica. Consulte Treinar modelos de IA e ML.

flow

Um fluxo é um processo em pipelines do Lakeflow que lê dados, os transforma e os grava em um local de destino.

tabela externa

Uma tabela somente leitura no Catálogo do Unity cujos dados são gerenciados por um catálogo fora do Catálogo do Unity, como AWS Glue ou Snowflake. O Azure Databricks usa a Lakehouse Federation para recuperar metadados e ler a tabela do armazenamento de objetos. Consulte Trabalho com tabelas estrangeiras.

modelos de fundação

Grandes modelos de ML pré-treinados com a intenção de serem ajustados para tarefas mais específicas de compreensão e geração de linguagem. Confira APIs do Modelo Base do Databricks.

G

Código Genie

Um parceiro de IA autônomo projetado especificamente para o trabalho de dados em Azure Databricks. O Genie Code é profundamente integrado ao Catálogo do Unity, fornecendo reconhecimento contextual de suas tabelas, colunas e linhagem para acelerar tarefas de dados complexas e de várias etapas. Consulte o Código do Genie.

Agente Genie

Um recurso de IA/BI Azure Databricks que permite que as equipes de negócios interajam com seus dados usando linguagem natural. Especialistas em domínio configuram o Genie Agents com conjuntos de dados, consultas de exemplo e diretrizes para que o Genie possa traduzir perguntas de negócios em consultas SQL. Consulte Genie Agents.

Construtor de Aplicativos Genie

Uma ferramenta nativa de Azure Databricks para construir aplicações Databricks com linguagem natural na interface do Azure Databricks. O Genie App Builder gera um app a partir da sua descrição e mostra uma prévia funcional que você refina e depois implanta. Os aplicativos que você constrói com o Genie App Builder ficam em um App Space. Veja Genie App Builder.

Genie One

Uma interface simplificada do Azure Databricks projetada para usuários de negócios, fornecendo um único ponto de entrada para interagir com dashboards de IA/BI, Genie Agents e Databricks Apps sem precisar navegar pelos conceitos técnicos do workspace. Consulte Como usar o Genie One.

IA generativa

Um tipo de inteligência artificial focada na capacidade dos computadores de usar modelos para criar conteúdo como imagens, texto, código e dados sintéticos. Os aplicativos de IA generativos são criados com base em modelos de IA generativos: LLMs (modelos de linguagem grandes) e modelos de base. Consulte Aprendizado de máquina no Azure Databricks.

Pastas Git

Um cliente Git visual integrado ao workspace Azure Databricks que fornece recursos de controle de versão, colaboração e CI/CD para notebooks e arquivos. Anteriormente conhecido como Repos. Consulte Azure Databricks pastas Git.

I

Inferência

O processo de usar um modelo de machine learning treinado para gerar previsões ou saídas de novos dados de entrada. Azure Databricks dá suporte à inferência em tempo real e em lote por meio do Model Serving. Consulte Implantar modelos usando o Model Serving.

script de inicialização

Um script de shell executado durante a inicialização de um recurso de computação Azure Databricks. Os scripts init podem instalar pacotes, modificar configurações ou definir variáveis de ambiente. Consulte O que são scripts de inicialização?.

J

job

A unidade primária para agendar e orquestrar cargas de trabalho de produção no Azure Databricks. Os trabalhos consistem em uma ou mais tarefas. Consulte Trabalhos do Lakeflow.

L

Lakeflow Connect

Oferece conectores integrados para ingestão de aplicativos e bancos de dados corporativos. O pipeline de ingestão resultante é controlado pelo Catálogo do Unity e tem tecnologia de computação sem servidor e pipelines do Lakeflow. Consulte Conceitos de conectores do Lakeflow Connect.

Federação Lakehouse

A plataforma de federação de consultas do Azure Databricks. O termo federação de consulta descreve uma coleção de recursos que permitem que usuários e sistemas executem consultas em várias fontes de dados sem a necessidade de migrar todos os dados para um sistema unificado. Azure Databricks usa o Catálogo do Unity para gerenciar a federação de consulta. Consulte Conectar-se a bancos de dados e catálogos externos.

Lakebase

Azure Databricks Lakebase é um banco de dados OLTP integrado ao lakehouse. Um banco de dados OLTP (processamento de transações online) é um tipo especializado de sistema de banco de dados projetado para lidar com grandes volumes de dados transacionais em tempo real com eficiência. O Lakebase permite que você crie um banco de dados OLTP no Azure Databricks e traga cargas de trabalho OLTP para o Lakehouse.

Consulte Lakebase Provisioned.

Lakebase Endpoint

Um ponto de extremidade do Lakebase é o principal ponto de acesso ao banco de dados para o banco de dados Lakebase Postgres. Cada ponto de extremidade é identificado por uma ID de ponto de extremidade exclusiva e opera em uma única região de nuvem. Um ponto de extremidade pode ser configurado como uma instância de computação única ou com alta disponibilidade, o que emparelha uma instância primária com uma ou mais instâncias secundárias para failover automático. Você se conecta ao banco de dados por meio das strings de conexão do endpoint.

Consulte Alta disponibilidade.

modelo de linguagem grande (LLM)

Um modelo de processamento de linguagem natural (NLP) projetado para tarefas como responder a perguntas abertas, bate-papo, resumo de conteúdo, execução de instruções quase arbitrárias, tradução e geração de conteúdo e código. Os LLMs são treinados a partir de conjuntos de dados massivos usando algoritmos avançados de aprendizado de máquina para aprender os padrões e estruturas da linguagem humana. Veja Desenvolver agentes no Azure Databricks.

library

Um pacote de código disponível para o notebook ou o trabalho em execução no cluster. Os runtimes do Databricks incluem muitas bibliotecas e você também pode carregar as suas próprias. Consulte Instalar bibliotecas.

agrupamento líquido

Um recurso de otimização de layout de dados Azure Databricks para tabelas Delta e Iceberg que clusteriza incrementalmente dados com base em colunas especificadas para melhorar o desempenho da consulta. Ao contrário do particionamento tradicional, o clustering líquido se adapta à alteração dos padrões de dados. Consulte Usar clustering líquido para tabelas.

M

sessões de agente gerenciadas

Um repositório durável e independente de framework para o estado de sessão do agente, que é o estado que um agente ou framework mantém para uma interação. Mais comumente, esse é o histórico da conversa com mensagens, chamadas de ferramenta e resultados que um agente lê no início de cada turno. Veja Sessões do agente.

tabela gerenciada

Uma tabela cujos arquivos de dados e metadados são totalmente gerenciados pelo Catálogo do Unity. As tabelas gerenciadas são sempre armazenadas no formato Delta ou Iceberg e se beneficiam da manutenção automatizada por meio da otimização preditiva. Consulte as tabelas gerenciadas do Unity Catalog para Delta Lake e Apache Iceberg.

visão materializada

Uma exibição que foi pré-computada e armazenada para que possa ser consultada com latência mais baixa ou repetidamente sem computação redundante. Confira Exibições materializadas.

Medallion Architecture

Um padrão de design de dados que é usado para organizar logicamente os dados em um lakehouse, com o objetivo de melhorar incremental e progressivamente a estrutura e a qualidade dos dados à medida que eles fluem por cada camada da arquitetura (das tabelas de camada Bronze ⇒ Prata ⇒ Ouro). O que é arquitetura medallion do Lakehouse?.

metastore

O componente que armazena todas as informações de estrutura das diversas tabelas e partições no data warehouse, incluindo informações de coluna e de tipo de coluna, os serializadores e desserializadores necessários para ler e gravar dados, assim como os arquivos correspondentes em que os dados são armazenados. Consulte Metastore.

visão de métricas

Um objeto do Catálogo do Unity que fornece uma maneira centralizada de definir e gerenciar métricas de negócios reutilizáveis. As exibições de métrica separam definições de medida de agrupamentos de dimensões, permitindo definir métricas uma vez e consultá-las de forma flexível em qualquer dimensão. Veja as visões métricas do Catálogo Unity.

MLflow

A maior plataforma de engenharia código aberto de Inteligência Artificial para agentes, LLMs e modelos de ML. O MLflow permite que equipes de todos os tamanhos depurem, avaliem, monitorem e otimizem seus aplicativos de IA, controlando os custos e gerenciando o acesso a modelos e dados. O MLflow no Azure Databricks é um serviço totalmente gerenciado com funcionalidade adicional para clientes corporativos, fornecendo uma implantação gerenciada escalonável e segura do MLflow. Veja o MLflow no Databricks.

Rastreamento do MLflow

Um recurso do MLflow para GenAI que fornece observabilidade de ponta a ponta registrando em log cada etapa que um agente ou aplicativo executa. Use o Rastreamento do MLflow para depurar, monitorar e auditar o comportamento do agente em desenvolvimento e produção. Veja visão geral do rastreamento.

Protocolo de Contexto de Modelo (MCP)

Um padrão de software livre que conecta agentes a ferramentas, recursos, prompts e outras informações contextuais por meio de uma interface padronizada. Azure Databricks fornece servidores MCP gerenciados, externos e personalizados. Veja MCPs.

treinamento de modelo

O processo de treinamento de machine learning e modelos de aprendizado profundo em Azure Databricks usando muitas bibliotecas de software livre populares. Consulte Treinar modelos de IA e ML.

Serviço de Modelo

A interface unificada para implantar, controlar e consultar modelos de IA para inferência em tempo real e em lote. Consulte Implantar modelos usando o Model Serving.

Treinamento de modelo do Databricks

O recurso permite que você use seus dados para personalizar um modelo de base para otimizar seu desempenho para seu aplicativo específico. Ao realizar o ajuste fino completo dos parâmetros ou o treinamento contínuo de um modelo básico, você pode treinar seu próprio modelo usando significativamente menos dados, tempo e recursos de computação do que treinar um modelo do zero. Veja Ajuste fino de modelo fundacional (EoL).

N

notebook

Uma interface da Web interativa usada por cientistas de dados e engenheiros para escrever e executar código em vários idiomas (por exemplo, Python, Scala, SQL) no mesmo documento. Consulte os notebooks do Databricks.

O

OAuth

O OAuth é um padrão aberto para delegação de acesso, comumente usado como uma forma de os usuários da Internet concederem a sites ou aplicativos acesso às suas informações em outros sites, mas sem fornecer as senhas. Consulte Autorizar acesso aos recursos do Azure Databricks.

P

Conexão com Parceiros

Um programa da Databricks que fornece integrações mantidas por fornecedores de software independentes para se conectar à maioria dos sistemas de dados corporativos. Consulte O que é o Databricks Partner Connect?.

token de acesso pessoal (PAT)

Uma sequência de caracteres usada para autenticar um usuário ao acessar um sistema de computador em vez de uma senha. Consulte Autorizar acesso aos recursos do Azure Databricks.

Photon

Um mecanismo de consulta vetorizado nativo do Databricks de alto desempenho que executa suas cargas de trabalho SQL e chamadas de API do DataFrame mais rapidamente para reduzir o custo total por carga de trabalho. O Photon é compatível com as APIs do Apache Spark. Portanto, ele funciona com o código existente. Confira O que é o Photon?.

otimização preditiva

Um recurso Azure Databricks que identifica e executa automaticamente operações de manutenção em tabelas gerenciadas do Catálogo do Unity para melhorar o desempenho da consulta e reduzir os custos de armazenamento. Consulte Otimização Preditiva para Tabelas Gerenciadas do Unity Catalog.

pipeline

Um grafo de tabelas, exibições, exibições materializadas, fluxos e coletores que são atualizados de forma lenta em uma ordem de dependência determinada pelo sistema.

rebobinar pipeline

Um recurso de pipelines Lakeflow que retorna um pipeline a um ponto no tempo anterior a um problema, como uma transformação ruim ou um lote malformado de registros fonte. Depois que você implanta uma correção, o pipeline reprocessa apenas os dados afetados. Consulte Retroceder e reexecutar um pipeline.

R

RAG (geração aumentada de recuperação)

Uma técnica que permite que um LLM (modelo de linguagem de grande porte) gere respostas enriquecidas ao aumentar o prompt do usuário com dados de suporte recuperados de uma fonte de informações externa. Ao incorporar essas informações recuperadas, o RAG permite que o LLM gere respostas mais precisas e de maior qualidade em comparação com a não utilização de contexto adicional no prompt. Consulte RAG (Geração Aumentada por Recuperação) no Azure Databricks.

S

esquema (Catálogo do Unity)

O filho de um catálogo no Catálogo do Unity, que pode conter tabelas, exibições, volumes, modelos e funções. Um esquema é o segundo nível do namespace de três níveis do Catálogo do Unity (catalog.schema.table-etc). Veja O que é o Catálogo do Unity?.

computação sem servidor

Computação gerenciada por Azure Databricks, o que reduz a sobrecarga de gerenciamento e fornece computação instantânea para aumentar a produtividade do usuário. Consulte Conectar-se ao computador sem servidor.

Entidade de segurança de serviço

Uma identidade criada para uso com ferramentas automatizadas, trabalhos em execução e aplicativos. Você pode restringir o acesso de uma entidade de serviço a recursos usando permissões, da mesma forma como um usuário do Azure Databricks. Ao contrário de um usuário do Azure Databricks, uma entidade de serviço é uma identidade Somente API; não pode acessar diretamente a interface do usuário do Azure Databricks ou a CLI do Databricks. Confira Entidades de serviço.

coletor (pipelines)

Um coletor é um destino para um fluxo que faz gravações em um sistema externo (por exemplo, Kafka, Kinesis, Delta).

Roteamento Inteligente

Um recurso do Unity Gateway que seleciona o modelo de menor custo capaz de lidar com a tarefa de um agente de codificação, para que você não escolha um modelo para cada requisição. Veja Selecionar modelos ou usar o Roteamento Inteligente.

SQL Warehouse

Um recurso de computação que permite consultar e explorar dados em Azure Databricks. Consulte Conectar-se a um armazém de dados SQL.

processamento de fluxo

Um método de processamento de dados que permite definir uma consulta em um conjunto de dados não associado e em crescimento contínuo e, em seguida, processar dados em lotes pequenos e incrementais. O processamento de fluxo do Azure Databricks usa Streaming Estruturado. Consulte Conceitos de Streaming Estruturado.

streaming

Streaming refere-se a qualquer conteúdo de mídia – ao vivo ou gravado – (ou seja, um fluxo de dados) entregue a computadores e dispositivos móveis via internet e reproduzido em tempo real. Consulte Conceitos de Streaming Estruturado.

análise de streaming

O processo de análise de dados gerados continuamente por diferentes fontes. Azure Databricks dá suporte à análise de streaming por meio de Streaming Estruturado, permitindo o processamento e a análise de dados ao vivo para insights em tempo real.

Streaming estruturado

Um mecanismo de processamento de fluxo escalonável e tolerante a falhas criado no mecanismo Spark SQL, permitindo cálculos complexos como consultas de streaming. Consulte Conceitos de Streaming Estruturado.

tabela de streaming

Uma tabela gerenciada que tem um fluxo de gravação para ela. Consulte tabelas de streaming.

tabelas do sistema

O armazenamento de dados analíticos hospedado no Azure Databricks para os dados operacionais da sua conta, como logs de auditoria, uso faturável e rastreabilidade. As tabelas do sistema estão disponíveis no catálogo system no Unity Catalog. Consulte a referência de tabelas do sistema.

tabela sincronizada

Uma tabela sincronizada é uma tabela Postgres somente leitura do Catálogo do Unity que sincroniza automaticamente os dados de uma tabela do Catálogo do Unity para a instância do banco de dados. Consulte os dados do Serve lakehouse com tabelas sincronizadas.

T

table

Uma tabela reside em um esquema e contém linhas de dados. Todas as tabelas criadas no Databricks usam o Delta Lake por padrão. As tabelas apoiadas pelo Delta Lake também são chamadas de tabelas Delta. Consulte tabelas do Azure Databricks.

pipeline disparado

Um pipeline que ingere todos os dados que estavam disponíveis no início da atualização de cada tabela, em execução na ordem de dependência e, em seguida, sendo encerrado. Confira Modo de pipeline disparado versus contínuo.

U

UDF (função definida pelo usuário)

Uma função personalizada criada por um usuário para estender os recursos internos do SQL ou de uma linguagem de programação. Em Azure Databricks, as UDFs podem ser registradas no Unity Catalog para governança e reutilização entre diferentes workspaces. Consulte O que são UDFs (funções definidas pelo usuário)?.

Catálogo do Unity

Um recurso de Azure Databricks que fornece recursos centralizados de controle de acesso, auditoria, linhagem e descoberta de dados em Azure Databricks workspaces. Veja O que é o Catálogo do Unity?.

Unity Gateway

O ponto de entrada do Azure Databricks é para descobrir, usar, governar e observar modelos fundamentais, agentes de programação, servidores MCP, habilidades e ferramentas. O Unity Gateway roteia requisições, limita o gasto com IA, gerencia mecanismos de contingência, monitora o uso e conecta agentes de codificação à capacidade do modelo. Anteriormente conhecido como AI Gateway. Veja Unity Gateway e governança de IA com Unity Gateway.

V

banco de dados vetorial

Um banco de dados otimizado para armazenar e recuperar inserções. Incorporações são representações matemáticas do conteúdo semântico de dados, de modo geral dados de texto ou de imagens. O Databricks fornece um índice de Pesquisa de IA que permite que você use recursos de banco de dados vetor em suas tabelas Delta. Consulte a Pesquisa de IA do Databricks.

view

Uma tabela virtual definida por uma consulta SQL. Ele não armazena dados, mas fornece uma maneira de apresentar dados de uma ou mais tabelas, em um formato ou abstração específica. Confira O que é uma exibição?.

volumes (Catálogo do Unity)

Objetos do Catálogo do Unity que permitem a governança em conjuntos de dados não tabulares. Volumes representam um volume lógico de armazenamento em um local de armazenamento de objetos na nuvem. Os volumes fornecem recursos para acessar, armazenar, controlar e organizar arquivos. Confira O que são volumes do Unity Catalog?.

W

Trabalhos do Lakeflow

O conjunto de ferramentas que permite agendar e orquestrar tarefas de processamento de dados em Azure Databricks. Consulte Trabalhos do Lakeflow.

workload

A quantidade de capacidade de processamento necessária para executar uma tarefa ou grupo de tarefas. Azure Databricks identifica dois tipos de cargas de trabalho: engenharia de dados (trabalho) e análise de dados (para todos os fins). Consulte componentes do Azure Databricks.

workspace

Um ambiente organizacional que permite que os usuários do Databricks desenvolvam, naveguem e compartilhem objetos como notebooks, experimentos, consultas e painéis. Consulte a Interface do Usuário do Workspace.

Z

Zerobus Ingest

Uma API de ingestão sem servidor baseada em push que grava dados diretamente em tabelas Delta gerenciadas no Catálogo do Unity. O Zerobus Ingest escala automaticamente de acordo com as conexões de entrada, sem infraestrutura de barramento de mensagens, partições ou agentes para gerenciar. Veja a visão geral do Zerobus Ingest.