Databricks AI funcionalidades de assistência, confiança e segurança

A Databricks entende a importância de seus dados e a confiança que você deposita em nós quando usa nossa plataforma e recursos de assistência de IA Databricks. A Databricks está comprometida com os mais altos padrões de proteção de dados e implementou medidas rigorosas para garantir que as informações enviadas aos recursos auxiliares de IA da Databricks sejam protegidas.

• Os seus dados permanecem confidenciais.
  • A Databricks não utiliza os dados, pedidos ou respostas enviados para estas funcionalidades ou gerados por estas para treinar modelos fundacionais generativos que a Databricks disponibiliza a terceiros para utilização.
  • Nossos parceiros modelo não retêm dados que você envia por meio desses recursos, mesmo para monitoramento de abusos. Nossos recursos de assistência de IA alimentados por parceiros usam zero pontos de extremidade de retenção de dados de nossos parceiros modelo.
• Proteção contra resultados nocivos. Ao usar Azure OpenAI, a Databricks também utiliza filtragem de conteúdos Azure OpenAI para proteger os utilizadores de conteúdos prejudiciais. Ao utilizar modelos da Anthropic, o Databricks baseia-se nos mecanismos de segurança incorporados da Anthropic e na proteção adicional contra saídas nocivas, conforme descrito na documentação de segurança da Anthropic. Além disso, a Databricks realizou uma extensa avaliação com milhares de interações simuladas do usuário para garantir que as proteções implementadas para proteger contra conteúdo prejudicial, jailbreaks, geração de código inseguro e uso de conteúdo de direitos autorais de terceiros sejam eficazes.
• A Databricks utiliza apenas os dados necessários para fornecer o serviço. Os dados só são enviados quando interage com as funcionalidades assistivas de IA do Databricks, ou conforme necessário para fornecer essas funcionalidades. O Databricks envia seu prompt, metadados e valores relevantes da tabela, erros, bem como código de entrada ou consultas para ajudar a retornar resultados mais relevantes.
• Os dados são protegidos em trânsito e em repouso. Todo o tráfego entre o Databricks e os parceiros de modelo é criptografado em trânsito com criptografia TLS padrão do setor. Todos os dados armazenados em um espaço de trabalho do Azure Databricks são criptografados com AES-256 bits.
• O Databricks oferece controles de residência de dados. Os recursos de assistência de IA do Databricks são Serviços Designados e estão em conformidade com os limites de residência de dados. Para obter mais detalhes, consulte Databricks Geos: Data residency e Databricks Designated Services.

Para mais detalhes sobre como funcionalidades específicas lidam com os seus dados, consulte as Perguntas Frequentes sobre privacidade e segurança.

Dados enviados aos modelos

Quais serviços e modelos os recursos assistivos de IA baseados em parceiros usam?

Se a configuração de recursos de IA alimentados por parceiros estiver habilitada, os recursos de assistência de IA do Databricks usarão modelos hospedados pelo serviço Azure OpenAI ou Anthropic on Databricks.

Algumas funcionalidades, como o preenchimento automático de código do Genie, utilizam um modelo hospedado pela Databricks mesmo quando essa definição está ativada. Se você desativar a configuração de recursos de IA alimentados por parceiros , alguns recursos de assistência de IA poderão usar um modelo hospedado no Databricks. Para mais informações, consulte Funcionalidades de IA potenciadas por parceiros.

Que dados são enviados para os modelos?

O Databricks envia apenas os dados necessários para fornecer o serviço. Em geral, isto inclui o seu prompt (por exemplo, a sua pergunta, código ou consulta) e metadados relevantes, como nomes e descrições de tabelas e colunas, valores de exemplo, erros e perguntas anteriores. Os dados exatos diferem consoante a característica:

• O Genie Code envia código e consultas na célula atual do caderno ou no separador do editor SQL, nomes e descrições de tabelas e colunas, perguntas anteriores e tabelas favoritas. No modo Agente, o Código Genie também pode analisar as saídas das células e ler amostras de dados de tabelas, semelhante a outros agentes codificadores da indústria.
• Os Agentes Genie utilizam o prompt em linguagem natural, nomes de tabelas e descrições, valores relevantes, instruções gerais, exemplos de consultas SQL e funções SQL.
• O Genie One envia a sua pergunta em linguagem natural e metadados relevantes, como nomes de tabelas e colunas, descrições e valores de exemplo, quando conversa com os seus dados. O Genie One responde encaminhando para os seus Agentes Genie e pesquisando ativos de dados que tem permissão para acedecer. Quando liga fontes externas, como Google Drive, Microsoft 365 ou Slack, o Genie One também pode enviar conteúdo dessas fontes para responder à sua pergunta.
• A Ontologia Genie é a camada unificada de contexto que fornece ao Genie um mapa consciente do negócio da sua organização, reunindo contexto modelado (semântica do Unity Catalog, como vistas métricas e domínios) e contexto inferido que o Genie constrói e mantém automaticamente a partir dos seus ativos e utilizações existentes. Os fragmentos extraídos de ontologia respeitam as permissões dos ativos fonte. Para gerar o contexto inferido, o Genie extrai conhecimento de fontes, incluindo vistas métricas, dashboards, consultas SQL e Agentes Genie.
• Os comentários gerados por IA enviam metadados do objeto a ser documentado e dos seus objetos pais, incluindo os nomes do catálogo, esquema, tabela, função, modelo e volume, os seus comentários atuais e detalhes das colunas (nome, tipo, se é uma chave primária e comentário da coluna atual).

Os dados enviados para os modelos respeitam as permissões do Catálogo Unity do usuário?

Sim, todos os dados enviados para modelos de recursos auxiliares de IA respeitam as permissões do Catálogo Unity, portanto, nenhum dado que os usuários não têm acesso é enviado para esses modelos.

Os fornecedores de modelos parceiros armazenam os meus dados?

Não. Ao usar modelos de parceiros por meio do Databricks, os provedores de modelos de parceiros não armazenam prompts ou respostas.

Armazenamento e acesso

Onde as respostas dos recursos de assistência de IA são armazenadas?

As respostas do Genie Agent e os comentários aprovados gerados por IA são armazenados na base de dados do plano de controlo do Databricks. O banco de dados do plano de controle é criptografado com AES-256 bits.

O histórico do chat do Código Genie é armazenado no mesmo local que outros conteúdos do caderno.

As conversas de chat do Genie One são armazenadas na base de dados do plano de controlo Databricks, que é encriptada em AES-256 bits.

Quem consegue ver o meu histórico de chat com o Genie?

Podes ver os teus próprios chats do Código Génio. Os administradores podem ver o chat se tiverem uma ligação direta. Quando partilha um chat, os destinatários podem vê-lo. Veja Partilhar uma conversa.

Os gestores do Genie Agent conseguem ver as mensagens de outros utilizadores, mas não os resultados das suas consultas. As conversas com os Agentes Genie seguem as definições de partilha de conversas.

Podes ver os teus próprios chats do Genie One. Quando partilha um chat, os destinatários podem vê-lo como apenas leitura. Pode partilhar um chat do Genie One com qualquer pessoa na sua conta, ou torná-lo privado novamente. Veja Partilhar uma conversa.

Execução do código e precisão

O Genie executa código?

Os Genie Agents são concebidos com acesso apenas de leitura aos dados dos clientes, pelo que só podem gerar e executar consultas SQL apenas de leitura.

Tal como os Genie Agents, o chat do Genie One tem acesso apenas de leitura aos seus dados, por isso gera e executa apenas consultas SQL de leitura contra dados que tem permissão para acedecer.

Com o modo Agente, o Genie Code pode executar código no notebook e no editor SQL. Inicialmente, o Genie Code pedirá confirmação para avançar com a execução. Podes escolher confirmar, permitir sempre a execução no chat atual do Código Génio, ou sempre permitir a execução. Outros modos Código Genie não executam código automaticamente em teu nome.

Os modelos de IA podem cometer erros, entender mal a intenção e alucinar ou dar respostas incorretas. Revise e teste o código gerado por IA antes de executá-lo.

O Databricks fez alguma avaliação para avaliar a precisão e adequação das respostas dos recursos de assistência de IA?

Sim, a Databricks fez testes extensivos de todos os nossos recursos de assistência de IA com base em seus casos de uso esperados e usando entradas de usuário simuladas para aumentar a precisão e a adequação das respostas. Dito isto, a IA é uma tecnologia emergente, e as funcionalidades assistivas de IA podem fornecer respostas imprecisas ou inadequadas.

Residência de dados e conformidade

Como é que o meu tráfego é encaminhado através de Geos?

Os recursos de assistência de IA do Databricks são serviços designados que usam o Databricks Geos para gerenciar a residência de dados ao processar o conteúdo do cliente. O roteamento de tráfego depende da sua região e se o processamento geográfico cruzado está habilitado (a opção Impor processamento de dados no espaço de trabalho Geografia para Serviços Designados está desabilitada).

Posso usar recursos de assistência de IA com tabelas que processam dados regulados (PHI, PCI, IRAP, FedRAMP)?

Sim. Para fazer isso, deve-se cumprir requisitos, como habilitar o perfil de conformidade de segurança, e adicionar o padrão de conformidade relevante como parte da configuração do perfil de conformidade de segurança.

Modelos alojados em Databricks

Como os recursos assistivos de IA funcionam com modelos hospedados pelo Databricks?

Quando as funcionalidades de IA alimentadas por parceiros são desativadas, as funcionalidades assistivas de IA utilizam modelos alojados no Databricks, que são inteiramente selecionados e geridos pelo Databricks. O Databricks utiliza modelos open-source disponíveis para uso comercial, como o OpenAI GPT OSS.

O diagrama a seguir fornece uma visão geral de como um modelo hospedado no Databricks alimenta recursos baseados em IA do Databricks, como o Quick Fix.

1. Um utilizador executa uma célula de notebook, o que resulta em um erro.
2. O Databricks anexa metadados a uma solicitação e os envia para um modelo de linguagem grande (LLM) hospedado pelo Databricks. Todos os dados são encriptados em repouso. Os clientes podem usar uma chave gerenciada pelo cliente (CMK).
3. O modelo hospedado no Databricks responde com as edições de código sugeridas para corrigir o erro, que é exibido para o usuário.