Visão geral das limitações do Data Factory

Há certas limitações aos recursos atuais do Data Factory no Microsoft Fabric. Antes de enviar uma solicitação de suporte, examine as listas nesta seção para determinar se você está tendo uma limitação conhecida.

Para interrupções no nível de serviço ou notificações de degradação, verifique Microsoft Fabric suporte.

Limitações do pipeline no Microsoft Fabric

A lista a seguir descreve as limitações atuais dos pipelines do Data Factory no Microsoft Fabric.

  • A maioria dos padrões de cópia e orquestração do Azure Data Factory se aplica aos pipelines do Fabric, mas a janela rotativa é implementada apenas parcialmente por meio de agendamentos baseados em intervalos. Você pode criar intervalos de tempo, mas o preenchimento retroativo ainda não tem suporte.
  • A atividade GetMetaData não pode ter uma fonte de bancos de dados KQL do Fabric.
  • A atividade de script não pode ter uma origem de bancos de dados KQL do Fabric.
  • O sincronizador em segundo plano da autenticação não ocorre para pipelines. A recomendação é fazer atualizações secundárias semelhantes a descrições em pipelines e salvá-las. Assim, o novo token é obtido e armazenado em cache para que o pipeline possa ser executado novamente com a senha atualizada do Entra ID.

Limites de recursos de pipelines

A tabela a seguir descreve as limitações de recursos para pipelines no Data Factory em Microsoft Fabric.

Recurso do pipeline Limite padrão Limite máximo
Número total de pipelines em um workspace 1,000 1,000
Execuções simultâneas de pipeline por workspace compartilhadas entre todos os pipelines no workspace 10.000 10.000
Atividades externas simultâneas, como stored procedure, web, Web Hook e outras por workspace 100 100
Execução simultânea de atividades de pipeline para Lookup, GetMetadata e Delete por workspace 100 100
Operações simultâneas de autoria, incluindo teste de conexão, navegação na lista de pastas e tabelas, pré-visualização de dados, e assim por diante em cada workspace. 50 50
Máximo de atividades por pipeline, que inclui atividades internas para contêineres 120 120
Máximo de parâmetros por pipeline 50 50
Agendamentos máximos por pipeline 20 20
Itens ForEach 100.000 100.000
Para cada paralelismo 20 50
Contagem de itens de Atividade de Pesquisa Cinco mil Cinco mil
Máximo de execuções na fila por pipeline 100 100
Caracteres por expressão 8.192 8.192
Tempo limite máximo para execuções de atividade de pipeline 24 horas 24 horas
Bytes por objeto para objetos do pipeline 200 KB 200 KB
Bytes por conteúdo para cada execução de atividade 896 KB 896 KB
Otimização da taxa de transferência inteligente por execução da atividade de cópia Automático 256
Otimização simultânea de taxa de transferência inteligente por workspace (a taxa de transferência é compartilhada com o trabalho de Cópia) 400 400
Limite de tamanho da entidade de dados de metadados em uma fábrica 2 GB 2 GB

Copiar limites de recursos da tarefa

A tabela a seguir descreve as limitações para o trabalho de Cópia no Data Factory em Microsoft Fabric.

Copiar recurso de trabalho Limite padrão Limite máximo
Otimização de taxa de transferência inteligente por tabela/objeto Automático 256
Otimização inteligente de taxa de transferência concomitante por workspace (a taxa de transferência é compartilhada com o pipeline) 400 400

Limitações do Fluxo de Dados Gen2 do Data Factory

A lista a seguir descreve as limitações do Dataflow Gen2 no Data Factory em Microsoft Fabric.

  • Limite de consulta para teste e destinos: um único Dataflow Gen2 dá suporte a até 50 consultas que:

    • Ativar o staging habilitado ou
    • Tenha um destino de dados configurado (por exemplo, Warehouse, Lakehouse ou outros destinos do Fabric).

    Consultas que não gravam dados, como funções, consultas auxiliares ou consultas de transformação intermediárias que não são preparadas e não têm um destino de dados, não contam para esse limite.

  • Destino de dados para Lakehouse:
    • Não há suporte para espaços ou caracteres especiais nos nomes de colunas ou tabelas.
    • Não há suporte para colunas de duração e binárias durante a criação de fluxos de dados do Fluxo de Dados Gen2.
  • Você deve ter um gateway com suporte no momento para usar com o Dataflow Gen2. O Fluxo de Dados Gen2 dá suporte pelo menos às seis últimas versões de gateway lançadas.
  • Quando você usa credenciais OAuth2, o gateway atualmente não dá suporte a renovações automáticas com mais de uma hora de duração. Essas atualizações falham porque o gateway não consegue oferecer suporte à atualização de tokens automaticamente quando os tokens de acesso expiram, o que acontece uma hora após o início da atualização. Se você receber os erros "InvalidConnectionCredentials" ou "AccessUnauthorized" ao acessar fontes de dados de nuvem usando credenciais OAuth2, mesmo que as credenciais tenham sido atualizadas recentemente, é possível que você esteja enfrentando esse erro. Há essa limitação para atualizações de execução prolongada para gateways VNET e gateways de dados locais.
  • A especificação do Delta Lake não dá suporte aos nomes de colunas que diferenciam maiúsculas de minúsculas, portanto, MyColumn e mycolumn, embora tenham suporte para o Mashup, resultará em um erro de "colunas duplicadas".
  • Atualmente, a nulidade da coluna é padrão para permitir nulos em todas as colunas no destino.
  • Depois de salvar/publicar seu fluxo de dados gen2, exigimos que o processo de validação/publicação seja concluído dentro de 10 minutos por consulta. Se você exceder esse limite de 10 minutos, tente simplificar suas consultas ou dividir suas consultas no fluxo de dados gen2.
  • Você não poderá se conectar a um ponto de extremidade público de uma conta Armazenamento do Azure usando Power Query Online ou Dataflow Gen2 (sem gateway) se a conta Armazenamento do Azure já tiver um ou mais pontos de extremidade privados criados. Você precisa se conectar a essas contas de armazenamento usando um gateway de dados da VNet ou um gateway de dados local, que seja capaz de se conectar usando pontos de extremidade privados.
  • O Dataflow Gen2 não dá suporte para usuários convidados no locatário se conectarem às fontes de dados e destinos no locatário em que o usuário é convidado. Use um usuário nativo no locatário para se conectar às fontes de dados e aos destinos.
  • O consumo de dados de um fluxo de dados gen2 com o conector de fluxo de dados requer permissões de Administrador, Membro ou Colaborador. A permissão do visualizador não é suficiente e não é compatível com o consumo de dados do fluxo de dados.
  • Quando você não acessa itens de estágio com seu fluxo de dados por mais de 90 dias, precisa reautenticar para garantir que o fluxo de dados possa acessar os itens de estágio. Você pode fazer isso criando um novo fluxo de dados gen2 no mesmo workspace.
  • Os lakehouses de preparo são visíveis em Meu Workspace. Em espaços de trabalho compartilhados, os lakehouses de preparação criados pelo Dataflow Gen2 ficam ocultos na lista de itens do espaço de trabalho. No Meu Workspace, no entanto, essas casas de preparo ficam visíveis devido a uma diferença do lado da plataforma em como os itens ocultos são filtrados. Não modifique, renomeie nem exclua esses lakehouses de preparo; eles são gerenciados pelo Dataflow Gen2 e usados internamente para preparação de consultas e gravações no destino.

  • Gateway com suporte necessário: o Dataflow Gen2 requer um gateway de dados com suporte no momento. No mínimo, há suporte para as últimas seis versões de gateway lançadas.

  • Limitação de sensibilidade a maiúsculas e minúsculas do Delta Lake: o Delta Lake não dá suporte a nomes de colunas que diferenciam maiúsculas de minúsculas. As colunas como MyColumn e mycolumn resultam em erros de coluna duplicados, mesmo sendo permitidas no Mashup.

  • Comportamento padrão de nulidade da coluna: todas as colunas de destino são padrão para permitir valores nulos.

  • Limite de tempo de publicação e validação: cada consulta deve concluir a validação e publicar dentro de 10 minutos. As consultas que excedem esse limite devem ser simplificadas ou divididas entre vários fluxos de dados.

  • Não há suporte para o acesso do usuário convidado: os usuários convidados não podem se conectar a fontes de dados ou destinos no locatário que estão visitando. Em vez disso, use uma conta de usuário nativa no locatário.

  • Permissões necessárias para consumir fluxos de dados: o consumo de dados de um Dataflow Gen2 requer permissões de Administrador, Membro ou Colaborador. Não há suporte para permissão de visualização.

  • Expiração da autenticação de staging: se os itens em preparação não forem acessados por mais de 90 dias, será necessária a reautenticação. Isso pode ser feito criando um novo Dataflow Gen2 no mesmo workspace.

Conteúdo relacionado

  • Last updated on