Extrair dados de alteração usando a fonte CDC

Aplica-se a: SQL Server SSIS Integration Runtime em Azure Data Factory

Para adicionar e configurar uma origem CDC, o pacote já tem de incluir pelo menos uma tarefa Fluxo de Dados e uma tarefa CDC Control.

Para mais informações sobre a tarefa de controlo CDC, consulte Tarefa de controlo CDC.

Para obter mais informações sobre a fonte CDC, consulte CDC Source.

Extrair dados de alterações usando uma fonte CDC

1. No SQL Server Data Tools, abra o projeto SQL Server 2019 Integration Services (SSIS) que contém o pacote que pretende.

2. No Explorador de Soluções, clique duas vezes no pacote para o abrir.

3. Clique no separador Fluxo de Dados e, em seguida, na Toolbox, arraste a origem CDC para a superfície de estrutura.

4. Clique duas vezes na fonte do CDC.

5. Na caixa de diálogo CDC Source Editor, na página Gestor de Ligações, selecione um gestor de ligações ADO.NET existente da lista, ou clique em New para criar uma nova ligação. A ligação deve ser feita para uma base de dados SQL Server que contenha as tabelas de alterações para ler.

6. Selecione a tabela CDC onde pretende processar as alterações.

7. Selecione ou escreva o nome da instância de captura CDC com a tabela CDC a ser lida.

   Uma tabela de origem capturada pode ter uma ou duas instâncias capturadas para lidar com a transição perfeita da definição da tabela por meio de alterações de esquema. Se mais de uma instância de captura for definida para a tabela de origem que está sendo capturada, selecione a instância de captura que você deseja usar aqui. O nome da instância de captura padrão para uma tabela [esquema].[tabela] é <schema>_<tabela> mas os nomes de instância de captura reais em uso podem ser diferentes. A tabela real que é lida é a tabela CDC cdc .<instância-captura>_CT.

8. Selecione o modo de processamento que melhor atende às suas necessidades de processamento. As opções possíveis são:

   • Todos: retorna as alterações no intervalo CDC atual sem os valores Antes da atualização .

   • Todos com valores antigos: retorna as alterações no intervalo de processamento CDC atual, incluindo os valores antigos (Antes da atualização). Para cada operação de atualização, haverá duas linhas, uma com os valores de atualização anterior e outra com o valor de atualização posterior.

   • Net: retorna apenas uma linha de alteração por linha de origem modificada no intervalo de processamento CDC atual. Se uma linha de origem foi atualizada várias vezes, a alteração combinada é produzida (por exemplo, insert+update é produzido como uma única atualização e update+delete é produzido como uma única exclusão). Ao trabalhar no modo de processamento de alterações de rede, é possível dividir as alterações para as saídas Excluir, Inserir e Atualizar e manipulá-las em paralelo porque a única linha de origem aparece em mais de uma saída.

   • Rede com máscara de atualização: Este modo é semelhante ao modo Net regular, mas também adiciona colunas booleanas com o padrão de nome __$<column-name>__Changed que indicam colunas alteradas na linha de alteração atual.

   • Net with merge: Este modo é semelhante ao modo Net normal, mas com operações Insert e Update mescladas em uma única operação Merge (UPSERT).

9. Selecione a variável de pacote de string SSIS que mantém o estado CDC para o contexto CDC atual. Para obter mais informações sobre a variável de estado CDC, consulte Definir uma variável de estado.

10. Selecione a caixa de seleção Incluir indicador de reprocessamento para criar uma coluna de saída especial chamada __$reprocessing. Esta coluna tem um valor true quando o intervalo de processamento CDC se sobrepõe ao intervalo de processamento inicial (o intervalo de LSNs correspondente ao período de carga inicial) ou quando um intervalo de processamento CDC é reprocessado após um erro em uma execução anterior. Essa coluna de indicador permite que o desenvolvedor do SSIS manipule erros de forma diferente ao reprocessar alterações (por exemplo, ações como uma exclusão de uma linha não existente e uma inserção que falhou em uma chave duplicada podem ser ignoradas).

    Para obter mais informações, consulte CDC Source Custom Properties.

11. Para atualizar o mapeamento entre colunas externa e de saída, clique em Colunas e selecione colunas diferentes na lista de Colunas Externas .

12. Opcionalmente, atualize os valores das colunas de saída eliminando valores na lista de Colunas de Saída .

13. Para configurar a saída de erro, clique em Saída de Erro.

14. Pode clicar em Pré-visualização para visualizar até 200 linhas de dados extraídos pela fonte do CDC.

15. Clique em OK.

Conteúdo relacionado

• Fonte CDC