Referência do conector GitHub

Esta página contém documentação de referência para o conector GitHub no Lakeflow Connect.

Propriedades de ligação

Ao criar a ligação ao Unity Catalog, deve especificar as seguintes propriedades para a autenticação OAuth U2M. Estes valores vêm da GitHub aplicação OAuth que configurou em Configure o OAuth U2M para ingestão GitHub.

Opções de conectores

Defina as seguintes opções ao configurar o pipeline de ingestão. Para um exemplo, veja Restringir a ingestão a repositórios específicos.

Seleção de repositório (repository_id_selections)

Por defeito, o conector ingere dados de todos os repositórios da organização. Para restringir a ingestão a repositórios específicos, defina repository_id_selections uma lista de IDs de repositórios do GitHub. Estes são os IDs numéricos e imutáveis dos repositórios, que permanecem estáveis quando um repositório é renomeado. Quando a lista está vazia, o conector ingere todos os repositórios da organização.

A seleção de repositórios aplica-se a tabelas de fonte com âmbito de repositório: repositories, repo_contents, commits, issuesissue_comments, , pull_request_review_comments, tags, branchesdeploymentscollaboratorsworkflowslabelsmilestonesdiscussionspull_requestse .releases Não tem efeito sobre tabelas organizacionais e aninhadas. Para a lista de tabelas que ignoram esta opção, veja Seleção de repositório.

Tabelas de origem suportadas

Para informações sobre quais tabelas suportam atualizações incrementais e quais são totalmente atualizadas em cada execução de pipeline, veja Dados suportados.

Conteúdos do repositório (repo_contents tabela)

A repo_contents tabela ingere todas as entradas no ramo padrão de cada repositório, incluindo ficheiros, diretórios, submódulos e ligações simbólicas. A tonalidade primária é (repository_id, branch_name, path). A type coluna identifica cada entrada como blob (ficheiro), tree (diretório) ou commit (submódulo). Ligações simbólicas são blob entradas com um mode de 120000. Apenas as entradas do ficheiro (blob) preenchem a content coluna, que contém o conteúdo de texto decodificado. Quando um ficheiro é eliminado do repositório de origem, a sua linha é removida da tabela (eliminação forçada). Para limitações, consulte Conteúdos do Repositório.