Ajuste fino de modelo fundacional (EoL)

Com o ajuste fino de modelo de base (agora parte do Treinamento de modelos da Databricks), você pode usar seus próprios dados para personalizar um modelo de base e otimizar seu desempenho para sua aplicação específica. Ao realizar o ajuste fino ou o treinamento contínuo de um modelo de base, você pode treinar seu próprio modelo usando significativamente menos dados, tempo e recursos de computação do que treinar um modelo do zero.

Com o Databricks, você tem tudo em uma única plataforma: seus próprios dados a serem usados para treinamento, o foundation model para treinar, pontos de verificação salvos no MLflow e o modelo registrado no Catálogo do Unity e pronto para implantação.

Veja o Tutorial: Crie e implante uma execução de ajuste fino do Modelo Foundation (EoL) para aprender a criar uma execução usando a API de ajuste fino do Modelo Foundation, e então revise os resultados e implante o modelo usando a interface e o Server do Databricks.

O que é o Ajuste fino do Modelo de Base?

O ajuste fino do modelo de base permite que você use a API ou a interface do usuário do Databricks para ajustar ou treinar ainda mais um modelo de base.

Ao usar o Ajuste fino do Modelo de Base, você pode:

• Treine um modelo com seus dados personalizados, com os pontos de verificação salvos no MLflow. Você mantém o controle completo do modelo treinado.
• Registrar automaticamente o modelo no Catálogo do Unity, permitindo uma implantação fácil com o serviço do modelo.
• Treinar ainda mais um modelo proprietário completo carregando os pesos de um modelo treinado anteriormente.

O Databricks recomenda que você experimente o ajuste fino do Modelo de Base se:

• Você tentou aprender com poucos exemplos e quer obter melhores resultados.
• Você tentou usar a engenharia do prompt em um modelo existente e quer obter melhores resultados.
• Você deseja a ter propriedade total em um modelo personalizado para privacidade de dados.
• Você é sensível à latência ou aos custos e deseja usar um modelo menor e mais barato com dados específicos para sua tarefa.

Tarefas com suporte

O ajuste fino do modelo de base é compatível com os seguintes casos de uso:

• Conclusão de chat: tarefa recomendada. Treine o seu modelo em logs de chat entre um usuário e um assistente de IA. Este formato pode ser usado para logs de chat reais e como um formato padrão para resposta a perguntas e texto de conversação. O texto é formatado automaticamente no formato apropriado para o modelo específico. Veja exemplos de modelos de chat na documentação da HuggingFace para mais detalhes sobre a criação de modelos.
• Ajuste fino de instruções: treine o seu modelo com base em dados estruturados de solicitação-resposta. Use isto para adaptar seu modelo a uma nova tarefa, alterar seu estilo de resposta ou adicionar funcionalidades relacionadas a seguir instruções. Esta tarefa não aplica formatação automática aos seus dados e só é recomendada quando for necessário realizar uma formatação de dados personalizada.
• Pré-treinamento contínuo: treine o seu modelo com dados de texto adicionais. Use isto para adicionar novos conhecimentos a um modelo ou focar um modelo em um domínio específico.

Requisitos

• Um workspace do Databricks em uma das seguintes regiões do Azure: centralus, eastus, eastus2, northcentralus ou westus.
• APIs de Ajuste fino do Modelo de Base instaladas usando pip install databricks_genai.
• Databricks Runtime 12.2 LTS ML ou versões superiores se os seus dados estiverem em uma tabela Delta.

Veja Preparar dados para o ajuste fino do Modelo de Fundação (EoL) para informações sobre os formatos de dados de entrada necessários.

Tamanho de dados recomendado para treinamento de modelo

A Databricks recomenda o treinamento inicial usando de uma a quatro épocas. Após avaliar o modelo ajustado, se você quiser que as saídas do modelo sejam mais semelhantes aos seus dados de treinamento, poderá começar a continuar o treinamento usando mais uma ou duas épocas.

Se o desempenho do modelo diminuir significativamente em tarefas não representadas em seus dados ajustados ou se o modelo parecer gerar cópias exatas dos dados ajustados, o Databricks recomenda reduzir o número de épocas de treinamento.

Quanto ao ajuste fino de instruções e conclusão de chat, você deve fornecer tokens suficientes para, pelo menos, um comprimento de contexto completo do modelo. Por exemplo, 131072 tokens para meta-llama/Llama-3.2-3B-Instruct.

Para o pré-treinamento contínuo, o Databricks recomenda um mínimo de 1,5 milhão de tokens para obter um modelo de qualidade mais alta que aprenda os seus dados personalizados.

Modelos com suporte

A tabela a seguir lista modelos com suporte. Consulte Licenças de modelo para obter a licença de modelo aplicável e as informações aceitáveis da política de uso.

Para continuar o suporte dos modelos de última geração, o Databricks pode atualizar modelos compatíveis ou desativar modelos mais antigos.

Licenças de modelo

A tabela a seguir fornece a licença de modelo aplicável e as informações de política de uso aceitáveis para as famílias de modelos com suporte.

Usar o Ajuste fino do Modelo de Base

O ajuste fino do modelo de base pode ser acessado usando o databricks_genai SDK. O exemplo a seguir cria e inicia uma execução de treinamento que usa dados de Volumes do Catálogo do Unity. Veja Criar uma execução de treinamento usando a API de Ajuste Fino do Modelo Foundation (EoL) para detalhes de configuração.

from databricks.model_training import foundation_model as fm

model = 'meta-llama/Meta-Llama-3.1-8B-Instruct'
# UC Volume with JSONL formatted data
train_data_path = 'dbfs:/Volumes/main/mydirectory/ift/train.jsonl'
register_to = 'main.mydirectory'
run = fm.create(
  model=model,
  train_data_path=train_data_path,
  register_to=register_to,
)

Confira o notebook de demonstração Ajuste Fino de Instruções: Reconhecimento de Entidades Nomeadas para um exemplo de ajuste fino que aborda a preparação de dados, a configuração da execução do treinamento e a implantação.

Limitações

• Não há suporte para grandes conjuntos de dados (10 bilhão de tokens ou mais) devido à disponibilidade de computação.
• Para o pré-treinamento contínuo, as cargas de trabalho são limitadas a arquivos de 60 a 256 MB. Arquivos maiores que 1 GB podem causar tempos de processamento mais longos.
• A Databricks se esforça para disponibilizar os modelos de última geração mais recentes para personalização usando o ajuste fino do modelo de base. À medida que novos modelos se tornam disponíveis, o acesso a modelos mais antigos da API ou da interface do usuário pode ser removido, os modelos mais antigos podem ser preteridos ou os modelos com suporte atualizados. Consulte a política de manutenção de modelos de IA.

• Para usar o ajuste fino do Modelo de Base com um workspace do Databricks habilitado para Link Privado do Azure, o workspace deve estar na região eastus2.
• Se você tiver o Link Privado configurado em seu armazenamento, o Databricks recomenda usar tabelas do Catálogo do Unity.
• Se você habilitou firewalls na conta de armazenamento do Azure Data Lake que armazena seus dados no Catálogo do Unity, precisará inserir o tráfego dos clusters de plano de dados sem servidor do Databricks na lista de permitidos para usar o ajuste fino do Modelo de Base. Entre em contato com a equipe da sua conta do Databricks para obter mais informações e possíveis soluções personalizadas.