Ajuste fino de modelo fundacional (EoL)

Com o Foundation Model Fine-tuning (agora parte do Databricks Model Training), pode usar os seus próprios dados para personalizar um modelo de fundação e otimizar o seu desempenho para a sua aplicação específica. Ao realizar ajustes finos ou treinamento contínuo de um modelo de fundação, você pode treinar seu próprio modelo usando significativamente menos dados, tempo e recursos de computação do que treinar um modelo do zero.

Com o Databricks você tem tudo em uma única plataforma: seus próprios dados para usar para treinamento, o modelo básico para treinar, pontos de verificação salvos no MLflow e o modelo registrado no Unity Catalog e pronto para implantar.

Consulte Tutorial: Criar e implementar uma execução de ajuste fino de um modelo fundacional (EoL) para aprender a criar uma execução com a API de ajuste fino de modelos fundacionais e, em seguida, rever os resultados e implementar o modelo através da IU do Databricks e do Model Serving.

O que é ajuste fino do modelo fundamental?

O ajuste fino do modelo de base permite que você use a API ou a interface do usuário do Databricks para ajustar ou treinar ainda mais um modelo de base.

Usando o ajuste fino do modelo básico, poderá:

• Treine um modelo com seus dados personalizados, com os pontos de verificação salvos no MLflow. Você mantém o controle total do modelo treinado.
• Registe automaticamente o modelo no Unity Catalog, permitindo uma fácil implementação com o serviço de disponibilização de modelos.
• Treine ainda mais um modelo completo e proprietário carregando os pesos de um modelo previamente treinado.

O Databricks recomenda que você tente o ajuste fino do modelo de base se:

• Você já experimentou o few-shot learning e quer melhores resultados.
• Você tentou engenharia rápida em um modelo existente e quer melhores resultados.
• Você deseja a propriedade total sobre um modelo personalizado para privacidade de dados.
• Você é sensível à latência ou ao custo e deseja usar um modelo menor e mais barato com seus dados específicos da tarefa.

Tarefas suportadas

O ajuste fino do modelo básico suporta os seguintes casos de uso:

• Conclusão do chat: tarefa recomendada. Treine seu modelo em logs de bate-papo entre um usuário e um assistente de IA. Esse formato pode ser usado tanto para logs de bate-papo reais quanto como um formato padrão para resposta a perguntas e texto conversacional. O texto é formatado automaticamente no formato apropriado para o modelo específico. Consulte exemplos de modelos de chat na documentação do HuggingFace para obter mais informações sobre a criação de modelos.
• Ajuste fino da instrução: Treine o seu modelo em dados estruturados de comando-resposta. Use isso para adaptar seu modelo a uma nova tarefa, alterar seu estilo de resposta ou adicionar recursos de acompanhamento de instruções. Esta tarefa não aplica automaticamente qualquer formatação aos seus dados e só é recomendada quando é necessária uma formatação de dados personalizada.
• Pré-treinamento contínuo: treine seu modelo com dados de texto adicionais. Use isso para adicionar novos conhecimentos a um modelo ou focar um modelo em um domínio específico.

Requerimentos

• Um espaço de trabalho Databricks em uma das seguintes regiões do Azure: centralus, eastus, eastus2, northcentralusou westus.
• APIs de fine-tuning de modelos de fundação instaladas usando pip install databricks_genai.
• Databricks Runtime 12.2 LTS ML ou superior se seus dados estiverem em uma tabela Delta.

Consulte Preparar dados para a afinação de modelo de base (EoL) para obter informações sobre os formatos de dados de entrada necessários.

Tamanho de dados recomendado para treinamento de modelo

A Databricks recomenda inicialmente treinar usando entre uma e quatro épocas. Depois de avaliar seu modelo ajustado, se você quiser que as saídas do modelo sejam mais semelhantes aos seus dados de treinamento, você pode começar a continuar o treinamento usando mais uma a duas épocas.

Se o desempenho do modelo diminuir significativamente em tarefas não representadas em seus dados de ajuste fino, ou se o modelo parecer produzir cópias exatas de seus dados de ajuste fino, o Databricks recomenda reduzir o número de épocas de treinamento.

Para ajuste fino de instruções e conclusão de bate-papo, você deve fornecer tokens suficientes para pelo menos um comprimento de contexto completo do modelo. Por exemplo, 131072 tokens para meta-llama/Llama-3.2-3B-Instruct.

Para um pré-treinamento contínuo, a Databricks recomenda um mínimo de 1,5 milhão de tokens para obter um modelo de maior qualidade que aprenda seus dados personalizados.

Modelos suportados

A tabela a seguir lista os modelos suportados. Consulte as licenças de modelo e para obter informações sobre a licença de modelo aplicável e a política de uso aceitável.

Para continuar a oferecer suporte aos modelos mais avançados, o Databricks pode atualizar os modelos suportados ou aposentar modelos mais antigos.

Modelos de licença

A tabela a seguir fornece a licença de modelo aplicável e as informações de política de uso aceitável para as famílias de modelos suportados.

Usar ajuste fino do modelo de base

O ajuste fino do modelo básico pode ser acessado usando o databricks_genai SDK. O exemplo a seguir cria e inicia uma execução de treinamento que usa dados de Unity Catalog Volumes. Consulte Criar uma execução de treino com a API de ajuste fino do modelo de base (EoL) para obter detalhes de configuração.

from databricks.model_training import foundation_model as fm

model = 'meta-llama/Meta-Llama-3.1-8B-Instruct'
# UC Volume with JSONL formatted data
train_data_path = 'dbfs:/Volumes/main/mydirectory/ift/train.jsonl'
register_to = 'main.mydirectory'
run = fm.create(
  model=model,
  train_data_path=train_data_path,
  register_to=register_to,
)

Consulte o caderno de demonstração Ajuste fino: reconhecimento de entidades nomeadas para um exemplo de ajuste fino que cobre a preparação de dados, a configuração da execução do treinamento e a implantação.

Limitações

• Não há suporte para grandes conjuntos de dados (tokens 10B+) devido à disponibilidade de computação.
• Para pré-treinamento contínuo, as cargas de trabalho são limitadas a arquivos de 60 a 256 MB. Arquivos maiores que 1GB podem causar tempos de processamento mais longos.
• A Databricks esforça-se por disponibilizar para personalização os mais recentes modelos de última geração, usando a afinação de Modelos Foundation. À medida que novos modelos se tornam disponíveis, o acesso a modelos mais antigos da API ou da interface do usuário pode ser removido, modelos mais antigos podem ser preteridos ou modelos suportados atualizados. Veja a política de manutenção dos modelos de IA.

• Para usar o ajuste fino do Modelo Fundamental com um espaço de trabalho Databricks com Link Privado do Azure ativado, o espaço de trabalho deve estar na eastus2 região.
• Se você tiver o Private Link configurado em seu armazenamento, o Databricks recomenda o uso de tabelas do Unity Catalog.
• Se você tiver firewalls habilitados na conta do Armazenamento do Azure Data Lake que armazena seus dados no Catálogo Unity, precisará permitir o tráfego de lista dos clusters de plano de dados sem servidor Databricks para usar o ajuste fino do Modelo de Base. Entre em contato com sua equipe de conta Databricks para obter mais informações e possíveis soluções personalizadas.