O que muda durante o treinamento
O fine-tuning, ou ajuste fino, é um treinamento adicional que adapta um modelo já treinado a uma tarefa. O processo altera parâmetros, que são valores numéricos usados no cálculo das respostas. Dependendo do método, o ajuste pode abranger os pesos do modelo ou um conjunto menor de parâmetros treináveis.
No ajuste supervisionado, o treinamento utiliza exemplos de entrada acompanhados das saídas esperadas. As diferenças entre a resposta produzida e a resposta esperada orientam as atualizações dos parâmetros. A documentação do Amazon Bedrock também descreve o ajuste por reforço, que utiliza avaliações das respostas para orientar o aprendizado.
Classificação de mensagens de suporte
Um exemplo didático é adaptar um modelo para classificar mensagens nas categorias acesso e cobrança. Uma mensagem sobre senha recusada recebe a categoria acesso no conjunto de treinamento. Uma dúvida sobre uma fatura recebe cobrança. Os exemplos relacionam o texto recebido à classificação esperada pela aplicação.
Você avalia o ajuste com mensagens separadas do treinamento e compara as classificações com as do modelo-base. Em uma mensagem que menciona tanto uma senha quanto uma fatura, a categoria esperada depende da definição adotada pela aplicação. O teste precisa registrar essa resposta esperada para distinguir um erro do modelo de uma classificação que ficou sem definição.
Uma avaliação restrita à classificação não confirma que o modelo responde adequadamente às outras tarefas da aplicação. Você precisa incluir essas tarefas nos testes quando elas continuarem fazendo parte do uso esperado. Acrescentar instruções ou documentos ao prompt modifica a entrada durante o uso, por isso essa alternativa deve ser comparada ao treinamento conforme a necessidade da aplicação.
Dúvidas frequentes
Perguntas frequentes sobre fine-tuning
- Alterar o prompt é fazer fine-tuning?
- A alteração do prompt modifica a entrada apresentada ao modelo durante o uso. O fine-tuning inclui treinamento adicional e altera parâmetros do modelo ou de componentes treináveis associados a ele.
- Todo fine-tuning usa pares de entrada e saída?
- O ajuste supervisionado utiliza exemplos rotulados de entradas e saídas. Métodos baseados em reforço podem usar avaliações das respostas para orientar o treinamento. O formato exigido depende do método e do modelo.
- Como verificar se o ajuste melhorou a classificação?
- Você pode comparar o modelo-base e o modelo ajustado usando mensagens separadas do treinamento e a mesma definição de categorias. A comparação precisa mostrar quais categorias tiveram mais acertos e quais continuaram recebendo classificações incorretas.
Para continuar
Recursos relacionados
Documentação
AWS: modalidades de ajuste de modelos
Visão geral da personalização no Amazon Bedrock, incluindo ajuste supervisionado e treinamento orientado por avaliações.
Abrir recursoSite de referência
Dev Side Studio: desenvolvimento colaborativo
Orientação ao vivo para você revisar a integração do modelo e comparar as respostas obtidas nos testes da aplicação.
Abrir recursoAplicação na formação
Vibe Coding: Do Zero ao MVP
Na Formação Vibe Coding, os testes das respostas do modelo fazem parte da revisão do comportamento da aplicação.
Conhecer a formação
Fontes consultadas
Referências deste verbete
Este verbete ajudou você?
Obrigado pela resposta. Ela fica salva apenas neste navegador.