Abrir pasta
Abra a pasta do seu projeto no chat do agente.
Fluxos de trabalho
fluxo de trabalho de compressão de modelos de machine learning
03
Estime o tamanho dos pesos antes do download
Antes de baixar um modelo grande, você pode estimar seu tamanho em disco. Isso ajuda a verificar o espaço livre e planejar suas necessidades de armazenamento.
Escrever script
Crie um script Python para calcular o tamanho dos pesos.
Executar comando
Execute o script na janela do terminal.
Verificar saída
Revise as estimativas de tamanho impressas para cada bit depth.
Script de exemplo
Escreva um script para estimar o tamanho dos pesos do modelo.
- write_file
size_estimate.pysaved - Shell
python size_estimate.pyexit 0 - read_file
size_estimate.py18 lines - Shell
python size_estimate.pyexit 0
aguardando sua aprovação antes da próxima etapaRejeitarAceitar
size_estimate.py
# comment
params = 7000000000
for b in [32, 16, 8, 4]:
size_gb = (params * b) / 1e9
print(f"{b}-bit: {size_gb:.1f} GB") Code ready.Este script estima o tamanho dos pesos apenas para um modelo de 7 bilhões de parâmetros em diferentes bit depths, sem acesso à rede.
etapas de compressão de modelos deep learning
Escrever script de conversão
O agente usa write_file para criar seu script de conversão e mostra um diff para que você revise as alterações antes de aprovar no modo Ask first. Aprovar. Shell executa seu script de conversão e retorna a saída real. O terminal exibe o exit code e os detalhes de tempo claramente. A diferença entre os métodos de quantização 4bit afeta a qualidade e a velocidade do modelo. list_dir mostra o tamanho do novo arquivo para fins de comparação hoje. read_file verifica os logs para quaisquer warnings ou errors encontrados. machine learning model compression confirma que as etapas do fluxo de trabalho são eficazes agora.
Executar script de avaliação
O agente escreve seu script de avaliação usando edit_file e mostra um diff para sua aprovação antes de você revisar as métricas para garantir que o teste está correto. Você aprova. O agente executa o script via Shell e relata o exit code. Os scores de perplexity e accuracy aparecem quando seu script de avaliação os imprime. Os tradeoffs de quantização na inferência de llm afetam a velocidade e a qualidade, então você mede tokens por segundo. O agente usa grep para pesquisar a saída em busca dos scores principais. Você compara esses resultados com seu baseline para decidir se a perda de qualidade é aceitável. Esta etapa de compressão de modelos deep learning ajuda você a gerar minha própria quantização dinâmica.
