Abrir carpeta
Abre la carpeta de tu proyecto en el chat del agente.
Flujos de trabajo
flujo de trabajo de compresión de modelos de aprendizaje automático
03
Estima el tamaño de los pesos antes de descargar
Antes de descargar un modelo grande, puedes estimar su tamaño en disco. Esto te ayuda a verificar el espacio libre y planificar tus necesidades de almacenamiento.
Escribir script
Crea un script en Python para calcular los tamaños de los pesos.
Ejecutar comando
Ejecuta el script en la ventana del terminal.
Revisar salida
Revisa las estimaciones de tamaño impresas para cada profundidad de bits.
Script de ejemplo
Escribe un script para estimar el tamaño de los pesos del modelo.
- write_file
size_estimate.pysaved - Shell
python size_estimate.pyexit 0 - read_file
size_estimate.py18 lines - Shell
python size_estimate.pyexit 0
esperando tu aprobación antes del siguiente pasoRechazarAceptar
size_estimate.py
# comment
params = 7000000000
for b in [32, 16, 8, 4]:
size_gb = (params * b) / 1e9
print(f"{b}-bit: {size_gb:.1f} GB") Code ready.Este script estima el tamaño de los pesos solo para un modelo de 7 mil millones de parámetros a diferentes profundidades de bits sin acceso a la red.
pasos de compresión de modelos de deep learning
Escribir script de conversión
El agente usa write_file para crear tu script de conversión y muestra una diferencia para que revises los cambios antes de aprobarlos en modo Ask first. Apruébalo. Shell ejecuta tu script de conversión y devuelve la salida real. La terminal muestra el código de salida y los detalles de tiempo claramente. La diferencia entre métodos de cuantización de 4bit afecta la calidad y velocidad del modelo. list_dir muestra el tamaño del nuevo archivo para fines de comparación hoy. read_file verifica los registros en busca de advertencias o errores encontrados. machine learning model compression confirma que los pasos del flujo de trabajo son efectivos ahora.
Ejecutar script de evaluación
El agente escribe tu script de evaluación usando edit_file y muestra una diferencia para tu aprobación antes de que revises las métricas para asegurar que la prueba sea correcta. Tú apruebas. El agente ejecuta el script a través de Shell e informa el código de salida. Aparecen puntuaciones de Perplexity y precisión cuando tu script de evaluación las imprime. Las compensaciones de cuantización en la inferencia de llm afectan la velocidad y la calidad, así que mides tokens por segundo. El agente usa grep para buscar en la salida las puntuaciones clave. Comparas estos resultados con tu línea base para decidir si la pérdida de calidad es aceptable. Este paso de compresión de modelos de deep learning te ayuda a generar mi propia cuantización dinámica.
