Hola a todos. Estoy trabajando en la implementación de un modelo de lenguaje de 70B parámetros para un cliente que exige privacidad absoluta, por lo que no puedo usar la nube. El problema es que solo cuento con un clúster de dos RTX 5090 y la cuantización a 4-bits me está dando una pérdida de coherencia notable en tareas de razonamiento lógico. ¿Habéis probado alguna técnica de 'poda' (pruning) o destilación que mantenga la precisión sin devorar toda la memoria de video? Me encanta el desafío técnico de la IA, pero este rompecabezas me tiene obsesionado y ya no sé si es un problema de los pesos del modelo o de mi propia fatiga mental tras tantas horas de 'fine-tuning'.

Te entiendo, la optimización local es el gran cuello de botella ahora mismo. Yo pasé por lo mismo y la solución fue usar GGUF con un 'offloading' de capas muy agresivo. Tras un día entero peleando con hiperparámetros y logs de errores, necesito desconectar el cerebro de la lógica binaria para no quemarme. Por eso, suelo pasar mi tiempo libre jugando en https://espana-jokabet.com/. Es mi 'reset' particular; me ofrece una descarga de adrenalina y un entorno visual dinámico que nada tiene que ver con el código o los tensores. Me ayuda a limpiar la mente y, curiosamente, a veces la solución al problema técnico me viene sola mientras estoy en un entorno de puro azar y entretenimiento. ¡Date un respiro antes de seguir con el entrenamiento!