Tencent Mixyuan lance les versions compressées Hy3 1bit et 4bit

Tencent Mixyuan a publié les versions compressées 1bit et 4bit de Hy3, réduisant considérablement le seuil de déploiement du modèle de 295 milliards de paramètres. Le poids original de Hy3 est proche de 600 Go, tandis que la version 1bit est réduite à 85,5 GiB, pouvant être exécutée sur une seule carte graphique NVIDIA H20 de 96 Go. Lors de l'exécution sur une seule carte, les utilisateurs doivent désactiver certaines fonctions d'accélération et réduire la longueur du texte traité par le modèle. En utilisant deux cartes graphiques H20, l'accélération peut être activée. La version 4bit a une taille de 169,9 GiB et nécessite au moins deux cartes H20 ; bien qu'elle utilise plus de mémoire vidéo, elle se rapproche davantage du modèle original. Tencent Mixyuan a déclaré que la version 4bit est proche du modèle original en termes de code, d'appels d'outils, de compréhension de longs textes et de tâches d'agent, tandis que la version 1bit n'a qu'une légère baisse de performance. Avec l'accélération de génération activée, la version 1bit voit sa vitesse augmenter d'environ 50 %, tandis que la version 4bit augmente de près de 60 %. De plus, Tencent Mixyuan propose également une version 4bit adaptée au déploiement sur serveur, pouvant être transformée en API pour être utilisée par plusieurs utilisateurs ou applications.

Avertissement : Ce contenu est fourni à des fins de communication et d'information générale uniquement et ne constitue en aucun cas un conseil financier, d'investissement, juridique ou fiscal. Les événements, récompenses, événements en ligne ou toute information mentionnée dans ce document ne doivent pas être considérés comme une recommandation, une sollicitation ou une invitation à acheter, vendre, échanger ou traiter de quelque manière que ce soit des actifs crypto, ni à utiliser un quelconque service. Les actifs crypto sont très volatils et peuvent entraîner des pertes. Les services et événements en ligne de WEEX peuvent ne pas être disponibles dans toutes les régions et sont soumis aux lois, réglementations et conditions d'éligibilité applicables. Il vous appartient de veiller à ce que votre utilisation des services WEEX respecte la législation locale et d'évaluer soigneusement les risques avant de participer à toute activité liée aux cryptomonnaies.