[Chine, Shenzhen, 14 juillet 2023] Aujourd'hui, Huawei a dévoilé sa nouvelle solution de stockage d'IA pour l'ère des modèles à grande échelle, fournissant des solutions de stockage optimales pour la formation de modèles de base, la formation de modèles spécifiques à un secteur et l'inférence dans des scénarios segmentés. libérer de nouvelles capacités d’IA.
Lors du développement et de la mise en œuvre d'applications de modèles à grande échelle, les entreprises sont confrontées à quatre défis majeurs :
Premièrement, le temps requis pour la préparation des données est long, les sources de données sont dispersées et l'agrégation est lente, prenant environ 10 jours pour prétraiter des centaines de téraoctets de données. Deuxièmement, pour les grands modèles multimodaux avec des ensembles de données de texte et d'images volumineux, la vitesse de chargement actuelle des petits fichiers volumineux est inférieure à 100 Mo/s, ce qui entraîne une faible efficacité du chargement des ensembles d'entraînement. Troisièmement, les ajustements fréquents des paramètres des grands modèles, ainsi que les plates-formes d'entraînement instables, provoquent des interruptions d'entraînement environ tous les 2 jours, obligeant le mécanisme Checkpoint à reprendre l'entraînement, la récupération prenant plus d'une journée. Enfin, des seuils de mise en œuvre élevés pour les grands modèles, une configuration système complexe, des problèmes de planification des ressources et une utilisation des ressources GPU souvent inférieure à 40 %.
Huawei s'aligne sur la tendance du développement de l'IA à l'ère des modèles à grande échelle, en proposant des solutions adaptées à différents secteurs et scénarios. Il présente le stockage Deep Learning Data Lake OceanStor A310 et l'appliance super-convergée de formation/inférence FusionCube A3000. OceanStor A310 Deep Learning Data Lake Storage cible à la fois les scénarios de lac de données de grands modèles de base et de niveau industriel, permettant une gestion complète des données d'IA depuis l'agrégation de données, le prétraitement jusqu'à la formation de modèles et les applications d'inférence. L'OceanStor A310, dans un seul rack 5U, prend en charge une bande passante de 400 Go/s, la meilleure du secteur, et jusqu'à 12 millions d'IOPS, avec une évolutivité linéaire jusqu'à 4 096 nœuds, permettant une communication inter-protocole transparente. Le Global File System (GFS) facilite le tissage intelligent des données entre les régions, rationalisant ainsi les processus d'agrégation des données. L'informatique proche du stockage réalise un prétraitement proche des données, réduisant ainsi le mouvement des données et améliorant l'efficacité du prétraitement de 30 %.
L'appliance super-convergée de formation/inférence FusionCube A3000, conçue pour les scénarios de formation/inférence de grands modèles au niveau industriel, s'adresse aux applications impliquant des modèles avec des milliards de paramètres. Il intègre des nœuds de stockage hautes performances OceanStor A300, des nœuds de formation/inférence, des équipements de commutation, un logiciel de plateforme d'IA et un logiciel de gestion et d'exploitation, offrant aux grands partenaires modèles une expérience de déploiement plug-and-play pour une livraison unique. Prêt à l'emploi, il peut être déployé en 2 heures. Les nœuds de formation/inférence et de stockage peuvent être étendus indépendamment et horizontalement pour répondre à diverses exigences à l'échelle du modèle. Parallèlement, FusionCube A3000 utilise des conteneurs hautes performances pour permettre à plusieurs tâches de formation de modèles et d'inférence de partager des GPU, augmentant ainsi l'utilisation des ressources de 40 % à plus de 70 %. FusionCube A3000 prend en charge deux modèles commerciaux flexibles : la solution unique Ascend de Huawei et la solution unique de partenaire tiers avec un logiciel de plate-forme ouverte d'informatique, de mise en réseau et d'IA.
Zhou Yuefeng, président de la gamme de produits de stockage de données de Huawei, a déclaré : « À l'ère des modèles à grande échelle, les données déterminent le niveau d'intelligence de l'IA. En tant que support de données, le stockage des données devient l’infrastructure fondamentale clé des modèles d’IA à grande échelle. Huawei Data Storage continuera d'innover, en fournissant des solutions et des produits diversifiés pour l'ère des grands modèles d'IA, en collaborant avec des partenaires pour favoriser l'autonomisation de l'IA dans un large éventail d'industries.
Heure de publication : 01 août 2023
