Scality annonce la disponibilité de Scality AI Inference Factory, une stack logicielle permettant de déployer et d’exploiter l’inférence IA sur une infrastructure détenue par l’entreprise. La solution offre aux entreprises, aux administrations et aux fournisseurs neo cloud une alternative aux services supportés dans dans des clouds IA existants, sans avoir à assembler, intégrer et maintenir eux-mêmes l’ensemble de la stack logicielle. Scality AI Inference Factory réunit des modèles open-weight validés, une couche de service d’inférence désagrégée, un niveau de contrôle qui assure l’authentification, la supervision, le routage et l’ordonnancement, ainsi que Scality AI Data Infrastructure (ADI), qui s’appuie sur des opérations autonomes selon des process précis pour gérer des volumes de données massifs tout au long du cycle de vie de la donnée. Scality valide, livre et maintient l’ensemble de la stack intégrée sous forme de solution supportée.
« Avec l’arrivée de l’IA dans des environnements de production critiques, les organisations ont besoin de mieux maîtriser l’endroit où s’exécute l’inférence, la manière dont leurs modèles sont gérés et ce qu’il advient de leurs données” déclare Jérôme Lecat, CEO de Scality. “Depuis 15 ans, Scality conçoit des infrastructures de données sur lesquelles des milliers de clients dans le monde s’appuient pour fonctionner 24h/24, 7j/7. Scality AI Inference Factory met cette expérience au service de l’IA sur site, en offrant aux organisations la fiabilité et la souveraineté dont elles ont besoin pour exécuter leurs tâches d’IA critiques selon leurs propres conditions. »
Scality AI Inference Factory est conçue pour les organisations qui souhaitent exécuter leurs workloads d’IA critiques sur une infrastructure qu’elles contrôlent, tout en conservant leur liberté de choix en matière de modèles, de matériel et de logiciels. La stack prend en charge les chatbots spécialisés, le développement logiciel assisté par l’IA, les applications basées sur des agents IA et d’autres workloads à forte intensité d’inférence.
Scality AI Inference Factory associe :
● des modèles open-weight validés, maintenus dans le cadre de la stack supportée ;
● un service d’inférence désagrégé, qui sépare le prefill du decode afin que chacun puisse évoluer indépendamment ;
● un niveau de contrôle qui authentifie et comptabilise les requêtes, les achemine vers les GPU qui détiennent déjà le contexte pertinent et répartit les workloads en fonction des objectifs de SLA;
● Scality ADI, qui fournit un stockage objet haute performance pour les poids des modèles, les données de l’entreprise et le contexte de l’inférence.
Scality ADI étend l’inférence IA au-delà des limites de la mémoire GPU
Scality ADI constitue la couche de stockage partagée de Scality AI Inference Factory et étend le cache clé-valeur (KV cache) au-delà de la mémoire à haute bande passante (HBM), dont la capacité est limitée sur les GPU. L’infrastructure d’inférence peut ainsi stocker et récupérer les poids des modèles et le contexte des sessions plus précisément le contexte des modèles au lieu d’obliger les GPU à le recalculer, ce qui améliore l’utilisation des GPU et réduit les coûts d’inférence.
C’est particulièrement important pour les modèles de raisonnement et les workloads agentiques, pour lesquels le KV cache peut rapidement dépasser la mémoire GPU disponible. Scality ADI fournit un cache partagé de plusieurs pétaoctets que les GPU lisent avec une latence du même ordre de grandeur que celle de la mémoire GPU, ce qui leur permet de récupérer le contexte existant et de rester concentrés sur l’inférence.
Les tests réalisés par Scality ont démontré que Scality ADI permet de réduire la consommation de GPU tout en maintenant le même niveau de performance :
● Un temps de chargement de 1,9 seconde pour Gemma-3 27B, soit près de 10 fois plus rapide qu’un NVMe local, le modèle étant téléchargé en parallèle sur l’ensemble du cluster via RDMA ;
● 166 ms de time-to-first-token à chaud pour la restauration depuis Scality ADI d’un contexte de 14 000 tokens, soit seulement 83 ms de plus par rapport à la HBM ;
● La récupération du KV cache est 14 fois plus rapide que son recalcul sur un contexte de 14 000 tokens, et jusqu’à 72 fois plus rapide sur un contexte de 439 000 tokens ;
● un KV cache plus de 80 fois plus grand que la mémoire d’un seul GPU, permettant de reprendre jusqu’à 1 000 sessions simultanées sans recalcul ;
● Pas de dégradation de la latence inter-tokens, le contexte ayant été entièrement restauré avant l’émission du premier token
● 97 % du réseau disponible saturé pour les transferts de données entre les GPU et le stockage Scality ADI.
L’architecture sépare le prefill du decode, Scality ADI jouant le rôle de cache partagé entre les serveurs GPU. Les GPU de decode disponibles peuvent ainsi accéder au contexte existant sans que celui-ci soit lié à un serveur GPU spécifique. Les gains liés à la séparation du prefill et du decode sont documentés : DistServe (OSDI 2024) a mesuré jusqu’à 7,4 fois plus de requêtes servies dans les mêmes objectifs de latence. En ajoutant un service de KV cache partagé, Mooncake de Moonshot AI a fait état de 75 % de requêtes supplémentaires sur le trafic de production de Kimi.
Une architecture ouverte pour plus de flexibilité sur les modèles, les frameworks et le matériel
Scality AI Inference Factory est conçu pour préserver la liberté de choix des clients sur tous les niveaux de la stack d’infrastructure d’IA. Il est compatible avec des harness open source et des frameworks pour agents IA tels qu’OpenCode, Hermes, Goose, LangGraph et Pydantic AI, et exécute des modèles open-weight validés tels que Mistral, Gemma, gpt-oss, Qwen, Kimi, GLM et DeepSeek. Le logiciel se déploie sur des serveurs standard de Dell, HPE, Lenovo et Supermicro. Chaque composant livré par Scality est fourni à la demande, ce qui permet aux clients d’examiner la manière dont l’état de l’inférence est stocké et déplacé, et de soumettre des contributions à l’examen de Scality. Pour les organisations qui exécutent des workloads d’IA sensibles, réglementées ou souveraines, cela apporte de la transparence sur les logiciels qui traitent leurs modèles et leurs données, au lieu de devoir s’en remettre à un service externe fermé.
Scality ADI s’intègre aux stacks d’IA standard et se déploie à l’échelle de plusieurs pétaoctets à travers RDMA, que ce soit sur des drives NVMe ou disques HDD, pour une capacité de KV cache pratiquement illimitée. Un namespace unique hiérarchise automatiquement les données entre TLC, HDD et, en option, bande magnétique, ce qui permet aux organisations d’aligner les performances et l’économie du stockage sur les différentes étapes du cycle de vie des données d’IA.
