Meta et Apple s’allient pour faire tourner une IA de 816 milliards de paramètres sur Mac

Avec deux Mac Studio M5 Ultra reliés entre eux, un développeur pourra bientôt faire tourner chez lui le modèle ouvert le plus performant conçu à ce jour aux États-Unis, à en croire Meta. Le groupe de Mark Zuckerberg a mis au point Muse Spark Open avec Apple, son adversaire de longue date sur la vie privée.

Mark Zuckerberg a remercié John Ternus, à la tête d’Apple depuis le 1 er septembre, dans un message que vous pouvez lire ci-dessous, dans lequel il assure que le modèle « fonctionne à merveille sur les nouveaux Mac Studio ». Les deux entreprises travaillent ensemble depuis plusieurs mois , et Daniel Gross, ancien cadre d’Apple passé chez Meta, a joué les entremetteurs, d’après Alexandr Wang, patron de l’IA chez Meta, interrogé par Axios . « Nous sommes ravis de voir papa et maman se réconcilier », a-t-il plaisanté. Pour charger le modèle, il faudra tout de même un téraoctet de mémoire unifiée et Apple ne commercialisera qu’à la fin octobre la déclinaison 512 Go du Mac Studio M5 Ultra , sans laquelle il est impossible de réunir ce téraoctet avec deux machines. Encore faut-il comprendre comment un modèle de cette taille tient sur deux ordinateurs de bureau, et ce que coûte une telle installation.

Meta a conçu Muse Spark Open pour la programmation et les tâches d’agent de longue haleine. Nativement multimodal, avec une fenêtre de contexte d’un million de jetons, le modèle compte 816 milliards de paramètres, mais seuls 42 milliards d’entre eux sont sollicités à chaque jeton généré. Grâce à ce fonctionnement, il suffit de deux Mac Studio pour faire tourner l’ensemble, d’après le billet de lancement de Meta . Le modèle doit être chargé en entier en mémoire, et Apple laisse le GPU intégré à la puce M5 Ultra utiliser jusqu’à 512 Go de mémoire unifiée par machine. Avec une bande passante mémoire de 1,2 To/s, la petite fraction de paramètres nécessaire à chaque jeton est lue assez vite par la puce. « Résultat, deux Mac Studio se comportent comme un seul supercalculateur doté d’un téraoctet de mémoire unifiée », résume le laboratoire.

Le premier modèle de la famille Muse , Muse Spark , était réservé à sa sortie en avril aux applications de Meta et à une API en accès restreint, sans possibilité de télécharger ses poids, ces milliards de valeurs numériques fixées pendant l’entraînement. Meta avait alors promis d’ouvrir de futures versions. Ses équipes ont testé cette déclinaison ouverte entièrement en local, avec leur outil de programmation Muse Code. Elles lui ont fait corriger des bugs et ajouter des fonctions au client Mastodon open source Ice Cubes, sur iOS, jusqu’à compiler une version complète. Elles l’ont aussi chargé de piloter le logiciel de montage DaVinci Resolve de bout en bout, avec un examen image par image des vidéos pour en isoler les meilleurs moments et les recadrer à la verticale.

Apple n’a pas dévoilé le prix du Mac Studio 512 Go. Il est toutefois possible de faire tourner Muse Spark Open sur quatre Mac Studio M5 Ultra de 256 Go, et chacun coûte 12 429 euros en France avec 1 To de stockage. L’addition dépasse 49 700 euros, contre environ 38 000 dollars outre-Atlantique d’après les calculs d’ Engadget .