7 Nouveaux Modèles de GPT (Open Source & Gratuits)

Qu’est-ce que Cerebras ?

Cerebras est une entreprise américaine, basée dans la Silicon Valley, spécialisée dans la conception et la fabrication de puces informatiques pour l’intelligence artificielle (IA).

Son produit phare est le « Cerebras Wafer Scale Engine » (WSE), une puce unique de la taille d’une feuille de papier, qui est considérée comme la plus grande puce du monde.

Le WSE contient plus de 1,2 billion de transistors, ce qui est environ 56 fois plus que les puces de traitement graphique (GPU) les plus avancées de Nvidia. La puce est conçue pour être utilisée dans des centres de données pour accélérer l’apprentissage automatique et d’autres applications d’IA. Ce cluster est disponible sur le cloud via Cerebras AI Model Studio.

Cerebras vise à révolutionner l’industrie de l’IA en offrant des capacités de traitement plus rapides et plus puissantes. L’entreprise vient de publier sept modèles GPT open source afin d’offrir une alternative aux systèmes propriétaires et étroitement contrôlés disponibles aujourd’hui.

Les modèles de Cerebras-GPT sont totalement libres de droits et ont été publiés sous la licence Apache 2.0, ce qui appuie leur concept de supercalculateur d’IA Andromeda. L’infrastructure de Cerebras permet donc à ses clients, de créer rapidement leurs propres modèles de langage personnalisés.

Cerebras-GPT : 7 modèles pour la création d’un LLM open source

Cerebras va totalement à l’encontre de la propriété exclusive de la technologie d’IA dans quelques entreprises en créant ces sept modèles GPT open source. En effet, OpenAI, Meta et Deepmind gardent une grande quantité d’informations sur leurs systèmes privées et étroitement contrôlées, limitant l’innovation à ce que les trois sociétés décident de ce que les autres peuvent faire avec leurs données.

Cette entreprise de la Silicon Valley estime qu’il est important d’avoir accès aux LLM, qu’ils soient ouverts, reproductibles et sans redevance.

Les LLM (Large Language Models) sont des modèles de traitement de langage naturel basés sur l’apprentissage profond (deep learning) qui sont capables de générer du texte cohérent et fluide à partir d’une quantité massive de données textuelles. Ces modèles sont entraînés sur des ensembles de données de textes très larges, souvent des milliards de mots ou plus, afin d’apprendre à prédire la probabilité de la séquence de mots suivante dans un texte donné.

À cet effet, Cerebras a créé une famille de modèles de transformateurs en utilisant les dernières techniques et des ensembles de données ouvertes qu’ils ont nommés Cerebras-GPT. En accord avec leur déontologie, les sept modèles sont publiés et disponible gratuitement sur Hugging Face et GitHub.

Ces modèles constituent la première famille de modèles GPT formés à l’aide de la formule Chinchilla et diffusés sous la licence Apache 2.0. Ils ont été entraînés avec le supercalculateur d’IA Andromeda de Cerebras, et cela n’a pris que quelques semaines grâce à la vitesse des systèmes Cerebras CS-2.

Si vous êtes familier avec l’anglais voici une vidéo qui vous aidera à mieux comprendre :

Tout ce que vous devez connaitre des modèles Cerebras-GPT :

• Licence d’utilisation : Licence Apache 2.0
• Les sept versions sont disponibles en modèles de 111 M, 256 M, 590 M, 1,3 B, 2,7 B, 6,7 B et 13 B
• L’architecture et pondérations du modèle
• Données d’entraînement
• Points de contrôle
• Statut de l’entraînement optimal par calcul

Pour que vous compreniez mieux à quel point c’est un avancement, voici un tableau comparatif de tout ce qui est partagé par Cerebras par rapport aux autres entreprises :

Mouvement open source dans le monde de l’IA

Un mouvement open source progresse à grande vitesse et nous sommes peut-être sur le point d’assister à un changement dans l’innovation en matière d’IA, ce qui l’empêchera de se concentrer chez une poignée d’entreprises.

Quelques exemples pour illustrer la partage de connaissances dans le secteur de l’IA :

• Mozilla, la fondation qui a créé le logiciel open source Firefox, a lancé une entreprise nommée Mozilla.ai pour développer des systèmes open source fiables et respectueux de la vie privée pour la création de modèles GPT et de recommandation.
• Databricks a récemment publié une version open source de GPT appelée Dolly, qui vise à démocratiser l’accès à la technologie GPT.
• GPT4All, publié par Nomic AI, est open source et peut fonctionner sur un ordinateur portable. Le mouvement de l’IA open source est encore naissant, mais il prend de plus en plus d’ampleur.

Avant de se quitter…

Si cet article sur les 7 nouveaux modèles GPT en open-source de Cerebras vous a plu, n’hésitez pas à le partager sur les réseaux sociaux et à vous abonner à notre newsletter digitale pour recevoir nos prochains articles.

Vous pouvez également suivre nos meilleurs articles via notre flux RSS : https://www.leptidigital.fr/tag/newsletter-digitale/feed/ (il vous suffit de l’insérer dans votre lecteur de flux RSS préféré (ex : Feedly)).

Nous sommes aussi actifs sur Linkedin, Twitter, Facebook et YouTube. On s’y retrouve ?

Pour toute question associée à cet article, n’hésitez pas à utiliser la section « commentaires » pour nous faire part de votre remarque, nous vous répondrons dans les meilleurs délais (avec plaisir). 

Source

Marie Ber

Alternante chez LEPTIDIGITAL, je suis aussi bien à l’aise sur les sujets de marketing digital, que des sujets plus techniques et avancés. Pour me contacter : [email protected]