Des performances améliorées grâce à une architecture optimisée
Llama 3.3 repose sur une architecture de type transformer auto-régressive, optimisée pour le traitement de texte en plusieurs langues.
Avec 70 milliards de paramètres et une longueur de contexte étendue à 128 000 tokens, il rivalise avec les modèles les plus avancés du marché.
Meta a utilisé des techniques comme le Supervised Fine-Tuning (SFT) et le Renforcement Apprentissage avec Feedback Humain (RLHF) pour affiner le modèle, permettant ainsi, selon la firme américaine, des réponses plus utiles et plus sûres.
Multilinguisme : 8 langues supportées dont le français
Llama 3.3 prend en charge huit langues principales : Anglais, Allemand, Français, Italien, Portugais, Hindi, Espagnol et Thaï.
Cette couverture multilingue ouvre la voie à des applications diversifiées, que ce soit pour le commerce international, le support client ou des assistants virtuels multilingues.
Un modèle entrainé sur 15 trillions de tokens avec un impact carbone neutre
Le modèle a été entraîné sur plus de 15 trillions de tokens provenant de données accessibles publiquement. Inutile toutefois de lui poser des questions concernant des évènements survenus en 2024 puisque le modèle a été entrainé sur des données allant jusqu’à décembre 2023.
La phase de formation a nécessité environ 39,3 millions d’heures GPU sur des clusters H100-80GB, tout en garantissant une empreinte carbone neutre grâce à l’utilisation d’énergies renouvelables.
Meta a également mis en place un processus de red teaming rigoureux pour identifier et atténuer les risques critiques, notamment dans les domaines de la sécurité des enfants, des cyberattaques et des matières dangereuses (CBRNE).
Comparaison avec les modèles existants
Sur les principaux benchmarks de l’industrie, Llama 3.3 promet des performances proches du modèle Llama 3.1 405B mais avec une plus grande efficacité, lui permettant de tourner sur des ordinateurs moins puissant que son prédécesseur.
Un modèle open source disponible dès maintenant sous licence commerciale
Llama 3.3 est disponible sous la Llama 3.3 Community License, une licence commerciale qui permet une utilisation à des fins commerciales et de recherche.
Meta encourage la communauté à tester, améliorer et adapter le modèle tout en respectant les politiques d’utilisation responsable.
Le modèle est déjà accessible au téléchargement sur le site officiel de Llama, GitHub et via la plateforme HuggingFace.
Avant de se quitter…
Si cet article sur Llama 3.3 vous a plu, n’hésitez pas à le partager sur les réseaux sociaux, à vous abonner à notre newsletter digitale et/ou à nous suivre sur Google Actualités pour recevoir nos prochains articles.
Vous pouvez également suivre nos meilleurs articles via notre flux RSS : https://www.leptidigital.fr/tag/newsletter-digitale/feed/ (il vous suffit de l’insérer dans votre lecteur de flux RSS préféré (ex : Feedly)).
Nous sommes aussi actifs sur LinkedIn, X, Facebook, Threads et YouTube. On s’y retrouve ?
Principalement passionné par les nouvelles technologies, l’IA, la cybersécurité, je suis un professionnel de nature discrète qui n’aime pas trop les réseaux sociaux (je n’ai pas de comptes publics). Rédacteur indépendant pour LEPTIDIGITAL, j’interviens en priorité sur des sujets d’actualité mais aussi sur des articles de fond. Pour me contacter : [email protected]
