LlaMA chat gratuit en ligne - Aucune connexion requise

Nous vivons une époque extraordinaire où les initiatives open source, soutenues par des communautés passionnées, rivalisent avec les solutions propriétaires coûteuses des géants de la technologie. Un excellent exemple de cette avancée est l’émergence de modèles de langage compacts mais très performants tels que Vicuna, Koala, Alpaca et StableLM. Ces modèles atteignent des niveaux de performance comparables à ceux de ChatGPT tout en nécessitant très peu de ressources de calcul. Ce qui les unit, c’est leur fondation dans les modèles LLaMA de Meta AI.

Pour aller plus loin dans les progrès notables de l’open source dans les technologies linguistiques, consultez notre article sur les 12 alternatives open source à GPT-4.

Dans cette discussion, nous examinerons les modèles LLaMA de Meta AI, leurs capacités et la manière d’y accéder via la bibliothèque Transformers. Nous comparerons également leurs performances, mettrons en lumière les principaux défis et explorerons leurs limites. Depuis la rédaction initiale de cet article, Meta AI a introduit LLaMA 2 et LLaMA 3 — chacun traité dans des articles dédiés avec des analyses approfondies.

Comprendre LLaMA : le grand modèle de langage de Meta AI

LLaMA (Large Language Model Meta AI) est une série de modèles de langage fondamentaux de pointe, dont la taille varie de 7 à 65 milliards de paramètres. Malgré leur compacité, ces modèles offrent des performances exceptionnelles, réduisant les besoins en calcul pour permettre aux chercheurs et aux développeurs d’expérimenter, de vérifier des travaux existants et d’explorer des applications innovantes.

Ces modèles de base ont été entraînés sur d’immenses ensembles de données non étiquetées, ce qui les rend très adaptables pour l’ajustement sur diverses tâches. Les sources de données d’entraînement incluent :

• 67,0 % CommonCrawl
• 15,0 % C4
• 4,5 % GitHub
• 4,5 % Wikipédia
• 4,5 % Livres
• 2,5 % ArXiv
• 2,0 % StackExchange

Grâce à cet ensemble de données diversifié, les modèles LLaMA ont atteint des performances comparables à celles de modèles de pointe tels que Chinchilla-70B et PaLM-540B, consolidant ainsi leur place parmi les meilleurs modèles de langage IA actuels.

Comprendre le modèle LLaMA de Meta

LLaMA est un modèle de langage auto-régressif basé sur l’architecture Transformer. Comme les autres modèles avancés, il traite une séquence de mots en entrée et prédit le mot suivant, permettant ainsi une génération de texte récursive.

Ce qui rend LLaMA unique, c’est son entraînement approfondi sur des données textuelles publiques dans plusieurs langues, notamment le bulgare, le catalan, le tchèque, le danois, l’allemand, l’anglais, l’espagnol, le français, le croate, le hongrois, l’italien, le néerlandais, le polonais, le portugais, le roumain, le russe, le slovène, le serbe, le suédois et l’ukrainien. Avec l’arrivée de LLaMA 2 en 2024, des améliorations de l’architecture et des techniques d’entraînement ont renforcé son efficacité et sa maîtrise multilingue.

Disponibles en différentes tailles — 7B, 13B, 33B et 65B paramètres — les modèles LLaMA sont accessibles via Hugging Face (compatible avec Transformers) ou via le dépôt officiel facebookresearch/llama.

Premiers pas avec les modèles LLaMA

Le code d’inférence officiel est disponible dans le dépôt facebookresearch/llama, mais pour simplifier les choses, nous utiliserons la bibliothèque Transformers de Hugging Face pour charger le modèle et générer du texte.

1. Installer les bibliothèques nécessaires

Nous exécuterons l’inférence LLaMA à l’aide de Google Colab.

%%capture
%pip install transformers SentencePiece accelerate

2. Charger les jetons et les poids du modèle LLaMA

Remarque : 'decapoda-research/llama-7b-hf' n’est pas le poids officiel du modèle. Decapoda Research a adapté le modèle original pour le faire fonctionner avec la bibliothèque Transformers.

import transformers, torch
from transformers import LlamaTokenizer, LlamaForCausalLM, GenerationConfig

tokenizer = LlamaTokenizer.from_pretrained("decapoda-research/llama-7b-hf")
model = LlamaForCausalLM.from_pretrained(
        "decapoda-research/llama-7b-hf",
        load_in_8bit=False,
        torch_dtype=torch.float16,
        device_map="auto",
    )

3. Définir la question

4. Convertir le texte en jetons

5. Définir la configuration de génération du modèle

6. Générer la sortie textuelle

7. Décoder et afficher la réponse

instruction = "What is the speed of light?"
inputs = tokenizer(
    f"""Below is an instruction that describes a task. Write a response that appropriately completes the request.
### Instruction: {instruction}
### Response:""",
    return_tensors="pt",
)
input_ids = inputs["input_ids"].to("cuda")

generation_config = transformers.GenerationConfig(
    do_sample=True,
    temperature=0.1,
    top_p=0.75,
    top_k=80,
    repetition_penalty=1.5,
    max_new_tokens=128,
)

with torch.no_grad():
    generation_output = model.generate(
        input_ids=input_ids,
        attention_mask=torch.ones_like(input_ids),
        generation_config=generation_config,
    )
output_text = tokenizer.decode(
    generation_output[0].cuda(), skip_special_tokens=True
).strip()
print(output_text)

Sortie :

Le modèle détermine avec précision que la vitesse de la lumière dans le vide est d’environ 299 792 458 mètres par seconde.

Below is an instruction that describes a task. Write a response that appropriately completes the request.
### Instruction: What is the speed of light?
### Response: The speed of light in a vacuum is exactly 299,792,458 meters per second (approximately 186,282 miles per second). This value is a fundamental constant in physics and plays a crucial role in theories like relativity. Scientists have verified this speed through numerous experiments over the years.

Le modèle LLaMA, associé à la bibliothèque Transformers, peut également être affiné pour diverses tâches et ensembles de données, améliorant considérablement la précision et la performance.

En quoi LLaMA se distingue-t-il des autres modèles d’IA ?

L’article de recherche propose une comparaison approfondie des modèles LLaMA avec d’autres modèles de langage de pointe tels que GPT-3, GPT-NeoX, Gopher, Chinchilla et PaLM. Divers tests de référence ont été effectués pour évaluer leurs performances en matière de raisonnement, de culture générale, de compréhension de lecture, de questions-réponses, de résolution de problèmes mathématiques, de génération de code et de connaissances spécialisées.

Raisonnement de bon sens

Dans des tests de référence tels que PIQA, SIQA et OpenBookQA, le modèle LLaMA-65B a surpassé d’autres architectures de pointe. De plus, même le modèle plus petit LLaMA-33B a excellé dans ARC (facile et difficile) par rapport à ses homologues.

Questions fermées et culture générale

Lors de l’évaluation de sa capacité à interpréter et répondre à des questions réalistes, LLaMA a régulièrement surpassé GPT-3, Gopher, Chinchilla et PaLM dans les tests Natural Questions et TriviaQA.

Compréhension de lecture

Avec les tests de référence RACE-middle et RACE-high, LLaMA a montré de meilleures performances que GPT-3 et des résultats comparables à PaLM 540B.

Raisonnement mathématique

Comme LLaMA n’a pas été affiné sur des données mathématiques, il a obtenu des résultats inférieurs aux attentes dans ce domaine, derrière Minerva.

Génération de code

Évalué via les tests HumanEval et MBPP, LLaMA a obtenu de meilleurs scores que LAMDA et PaLM dans HumanEval@100, MBP@1 et MBP@80.

Connaissances spécialisées

En ce qui concerne les connaissances spécialisées, les modèles LLaMA sont restés en deçà du modèle PaLM 540B, qui bénéficie d’un nombre de paramètres bien plus important.

Défis et limites de LLaMA

Comme d’autres grands modèles de langage, LLaMA est sujet à des hallucinations, générant parfois des informations inexactes ou trompeuses.

Au-delà de cela, plusieurs autres défis subsistent :

• Limitations linguistiques : la majorité des données d’entraînement étant en anglais, les performances de LLaMA dans d’autres langues peuvent être moins solides.
• Usage axé sur la recherche : LLaMA est principalement conçu à des fins de recherche sous licence non commerciale. Sa diffusion vise à aider les chercheurs à traiter les biais, les risques et les problèmes liés au contenu toxique, aux hallucinations et à la sécurité des modèles.
• Non prêt pour la production : en tant que modèle de base, LLaMA ne doit pas être utilisé dans des applications sans évaluation approfondie des risques et mise en place de mesures d’atténuation.
• Faiblesses en raisonnement mathématique et spécifique à un domaine : le modèle a du mal avec les problèmes mathématiques complexes et manque d’expertise approfondie dans certains domaines spécialisés.

Pour découvrir les avancées récentes en IA, notamment chez OpenAI et Google AI, et leur impact sur la science des données, consultez notre article « Les dernières nouvelles sur OpenAI, Google AI et ce que cela signifie pour la data science ». Le blog explore les progrès en matière de langage, de vision et de technologies multimodales qui améliorent la productivité et l’efficacité.

Avec la sortie de LLaMA 2 et LLaMA 3, de nouvelles limites ont été identifiées, bien que des améliorations aient été apportées, notamment en longueur de contexte et en adaptabilité via l’affinage. La recherche se poursuit, et la communauté IA s’efforce de renforcer la robustesse et l’utilisabilité réelle de ces modèles.

Conclusion

L’émergence des modèles LLaMA a inauguré une ère de transformation dans la recherche en IA open source. Notamment, les modèles compacts LLaMA-3 et LLaMA-4 surpassent GPT-3 et GPT-4, tandis que le plus grand modèle LLaMA-65B affiche des capacités comparables aux modèles avancés tels que Chinchilla-70B et PaLM-540B. Ces avancées démontrent qu’il est possible d’atteindre des performances de haut niveau à partir de jeux de données publics et de ressources de calcul limitées.

De plus, l’étude souligne l’impact de l’affinage basé sur les instructions dans l’amélioration des performances de LLaMA. Des modèles comme Vicuna et Stanford Alpaca, affinés grâce à des ensembles de données d’instructions, ont démontré des résultats comparables à ChatGPT et Bard, illustrant le potentiel immense de cette approche.

Tags : chat llama gratuit en ligne, llama 3 gratuit, llama 3.3, llama 4 en ligne, 70b