LlaMA chat gratis online - Geen login nodig

We leven in een buitengewoon tijdperk waarin open-source initiatieven, aangedreven door gepassioneerde gemeenschappen, het opnemen tegen dure propriëtaire oplossingen van technologie-giganten. Een uitstekend voorbeeld van deze vooruitgang is de opkomst van compacte maar zeer effectieve taalmodellen zoals Vicuna, Koala, Alpaca en StableLM. Deze modellen bereiken prestatieniveaus vergelijkbaar met ChatGPT terwijl ze minimale rekenkracht vereisen. Wat hen verenigt is hun basis in Meta AI’s LLaMA-modellen.

Voor een diepere duik in andere opmerkelijke open-source ontwikkelingen in taaltechnologie, bekijk ons artikel over de 12 GPT-4 Open-Source Alternatieven.

In deze bespreking onderzoeken we Meta AI’s LLaMA-modellen, hun mogelijkheden en hoe je ze kunt gebruiken via de Transformers-bibliotheek. We vergelijken ook hun prestaties, belichten belangrijke uitdagingen en onderzoeken hun beperkingen. Sinds dit artikel voor het eerst werd geschreven, heeft Meta AI zowel LLaMA 2 als LLaMA 3 geïntroduceerd—elk behandeld in aparte artikelen met extra inzichten.

LLaMA begrijpen: Meta AI's Grote Taalmodel

LLaMA (Large Language Model Meta AI) is een serie geavanceerde fundamentele taalmodellen variërend van 7 miljard tot 65 miljard parameters. Ondanks hun compacte omvang leveren deze modellen uitstekende prestaties en verlagen ze de rekenkundige eisen voor onderzoekers en ontwikkelaars om te experimenteren, bestaand werk te verifiëren en innovatieve toepassingen te onderzoeken.

Deze fundamentele modellen zijn getraind op uitgebreide, ongeëtiketteerde datasets, waardoor ze zeer aanpasbaar zijn voor fine-tuning in verschillende taken. De trainingsdatabronnen omvatten:

• 67,0% CommonCrawl
• 15,0% C4
• 4,5% GitHub
• 4,5% Wikipedia
• 4,5% Boeken
• 2,5% ArXiv
• 2,0% StackExchange

Dankzij deze diverse dataset hebben LLaMA-modellen prestaties behaald die gelijkwaardig zijn aan topmodellen zoals Chinchilla-70B en PaLM-540B, wat hun plaats onder de best presterende AI-taalmodellen van vandaag versterkt.

Het Meta LLaMA-model begrijpen

LLaMA is een autoregressief taalmodel gebaseerd op de transformer-architectuur. Net als andere geavanceerde modellen verwerkt het een reeks woorden als input en voorspelt het het volgende woord, wat recursieve tekstgeneratie mogelijk maakt.

Wat LLaMA uniek maakt, is de uitgebreide training op openbaar beschikbare tekstdata in meerdere talen, waaronder Bulgaars, Catalaans, Tsjechisch, Deens, Duits, Engels, Spaans, Frans, Kroatisch, Hongaars, Italiaans, Nederlands, Pools, Portugees, Roemeens, Russisch, Sloveens, Servisch, Zweeds en Oekraïens. Met de introductie van LLaMA 2 in 2024 zijn verbeteringen in architectuur en trainingstechnieken de efficiëntie en meertalige vaardigheid verder versterkt.

Beschikbaar in verschillende groottes—7B, 13B, 33B en 65B parameters—LLaMA-modellen zijn toegankelijk via Hugging Face (voor compatibiliteit met Transformers) of via de officiële repository op facebookresearch/llama.

Aan de slag met LLaMA-modellen

De officiële inference-code is beschikbaar in de facebookresearch/llama repository, maar om het eenvoudiger te maken gebruiken we de Hugging Face transformers-bibliotheek om het model te laden en tekst te genereren.

1. Installeer benodigde bibliotheken

We zullen LLaMA-inferentie uitvoeren met Google Colab.

%%capture
%pip install transformers SentencePiece accelerate

2. Laad LLaMA-tokens en modelgewichten

Opmerking: 'decapoda-research/llama-7b-hf' is niet het officiële modelgewicht. Decapoda Research heeft het originele model aangepast om te werken met de Transformers-bibliotheek.

import transformers, torch
from transformers import LlamaTokenizer, LlamaForCausalLM, GenerationConfig

tokenizer = LlamaTokenizer.from_pretrained("decapoda-research/llama-7b-hf")
model = LlamaForCausalLM.from_pretrained(
        "decapoda-research/llama-7b-hf",
        load_in_8bit=False,
        torch_dtype=torch.float16,
        device_map="auto",
    )

3. Definieer de vraag

4. Converteer tekst naar tokens

5. Stel modelgeneratieconfiguratie in

6. Genereer tekstoutput

7. Decodeer en print het antwoord

instruction = "What is the speed of light?"
inputs = tokenizer(
    f"""Below is an instruction that describes a task. Write a response that appropriately completes the request.
### Instruction: {instruction}
### Response:""",
    return_tensors="pt",
)
input_ids = inputs["input_ids"].to("cuda")

generation_config = transformers.GenerationConfig(
    do_sample=True,
    temperature=0.1,
    top_p=0.75,
    top_k=80,
    repetition_penalty=1.5,
    max_new_tokens=128,
)

with torch.no_grad():
    generation_output = model.generate(
        input_ids=input_ids,
        attention_mask=torch.ones_like(input_ids),
        generation_config=generation_config,
    )
output_text = tokenizer.decode(
    generation_output[0].cuda(), skip_special_tokens=True
).strip()
print(output_text)

Output:

Het model bepaalt nauwkeurig dat de snelheid van het licht in een vacuüm ongeveer 299.792.458 meter per seconde is.

Below is an instruction that describes a task. Write a response that appropriately completes the request.
### Instruction: What is the speed of light?
### Response: The speed of light in a vacuum is exactly 299,792,458 meters per second (approximately 186,282 miles per second). This value is a fundamental constant in physics and plays a crucial role in theories like relativity. Scientists have verified this speed through numerous experiments over the years.

Het LLaMA-model, samen met de Transformers-bibliotheek, kan ook worden fine-tuned voor verschillende taken en datasets, wat nauwkeurigheid en prestaties aanzienlijk verbetert.

Hoe onderscheidt LLaMA zich van andere AI-modellen?

Het onderzoeksartikel biedt een diepgaande vergelijking van LLaMA-modellen met top-taalmodellen zoals GPT-3, GPT-NeoX, Gopher, Chinchilla en PaLM. Verschillende benchmarktests werden uitgevoerd om hun prestaties te evalueren op gebieden zoals gezond verstand, trivia, leesbegrip, vraagbeantwoording, wiskundig probleemoplossen, codegeneratie en domeinkennis.

Redenering met gezond verstand

In benchmarktests zoals PIQA, SIQA en OpenBookQA overtrof het LLaMA-65B-model andere state-of-the-art architecturen. Bovendien presteerde zelfs het kleinere LLaMA-33B-model uitstekend in ARC (zowel gemakkelijk als uitdagend) vergeleken met zijn tegenhangers.

Gesloten-boek vraagbeantwoording & Trivia

Bij de evaluatie van het vermogen van het model om realistische vragen te interpreteren en beantwoorden, overtrof LLaMA consequent GPT-3, Gopher, Chinchilla en PaLM in Natural Questions en TriviaQA-tests.

Leesbegrip

Met RACE-middle en RACE-high benchmarktests toonde LLaMA betere prestaties dan GPT-3 en resultaten vergelijkbaar met PaLM 540B.

Wiskundige redenering

Aangezien LLaMA niet werd fine-tuned op wiskundige data, presteerde het onder de verwachtingen in dit domein, achterblijvend bij Minerva.

Codegeneratie

Beoordeeld via HumanEval- en MBPP-benchmarks, behaalde LLaMA hogere scores dan LAMDA en PaLM in HumanEval@100, MBP@1 en MBP@80.

Domeinkennis

Wat betreft brede domeinkennis bleken LLaMA-modellen tekort te schieten in vergelijking met het uitgebreide PaLM 540B-model, dat profiteert van een aanzienlijk groter aantal parameters.

Uitdagingen en beperkingen van LLaMA

Net als andere grote taalmodellen is LLaMA vatbaar voor hallucinaties, waarbij soms onnauwkeurige of misleidende informatie wordt gegenereerd.

Daarnaast bestaan er nog verschillende andere uitdagingen:

• Taalbeperkingen: Omdat het merendeel van de trainingsdata in het Engels is, kan LLaMA's prestaties in andere talen minder sterk zijn.
• Onderzoeksgericht gebruik: LLaMA is voornamelijk ontworpen voor onderzoeksdoeleinden onder een niet-commerciële licentie. De release is bedoeld om onderzoekers te helpen bij het aanpakken van vooroordelen, risico's en problemen gerelateerd aan toxische inhoud, hallucinaties en modelveiligheid.
• Niet productie-klaar: Als basismodel mag LLaMA niet worden gebruikt in toepassingen zonder grondige risicobeoordeling en mitigatiestrategieën.
• Zwakheid in wiskundige en domeinspecifieke redenering: Het model heeft moeite met complexe wiskundige problemen en mist diepgaande expertise in specifieke domeinen.

Voor inzichten in ontwikkelingen in AI, inclusief OpenAI, Google AI, en hun impact op data science, bekijk The Latest On OpenAI, Google AI, and What It Means for Data Science. De blog onderzoekt geavanceerde ontwikkelingen in taal-, visuele en multimodale technologieën die productiviteit en efficiëntie verbeteren.

Met de release van LLaMA 2 en LLaMA 3 zijn nieuwe beperkingen geïdentificeerd, hoewel er verbeteringen zijn aangebracht, met name in contextlengte en aanpasbaarheid via fine-tuning. Terwijl onderzoek voortduurt, werkt de AI-gemeenschap actief aan het verbeteren van de robuustheid en bruikbaarheid van deze modellen in de praktijk.

Conclusie

De opkomst van LLaMA-modellen heeft een transformerend tijdperk in open-source AI-onderzoek ingeluid. Met name het compacte LlaMA-3 en LlaMA-4 model overtreft GPT-3 en GPT-4, terwijl het grotere LLaMA-65B prestaties toont vergelijkbaar met geavanceerde modellen zoals Chinchilla-70B en PaLM-540B. Deze doorbraken benadrukken de haalbaarheid van top-prestaties met openbare datasets en minimale rekenkracht.

Bovendien benadrukt de studie het effect van instructie-gebaseerde fine-tuning bij het verbeteren van LLaMA’s prestaties. Modellen zoals Vicuna en Stanford Alpaca, verfijnd via instructie-volgende datasets, hebben resultaten getoond vergelijkbaar met ChatGPT en Bard, wat het enorme potentieel van deze aanpak aantoont.

Tags: chat llama gratis online, gratis llama 3, llama 3.3, llama 4 online, 70b