LlaMA chat gratis online - Ingen login nødvendig

Vi lever i en enestående tid, hvor open source-initiativer, drevet af passionerede fællesskaber, kan matche dyre proprietære løsninger fra teknologigiganter. Et fremragende eksempel på denne udvikling er fremkomsten af kompakte, men yderst effektive sprogmodeller som Vicuna, Koala, Alpaca og StableLM. Disse modeller leverer ydeevne på niveau med ChatGPT, men kræver langt færre beregningsressourcer. Det, der forener dem, er deres fundament i Meta AI’s LLaMA-modeller.

For en dybere indsigt i andre bemærkelsesværdige open source-fremskridt inden for sprogteknologi, se vores artikel om de 12 GPT-4 open source-alternativer.

I denne gennemgang ser vi nærmere på Meta AI’s LLaMA-modeller, deres egenskaber og hvordan de kan tilgås via transformers-biblioteket. Vi sammenligner også deres ydeevne, fremhæver centrale udfordringer og udforsker deres begrænsninger. Siden artiklen først blev skrevet, har Meta AI lanceret både LLaMA 2 og LLaMA 3 — som vi dækker i særskilte artikler med yderligere indsigt.

Forstå LLaMA: Meta AI's store sprogmodel

LLaMA (Large Language Model Meta AI) er en serie af avancerede grundlæggende sprogmodeller, der varierer i størrelse fra 7 milliarder til 65 milliarder parametre. På trods af deres kompakte størrelse leverer disse modeller imponerende ydeevne og reducerer de beregningsmæssige krav for forskere og udviklere, der ønsker at eksperimentere, verificere eksisterende arbejde og udforske nye anvendelser.

Disse grundmodeller er trænet på omfattende datasæt uden etiketter, hvilket gør dem yderst fleksible til finjustering på tværs af forskellige opgaver. Træningsdataene stammer blandt andet fra:

• 67,0% CommonCrawl
• 15,0% C4
• 4,5% GitHub
• 4,5% Wikipedia
• 4,5% Bøger
• 2,5% ArXiv
• 2,0% StackExchange

Takket være dette varierede datasæt har LLaMA-modeller opnået resultater på niveau med topmodeller som Chinchilla-70B og PaLM-540B, hvilket cementerer deres position blandt de bedst præsterende AI-sprogmodeller i dag.

Forstå Metas LLaMA-model

LLaMA er en autoregressiv sprogmodel baseret på transformer-arkitekturen. Ligesom andre avancerede modeller behandler den en sekvens af ord som input og forudsiger det næste ord, hvilket muliggør generering af sammenhængende tekst.

Det, der gør LLaMA unik, er dens omfattende træning på offentligt tilgængelige tekster på mange sprog, herunder bulgarsk, catalansk, tjekkisk, dansk, tysk, engelsk, spansk, fransk, kroatisk, ungarsk, italiensk, hollandsk, polsk, portugisisk, rumænsk, russisk, slovensk, serbisk, svensk og ukrainsk. Med introduktionen af LLaMA 2 i 2024 er arkitekturen og træningsteknikkerne yderligere forbedret, hvilket har styrket modellens effektivitet og flersproglige evner.

LLaMA-modeller fås i forskellige størrelser — 7B, 13B, 33B og 65B parametre — og kan tilgås via Hugging Face (for kompatibilitet med Transformers) eller via det officielle repository på facebookresearch/llama.

Kom godt i gang med LLaMA-modeller

Den officielle inferenskode er tilgængelig i facebookresearch/llama-repositoriet, men for at gøre det nemmere bruger vi Hugging Face transformers-biblioteket til at indlæse modellen og generere tekst.

1. Installer nødvendige biblioteker

Vi kører LLaMA-inferens ved hjælp af Google Colab.

%%capture
%pip install transformers SentencePiece accelerate

2. Indlæs LLaMA-tokens og modelvægte

Bemærk: 'decapoda-research/llama-7b-hf' er ikke den officielle modelvægt. Decapoda Research har tilpasset den originale model, så den fungerer med Transformers-biblioteket.

import transformers, torch
from transformers import LlamaTokenizer, LlamaForCausalLM, GenerationConfig

tokenizer = LlamaTokenizer.from_pretrained("decapoda-research/llama-7b-hf")
model = LlamaForCausalLM.from_pretrained(
        "decapoda-research/llama-7b-hf",
        load_in_8bit=False,
        torch_dtype=torch.float16,
        device_map="auto",
    )

3. Definér spørgsmålet

4. Konverter tekst til tokens

5. Angiv konfiguration for tekstgenerering

6. Generér tekstoutput

7. Dekod og vis svaret

instruction = "What is the speed of light?"
inputs = tokenizer(
    f"""Below is an instruction that describes a task. Write a response that appropriately completes the request.
### Instruction: {instruction}
### Response:""",
    return_tensors="pt",
)
input_ids = inputs["input_ids"].to("cuda")

generation_config = transformers.GenerationConfig(
    do_sample=True,
    temperature=0.1,
    top_p=0.75,
    top_k=80,
    repetition_penalty=1.5,
    max_new_tokens=128,
)

with torch.no_grad():
    generation_output = model.generate(
        input_ids=input_ids,
        attention_mask=torch.ones_like(input_ids),
        generation_config=generation_config,
    )
output_text = tokenizer.decode(
    generation_output[0].cuda(), skip_special_tokens=True
).strip()
print(output_text)

Output:

Modellen fastslår korrekt, at lysets hastighed i vakuum er cirka 299.792.458 meter pr. sekund.

Below is an instruction that describes a task. Write a response that appropriately completes the request.
### Instruction: What is the speed of light?
### Response: The speed of light in a vacuum is exactly 299,792,458 meters per second (approximately 186,282 miles per second). This value is a fundamental constant in physics and plays a crucial role in theories like relativity. Scientists have verified this speed through numerous experiments over the years.

LLaMA-modellen kan sammen med Transformers-biblioteket også finjusteres til forskellige opgaver og datasæt, hvilket markant forbedrer nøjagtighed og ydeevne.

Hvordan adskiller LLaMA sig fra andre AI-modeller?

Forskningsartiklen indeholder en dybdegående sammenligning af LLaMA-modeller med førende sprogmodeller som GPT-3, GPT-NeoX, Gopher, Chinchilla og PaLM. Forskellige benchmark-tests blev udført for at vurdere ydeevnen inden for blandt andet sund fornuft, trivia, læseforståelse, spørgsmål-svar, matematiske problemer, kodegenerering og domæneviden.

Sund fornuft

I benchmark-tests som PIQA, SIQA og OpenBookQA overgik LLaMA-65B-modellen andre avancerede arkitekturer. Selv den mindre LLaMA-33B-model klarede sig bedre i ARC (både let og svær) sammenlignet med konkurrenterne.

Spørgsmål uden opslag & Trivia

Ved vurdering af modellens evne til at forstå og besvare realistiske spørgsmål overgik LLaMA konsekvent GPT-3, Gopher, Chinchilla og PaLM i Natural Questions og TriviaQA.

Læseforståelse

Ved brug af RACE-middle og RACE-high benchmarks viste LLaMA bedre resultater end GPT-3 og sammenlignelige resultater med PaLM 540B.

Matematisk ræsonnement

Da LLaMA ikke er finjusteret på matematiske data, præsterede den under forventning i dette område og lå bag Minerva.

Kodegenerering

Målt ved HumanEval og MBPP benchmarks opnåede LLaMA højere resultater end LAMDA og PaLM i HumanEval@100, MBP@1 og MBP@80.

Domæneviden

Når det gælder bred domæneviden, halter LLaMA-modeller efter PaLM 540B, der har et markant større antal parametre.

Udfordringer og begrænsninger ved LLaMA

Som andre store sprogmodeller er LLaMA tilbøjelig til hallucinationer og kan til tider generere unøjagtige eller misvisende oplysninger.

Derudover findes flere andre udfordringer:

• Sproglige begrænsninger: Da størstedelen af træningsdataene er på engelsk, kan LLaMA’s præstation på andre sprog være svagere.
• Forskningsfokus: LLaMA er primært designet til forskningsformål under en ikke-kommerciel licens. Formålet med udgivelsen er at hjælpe forskere med at håndtere bias, risici og problemer relateret til toksisk indhold, hallucinationer og modelsikkerhed.
• Ikke produktionsklar: Som en grundmodel bør LLaMA ikke bruges i applikationer uden grundig risikovurdering og afbødningsstrategier.
• Svagheder inden for matematik og domænespecifik ræsonnement: Modellen har udfordringer med komplekse matematiske problemer og mangler dyb ekspertise inden for visse områder.

For indsigt i udviklingen inden for AI, herunder OpenAI, Google AI og deres indflydelse på datavidenskab, se artiklen Det nyeste om OpenAI, Google AI og hvad det betyder for datavidenskab. Bloggen dækker banebrydende fremskridt inden for sprog-, syns- og multimodale teknologier, der øger produktiviteten.

Med udgivelsen af LLaMA 2 og LLaMA 3 er nye begrænsninger blevet identificeret, men der er også sket forbedringer, især i kontekstkæde og tilpasningsevne gennem finjustering. AI-fællesskabet arbejder aktivt på at forbedre robustheden og anvendeligheden af disse modeller i praksis.

Konklusion

Fremkomsten af LLaMA-modeller markerer en transformerende æra inden for open source AI-forskning. Særligt de kompakte LLaMA-3 og LLaMA-4-modeller overgår GPT-3 og GPT-4, mens den større LLaMA-65B viser evner på niveau med avancerede modeller som Chinchilla-70B og PaLM-540B. Disse gennembrud viser, at det er muligt at opnå topresultater ved hjælp af offentligt tilgængelige datasæt og begrænset regnekraft.

Studiet understreger desuden betydningen af instruktion-baseret finjustering for at forbedre LLaMA’s ydeevne. Modeller som Vicuna og Stanford Alpaca, der er trænet på instruktioner, har vist resultater på niveau med ChatGPT og Bard, hvilket viser det enorme potentiale i denne tilgang.

Tags: chat llama gratis online, gratis llama 3, llama 3.3, llama 4 online, 70b