LlaMA chat gratis online - Ingen inloggning krävs

Vi lever i en extraordinär tid där open-source-initiativ, drivna av passionerade gemenskaper, står på samma nivå som dyra proprietära lösningar från teknikjättar. Ett utmärkt exempel på denna utveckling är framväxten av kompakta men mycket effektiva språkmodeller som Vicuna, Koala, Alpaca och StableLM. Dessa modeller uppnår prestationsnivåer jämförbara med ChatGPT samtidigt som de använder minimala beräkningsresurser. Det som förenar dem är deras grund i Meta AI:s LLaMA-modeller.

För en djupare inblick i andra betydande open-source-framsteg inom språkteknologi, kolla in vår artikel om de 12 GPT-4 Open-Source-alternativen.

I denna diskussion kommer vi att undersöka Meta AI:s LLaMA-modeller, deras kapabiliteter och hur man får tillgång till dem via Transformers-biblioteket. Vi kommer också att jämföra deras prestanda, lyfta fram viktiga utmaningar och utforska deras begränsningar. Sedan denna artikel först skrevs har Meta AI introducerat både LLaMA 2 och LLaMA 3—var och en av dem täcks i dedikerade artiklar med ytterligare insikter.

Förstå LLaMA: Meta AI:s stora språkmodell

LLaMA (Large Language Model Meta AI) är en serie banbrytande grundläggande språkmodeller med storlekar från 7 miljarder till 65 miljarder parametrar. Trots deras kompakta natur levererar dessa modeller enastående prestanda, vilket minskar de beräkningsresurser som forskare och utvecklare behöver för att experimentera, verifiera befintligt arbete och utforska innovativa tillämpningar.

Dessa grundläggande modeller har tränats på omfattande etikettfria dataset, vilket gör dem mycket anpassningsbara för finjustering inom olika uppgifter. Träningsdatakällorna inkluderar:

• 67,0 % CommonCrawl
• 15,0 % C4
• 4,5 % GitHub
• 4,5 % Wikipedia
• 4,5 % Böcker
• 2,5 % ArXiv
• 2,0 % StackExchange

Tack vare detta mångsidiga dataset har LLaMA-modeller uppnått prestanda i nivå med toppmodeller som Chinchilla-70B och PaLM-540B, vilket befäster deras plats bland de bäst presterande AI-språkmodellerna som finns idag.

Förstå Metas LLaMA-modell

LLaMA är en autoregressiv språkmodell baserad på transformer-arkitekturen. Likt andra avancerade modeller bearbetar den en sekvens av ord som indata och förutsäger nästa ord, vilket möjliggör rekursiv textgenerering.

Det som gör LLaMA unik är dess omfattande träning på offentligt tillgänglig textdata på flera språk, inklusive bulgariska, katalanska, tjeckiska, danska, tyska, engelska, spanska, franska, kroatiska, ungerska, italienska, nederländska, polska, portugisiska, rumänska, ryska, slovenska, serbiska, svenska och ukrainska. Med introduktionen av LLaMA 2 år 2024 har förbättringar i arkitektur och träningstekniker ytterligare stärkt dess effektivitet och flerspråkiga kompetens.

Tillgänglig i olika storlekar—7B, 13B, 33B och 65B parametrar—kan LLaMA-modeller nås via Hugging Face (för kompatibilitet med Transformers) eller genom det officiella arkivet på facebookresearch/llama.

Komma igång med LLaMA-modeller

Den officiella inferenskoden finns i facebookresearch/llama-arkivet, men för att förenkla använder vi Hugging Face Transformers-biblioteket för att ladda modellen och generera text.

1. Installera nödvändiga bibliotek

Vi kommer att köra LLaMA-inferens med Google Colab.

%%capture
%pip install transformers SentencePiece accelerate

2. Ladda LLaMA-token och modellvikter

Observera: 'decapoda-research/llama-7b-hf' är inte den officiella modellvikten. Decapoda Research har anpassat den ursprungliga modellen för att fungera med Transformers-biblioteket.

import transformers, torch
from transformers import LlamaTokenizer, LlamaForCausalLM, GenerationConfig

tokenizer = LlamaTokenizer.from_pretrained("decapoda-research/llama-7b-hf")
model = LlamaForCausalLM.from_pretrained(
        "decapoda-research/llama-7b-hf",
        load_in_8bit=False,
        torch_dtype=torch.float16,
        device_map="auto",
    )

3. Definiera frågan

4. Konvertera text till token

5. Ställ in modellens genereringskonfiguration

6. Generera textutdata

7. Avkoda och skriv ut svaret

instruction = "What is the speed of light?"
inputs = tokenizer(
    f"""Below is an instruction that describes a task. Write a response that appropriately completes the request.
### Instruction: {instruction}
### Response:""",
    return_tensors="pt",
)
input_ids = inputs["input_ids"].to("cuda")

generation_config = transformers.GenerationConfig(
    do_sample=True,
    temperature=0.1,
    top_p=0.75,
    top_k=80,
    repetition_penalty=1.5,
    max_new_tokens=128,
)

with torch.no_grad():
    generation_output = model.generate(
        input_ids=input_ids,
        attention_mask=torch.ones_like(input_ids),
        generation_config=generation_config,
    )
output_text = tokenizer.decode(
    generation_output[0].cuda(), skip_special_tokens=True
).strip()
print(output_text)

Utdata:

Modellen fastställer korrekt att ljusets hastighet i vakuum är cirka 299 792 458 meter per sekund.

Below is an instruction that describes a task. Write a response that appropriately completes the request.
### Instruction: What is the speed of light?
### Response: The speed of light in a vacuum is exactly 299,792,458 meters per second (approximately 186,282 miles per second). This value is a fundamental constant in physics and plays a crucial role in theories like relativity. Scientists have verified this speed through numerous experiments over the years.

LLaMA-modellen, tillsammans med Transformers-biblioteket, kan också finjusteras för olika uppgifter och dataset, vilket avsevärt förbättrar noggrannhet och prestanda.

Hur sticker LLaMA ut från andra AI-modeller?

Forskningsartikeln erbjuder en djupgående jämförelse av LLaMA-modeller med toppmodeller som GPT-3, GPT-NeoX, Gopher, Chinchilla och PaLM. Olika benchmark-tester genomfördes för att utvärdera deras prestanda inom områden som sunt förnuft, trivia, läsförståelse, frågesvar, matematisk problemlösning, kodgenerering och domänkunskap.

Sunt förnuft

I benchmark-tester som PIQA, SIQA och OpenBookQA överträffade LLaMA-65B andra toppmodeller. Även den mindre LLaMA-33B-modellen utmärkte sig i ARC (både lätt och svår) jämfört med sina motsvarigheter.

Frågesvar och trivia med stängt arkiv

Vid utvärdering av modellens förmåga att tolka och svara på realistiska frågor överträffade LLaMA konsekvent GPT-3, Gopher, Chinchilla och PaLM i Natural Questions och TriviaQA-tester.

Läsförståelse

Med RACE-middle och RACE-high benchmark-tester visade LLaMA bättre prestanda än GPT-3 och resultat som var jämförbara med PaLM 540B.

Matematisk resonering

Eftersom LLaMA inte finjusterats på matematisk data presterade den under förväntan i detta område och hamnade efter Minerva.

Kodgenerering

Bedömt genom HumanEval och MBPP benchmarks uppnådde LLaMA högre poäng än LAMDA och PaLM i HumanEval@100, MBP@1 och MBP@80.

Domänkunskap

När det gäller bred domänkunskap låg LLaMA-modeller efter jämfört med den omfattande PaLM 540B-modellen, som drar nytta av ett betydligt större antal parametrar.

Utmaningar och begränsningar med LLaMA

Som andra stora språkmodeller är LLaMA benägen att generera hallucinationer, vilket ibland leder till felaktig eller vilseledande information.

Dessutom finns flera andra utmaningar:

• Språkbegränsningar: Eftersom majoriteten av träningsdata är på engelska kan LLaMA:s prestanda på andra språk vara svagare.
• Forskning-fokuserad användning: LLaMA är främst avsedd för forskningsändamål under en icke-kommersiell licens. Dess syfte är att hjälpa forskare hantera bias, risker och problem relaterade till toxiskt innehåll, hallucinationer och modellsäkerhet.
• Inte produktionsklar: Som basmodell bör LLaMA inte användas i applikationer utan noggrann riskbedömning och åtgärdsstrategier.
• Svaghet i matematisk och domänspecifik resonering: Modellen har svårigheter med komplexa matematiska problem och saknar djup expertis inom specifika områden.

För insikter om utveckling inom AI, inklusive OpenAI, Google AI och deras påverkan på datavetenskap, kolla in The Latest On OpenAI, Google AI, and What It Means for Data Science. Bloggen utforskar banbrytande framsteg inom språk, bild och multimodala teknologier som ökar produktivitet och effektivitet.

Med lanseringen av LLaMA 2 och LLaMA 3 har nya begränsningar identifierats, även om förbättringar har gjorts, särskilt vad gäller kontextlängd och anpassningsförmåga genom finjustering. Forskningen fortsätter aktivt för att öka modellernas robusthet och användbarhet i verkliga världen.

Slutsats

Framväxten av LLaMA-modellerna har inlett en transformerande era inom open-source AI-forskning. Särskilt den kompakta LlaMA-3 och LlaMA-4-modellen överträffar GPT-3 och GPT-4, medan den större LLaMA-65B visar kapabiliteter i nivå med avancerade modeller som Chinchilla-70B och PaLM-540B. Dessa genombrott understryker möjligheten att uppnå topprestanda med offentligt tillgängliga dataset och minimal beräkningskraft.

Studien betonar också effekten av instruktionbaserad finjustering för att förbättra LLaMA:s prestanda. Modeller som Vicuna och Stanford Alpaca, förfinade genom instruktion-följande dataset, har visat resultat jämförbara med ChatGPT och Bard, vilket visar den enorma potentialen i denna metod.

Taggar: chat llama gratis online, gratis llama 3, llama 3.3, llama 4 online, 70b