LlaMA-Chat kostenlos online – Keine Anmeldung erforderlich

Wir leben in einer außergewöhnlichen Zeit, in der Open-Source-Initiativen, angetrieben von engagierten Communities, mit teuren proprietären Lösungen großer Tech-Konzerne konkurrieren. Ein herausragendes Beispiel für diesen Fortschritt ist der Aufstieg kompakter, aber äußerst leistungsfähiger Sprachmodelle wie Vicuna, Koala, Alpaca und StableLM. Diese Modelle erreichen eine Leistung, die mit ChatGPT vergleichbar ist, während sie nur minimale Rechenressourcen benötigen. Was sie vereint, ist ihre Grundlage in den LLaMA-Modellen von Meta AI.

Für einen tieferen Einblick in weitere bemerkenswerte Open-Source-Fortschritte im Bereich der Sprachtechnologien, lesen Sie unseren Artikel über die 12 Open-Source-Alternativen zu GPT-4.

In dieser Analyse befassen wir uns mit den LLaMA-Modellen von Meta AI, ihren Fähigkeiten und wie man über die Transformers-Bibliothek auf sie zugreifen kann. Außerdem vergleichen wir ihre Leistung, heben wichtige Herausforderungen hervor und untersuchen ihre Einschränkungen. Seit der Erstveröffentlichung dieses Artikels hat Meta AI sowohl LLaMA 2 als auch LLaMA 3 eingeführt – beide werden in separaten Artikeln mit weiteren Einblicken behandelt.

Verständnis von LLaMA: Das Large Language Model von Meta AI

LLaMA (Large Language Model Meta AI) ist eine Reihe modernster grundlegender Sprachmodelle mit Größen von 7 Milliarden bis 65 Milliarden Parametern. Trotz ihrer kompakten Struktur bieten diese Modelle hervorragende Leistung und reduzieren den Rechenaufwand für Forscher und Entwickler, um zu experimentieren, bestehende Arbeiten zu überprüfen und neue Anwendungen zu erforschen.

Diese Grundmodelle wurden auf umfangreichen, unbeschrifteten Datensätzen trainiert und sind daher hochgradig anpassungsfähig für Feinabstimmungen in verschiedenen Aufgabenbereichen. Zu den Trainingsdatenquellen gehören:

• 67,0 % CommonCrawl
• 15,0 % C4
• 4,5 % GitHub
• 4,5 % Wikipedia
• 4,5 % Bücher
• 2,5 % ArXiv
• 2,0 % StackExchange

Dank dieses vielfältigen Datensatzes haben LLaMA-Modelle eine Leistung erreicht, die mit Spitzenmodellen wie Chinchilla-70B und PaLM-540B vergleichbar ist, und sich damit unter den besten verfügbaren KI-Sprachmodellen etabliert.

Verständnis des LLaMA-Modells von Meta

LLaMA ist ein autoregressives Sprachmodell, das auf der Transformer-Architektur basiert. Wie andere fortschrittliche Modelle verarbeitet es eine Wortsequenz als Eingabe und sagt das nächste Wort voraus, wodurch eine rekursive Textgenerierung ermöglicht wird.

Was LLaMA einzigartig macht, ist das umfangreiche Training mit öffentlich verfügbaren Textdaten in mehreren Sprachen, darunter Bulgarisch, Katalanisch, Tschechisch, Dänisch, Deutsch, Englisch, Spanisch, Französisch, Kroatisch, Ungarisch, Italienisch, Niederländisch, Polnisch, Portugiesisch, Rumänisch, Russisch, Slowenisch, Serbisch, Schwedisch und Ukrainisch. Mit der Einführung von LLaMA 2 im Jahr 2024 wurden Verbesserungen in Architektur und Trainingstechniken vorgenommen, die Effizienz und Mehrsprachigkeit weiter stärken.

In verschiedenen Größen erhältlich – 7B, 13B, 33B und 65B Parameter – können LLaMA-Modelle über Hugging Face (kompatibel mit Transformers) oder das offizielle Repository unter facebookresearch/llama abgerufen werden.

Erste Schritte mit LLaMA-Modellen

Der offizielle Inferenzcode ist im Repository facebookresearch/llama verfügbar, aber zur Vereinfachung verwenden wir hier die Hugging Face Transformers-Bibliothek, um das Modell zu laden und Text zu generieren.

1. Notwendige Bibliotheken installieren

Wir führen die LLaMA-Inferenz mit Google Colab aus.

%%capture
%pip install transformers SentencePiece accelerate

2. LLaMA-Token und Modellgewichte laden

Hinweis: 'decapoda-research/llama-7b-hf' ist nicht das offizielle Modellgewicht. Decapoda Research hat das ursprüngliche Modell angepasst, um mit der Transformers-Bibliothek zu funktionieren.

import transformers, torch
from transformers import LlamaTokenizer, LlamaForCausalLM, GenerationConfig

tokenizer = LlamaTokenizer.from_pretrained("decapoda-research/llama-7b-hf")
model = LlamaForCausalLM.from_pretrained(
        "decapoda-research/llama-7b-hf",
        load_in_8bit=False,
        torch_dtype=torch.float16,
        device_map="auto",
    )

3. Frage definieren

4. Text in Tokens umwandeln

5. Konfiguration für die Textgenerierung festlegen

6. Textausgabe generieren

7. Antwort decodieren und ausgeben

instruction = "What is the speed of light?"
inputs = tokenizer(
    f"""Below is an instruction that describes a task. Write a response that appropriately completes the request.
### Instruction: {instruction}
### Response:""",
    return_tensors="pt",
)
input_ids = inputs["input_ids"].to("cuda")

generation_config = transformers.GenerationConfig(
    do_sample=True,
    temperature=0.1,
    top_p=0.75,
    top_k=80,
    repetition_penalty=1.5,
    max_new_tokens=128,
)

with torch.no_grad():
    generation_output = model.generate(
        input_ids=input_ids,
        attention_mask=torch.ones_like(input_ids),
        generation_config=generation_config,
    )
output_text = tokenizer.decode(
    generation_output[0].cuda(), skip_special_tokens=True
).strip()
print(output_text)

Ausgabe:

Das Modell erkennt korrekt, dass die Lichtgeschwindigkeit im Vakuum etwa 299.792.458 Meter pro Sekunde beträgt.

Below is an instruction that describes a task. Write a response that appropriately completes the request.
### Instruction: What is the speed of light?
### Response: The speed of light in a vacuum is exactly 299,792,458 meters per second (approximately 186,282 miles per second). This value is a fundamental constant in physics and plays a crucial role in theories like relativity. Scientists have verified this speed through numerous experiments over the years.

Das LLaMA-Modell kann zusammen mit der Transformers-Bibliothek auch für verschiedene Aufgaben und Datensätze feinabgestimmt werden, um Genauigkeit und Leistung deutlich zu verbessern.

Wie unterscheidet sich LLaMA von anderen KI-Modellen?

Das Forschungspapier bietet einen tiefgehenden Vergleich der LLaMA-Modelle mit führenden Sprachmodellen wie GPT-3, GPT-NeoX, Gopher, Chinchilla und PaLM. Verschiedene Benchmark-Tests wurden durchgeführt, um ihre Leistung in Bereichen wie Alltagsverständnis, Trivia, Leseverständnis, Fragenbeantwortung, mathematische Problemlösung, Codegenerierung und Fachwissen zu bewerten.

Alltagsverständnis (Common Sense Reasoning)

In Benchmark-Tests wie PIQA, SIQA und OpenBookQA übertraf das Modell LLaMA-65B andere hochmoderne Architekturen. Auch das kleinere LLaMA-33B-Modell erzielte im ARC-Test (leicht und schwer) bessere Ergebnisse als vergleichbare Modelle.

Fragenbeantwortung & Trivia ohne Kontext

Bei der Bewertung der Fähigkeit, reale Fragen zu verstehen und zu beantworten, übertraf LLaMA in den Tests Natural Questions und TriviaQA konstant GPT-3, Gopher, Chinchilla und PaLM.

Leseverständnis

In den Benchmark-Tests RACE-middle und RACE-high zeigte LLaMA bessere Ergebnisse als GPT-3 und eine vergleichbare Leistung wie PaLM 540B.

Mathematisches Denken

Da LLaMA nicht auf mathematische Daten feinabgestimmt wurde, blieb die Leistung in diesem Bereich hinter den Erwartungen zurück und lag unterhalb von Minerva.

Codegenerierung

In den HumanEval- und MBPP-Benchmarks erzielte LLaMA höhere Werte als LAMDA und PaLM in HumanEval@100, MBP@1 und MBP@80.

Fachwissen

Bezüglich des allgemeinen Fachwissens schnitten LLaMA-Modelle schlechter ab als das umfangreiche PaLM-540B-Modell, das über deutlich mehr Parameter verfügt.

Herausforderungen und Einschränkungen von LLaMA

Wie andere große Sprachmodelle neigt auch LLaMA zu Halluzinationen und kann gelegentlich ungenaue oder irreführende Informationen erzeugen.

Darüber hinaus bestehen mehrere weitere Herausforderungen:

• Sprachliche Einschränkungen: Da der Großteil der Trainingsdaten auf Englisch basiert, ist die Leistung von LLaMA in anderen Sprachen möglicherweise schwächer.
• Forschungsorientierte Nutzung: LLaMA ist in erster Linie für Forschungszwecke unter einer nicht-kommerziellen Lizenz konzipiert. Ziel der Veröffentlichung ist es, Forschern zu helfen, Vorurteile, Risiken und Probleme im Zusammenhang mit toxischen Inhalten, Halluzinationen und Modellsicherheit zu untersuchen.
• Nicht produktionsbereit: Als Basismodell sollte LLaMA nicht in Anwendungen verwendet werden, ohne eine gründliche Risikobewertung und geeignete Gegenmaßnahmen.
• Schwächen in mathematischem und fachspezifischem Denken: Das Modell hat Schwierigkeiten mit komplexen mathematischen Problemen und verfügt nicht über tiefes Fachwissen in speziellen Gebieten.

Für Einblicke in Entwicklungen in der KI, einschließlich OpenAI, Google AI und deren Einfluss auf Data Science, lesen Sie unseren Artikel „Das Neueste zu OpenAI, Google AI und was es für Data Science bedeutet“. Der Blog untersucht aktuelle Fortschritte in Sprach-, Bild- und Multimodal-Technologien, die Produktivität und Effizienz steigern.

Mit der Veröffentlichung von LLaMA 2 und LLaMA 3 wurden neue Einschränkungen identifiziert, obwohl Verbesserungen erzielt wurden – insbesondere in Bezug auf Kontextlänge und Anpassungsfähigkeit durch Feinabstimmung. Die Forschungsgemeinschaft arbeitet weiterhin aktiv daran, die Robustheit und Praxistauglichkeit dieser Modelle zu verbessern.

Fazit

Das Aufkommen der LLaMA-Modelle hat eine transformative Ära in der Open-Source-KI-Forschung eingeläutet. Besonders das kompakte LLaMA-3- und LLaMA-4-Modell übertrifft GPT-3 und GPT-4, während das größere LLaMA-65B Fähigkeiten zeigt, die mit fortgeschrittenen Modellen wie Chinchilla-70B und PaLM-540B vergleichbar sind. Diese Durchbrüche zeigen, dass Spitzenleistung auch mit öffentlich zugänglichen Datensätzen und minimaler Rechenleistung erreichbar ist.

Darüber hinaus betont die Studie den Einfluss von instruk­tionsbasierter Feinabstimmung auf die Leistungssteigerung von LLaMA. Modelle wie Vicuna und Stanford Alpaca, die auf Anweisungsdaten trainiert wurden, zeigen Ergebnisse, die mit ChatGPT und Bard vergleichbar sind – ein Beweis für das enorme Potenzial dieses Ansatzes.

Tags: chat llama kostenlos online, free llama 3, llama 3.3, llama 4 online, 70b