LlaMA chat online za darmo - Bez logowania

Żyjemy w niezwykłej erze, w której inicjatywy open-source, napędzane przez pasjonujące społeczności, stają w szranki z drogimi, komercyjnymi rozwiązaniami gigantów technologicznych. Doskonałym przykładem tego postępu jest pojawienie się kompaktowych, a jednocześnie bardzo wydajnych modeli językowych, takich jak Vicuna, Koala, Alpaca i StableLM. Modele te osiągają poziom wydajności porównywalny z ChatGPT, działając przy minimalnych zasobach obliczeniowych. Co je łączy, to oparcie na modelach LLaMA od Meta AI.

Aby zgłębić inne godne uwagi osiągnięcia open-source w technologii językowej, sprawdź nasz artykuł o 12 alternatywach GPT-4 open-source.

W tej dyskusji przyjrzymy się modelom LLaMA od Meta AI, ich możliwościom oraz sposobom dostępu za pomocą biblioteki transformers. Porównamy także ich wydajność, wskażemy kluczowe wyzwania i omówimy ograniczenia. Od czasu napisania tego artykułu, Meta AI wprowadziło zarówno LLaMA 2, jak i LLaMA 3 – każdy z nich omówiony jest w osobnych artykułach z dodatkowymi wnioskami.

Zrozumienie LLaMA: Duży Model Językowy Meta AI

LLaMA (Large Language Model Meta AI) to seria nowoczesnych modeli językowych podstawowych o wielkości od 7 miliardów do 65 miliardów parametrów. Pomimo kompaktowej natury, modele te oferują znakomitą wydajność, zmniejszając wymagania obliczeniowe dla badaczy i deweloperów do eksperymentowania, weryfikowania istniejących prac i eksplorowania innowacyjnych zastosowań.

Te modele podstawowe były trenowane na obszernej, nieoznaczonej bazie danych, co sprawia, że są bardzo elastyczne do dostrajania w różnych zadaniach. Źródła danych treningowych obejmują:

• 67,0% CommonCrawl
• 15,0% C4
• 4,5% GitHub
• 4,5% Wikipedia
• 4,5% Książki
• 2,5% ArXiv
• 2,0% StackExchange

Dzięki tej zróżnicowanej bazie danych modele LLaMA osiągnęły wydajność porównywalną z najwyższej klasy modelami, takimi jak Chinchilla-70B i PaLM-540B, co potwierdza ich miejsce wśród najlepiej działających modeli językowych AI dostępnych dziś.

Zrozumienie modelu LLaMA od Meta

LLaMA jest autoregresyjnym modelem językowym opartym na architekturze transformera. Podobnie jak inne zaawansowane modele, przetwarza sekwencję słów jako dane wejściowe i przewiduje kolejne słowo, umożliwiając rekursywne generowanie tekstu.

Co wyróżnia LLaMA, to szerokie szkolenie na publicznie dostępnych danych tekstowych w wielu językach, w tym bułgarskim, katalońskim, czeskim, duńskim, niemieckim, angielskim, hiszpańskim, francuskim, chorwackim, węgierskim, włoskim, niderlandzkim, polskim, portugalskim, rumuńskim, rosyjskim, słoweńskim, serbskim, szwedzkim i ukraińskim. Wraz z wprowadzeniem LLaMA 2 w 2024 roku, ulepszenia w architekturze i technikach treningowych dodatkowo zwiększyły jego efektywność i biegłość wielojęzyczną.

Dostępne w różnych rozmiarach — 7B, 13B, 33B i 65B parametrów — modele LLaMA można uzyskać za pośrednictwem Hugging Face (dla kompatybilności z Transformers) lub przez oficjalne repozytorium facebookresearch/llama.

Rozpoczęcie pracy z modelami LLaMA

Oficjalny kod do wnioskowania jest dostępny w repozytorium facebookresearch/llama, ale dla uproszczenia użyjemy biblioteki Hugging Face transformers do załadowania modelu i generowania tekstu.

1. Instalacja niezbędnych bibliotek

Uruchomimy wnioskowanie LLaMA za pomocą Google Colab.

%%capture
%pip install transformers SentencePiece accelerate

2. Załaduj tokeny LLaMA i wagi modelu

Uwaga: 'decapoda-research/llama-7b-hf' nie jest oficjalną wagą modelu. Decapoda Research dostosowało oryginalny model, aby działał z biblioteką Transformers.

import transformers, torch
from transformers import LlamaTokenizer, LlamaForCausalLM, GenerationConfig

tokenizer = LlamaTokenizer.from_pretrained("decapoda-research/llama-7b-hf")
model = LlamaForCausalLM.from_pretrained(
        "decapoda-research/llama-7b-hf",
        load_in_8bit=False,
        torch_dtype=torch.float16,
        device_map="auto",
    )

3. Zdefiniuj pytanie

4. Konwertuj tekst na tokeny

5. Ustaw konfigurację generowania modelu

6. Wygeneruj tekst wyjściowy

7. Dekoduj i wydrukuj odpowiedź

instruction = "What is the speed of light?"
inputs = tokenizer(
    f"""Below is an instruction that describes a task. Write a response that appropriately completes the request.
### Instruction: {instruction}
### Response:""",
    return_tensors="pt",
)
input_ids = inputs["input_ids"].to("cuda")

generation_config = transformers.GenerationConfig(
    do_sample=True,
    temperature=0.1,
    top_p=0.75,
    top_k=80,
    repetition_penalty=1.5,
    max_new_tokens=128,
)

with torch.no_grad():
    generation_output = model.generate(
        input_ids=input_ids,
        attention_mask=torch.ones_like(input_ids),
        generation_config=generation_config,
    )
output_text = tokenizer.decode(
    generation_output[0].cuda(), skip_special_tokens=True
).strip()
print(output_text)

Wynik:

Model dokładnie określa, że prędkość światła w próżni wynosi około 299 792 458 metrów na sekundę.

Below is an instruction that describes a task. Write a response that appropriately completes the request.
### Instruction: What is the speed of light?
### Response: The speed of light in a vacuum is exactly 299,792,458 meters per second (approximately 186,282 miles per second). This value is a fundamental constant in physics and plays a crucial role in theories like relativity. Scientists have verified this speed through numerous experiments over the years.

Model LLaMA wraz z biblioteką Transformers może być również dostrajany do różnych zadań i zbiorów danych, znacznie zwiększając dokładność i wydajność.

Czym LLaMA wyróżnia się na tle innych modeli AI?

Artykuł badawczy oferuje dogłębne porównanie modeli LLaMA z najlepszymi modelami językowymi, takimi jak GPT-3, GPT-NeoX, Gopher, Chinchilla i PaLM. Przeprowadzono różne testy benchmarkowe, aby ocenić ich wydajność w obszarach takich jak rozumowanie zdroworozsądkowe, quizy, czytanie ze zrozumieniem, odpowiadanie na pytania, rozwiązywanie problemów matematycznych, generowanie kodu i wiedza dziedzinowa.

Rozumowanie zdroworozsądkowe

W testach benchmarkowych, takich jak PIQA, SIQA i OpenBookQA, model LLaMA-65B przewyższał inne nowoczesne architektury. Dodatkowo, nawet mniejszy model LLaMA-33B osiągnął doskonałe wyniki w ARC (zarówno łatwe, jak i trudne) w porównaniu z innymi modelami.

Odpowiadanie na pytania zamknięte i quizy

Ocena zdolności modelu do interpretacji i odpowiadania na realistyczne pytania wykazała, że LLaMA konsekwentnie przewyższała GPT-3, Gopher, Chinchilla i PaLM w testach Natural Questions i TriviaQA.

Czytanie ze zrozumieniem

W testach benchmarkowych RACE-middle i RACE-high LLaMA wykazała lepsze wyniki niż GPT-3 i osiągnęła wyniki porównywalne z PaLM 540B.

Rozumowanie matematyczne

Ponieważ LLaMA nie była dostrajana na danych matematycznych, jej wyniki w tej dziedzinie były poniżej oczekiwań, ustępując Minervie.

Generowanie kodu

Oceniane za pomocą benchmarków HumanEval i MBPP, LLaMA osiągnęła wyższe wyniki niż LAMDA i PaLM w HumanEval@100, MBP@1 i MBP@80.

Wiedza dziedzinowa

W przypadku szerokiej wiedzy dziedzinowej, modele LLaMA pozostawały w tyle w porównaniu do obszernego modelu PaLM 540B, który korzysta z znacznie większej liczby parametrów.

Wyzwania i ograniczenia LLaMA

Podobnie jak inne duże modele językowe, LLaMA jest podatna na halucynacje, czasem generując nieścisłe lub mylące informacje.

Poza tym istnieje kilka innych wyzwań:

• Ograniczenia językowe: Ponieważ większość danych treningowych jest w języku angielskim, wydajność LLaMA w innych językach może być słabsza.
• Zastosowanie badawcze: LLaMA jest przeznaczona głównie do celów badawczych na licencji niekomercyjnej. Jej publikacja ma pomóc badaczom w adresowaniu uprzedzeń, ryzyk i problemów związanych z toksycznymi treściami, halucynacjami i bezpieczeństwem modelu.
• Niegotowa do produkcji: Jako model bazowy, LLaMA nie powinna być używana w aplikacjach bez dokładnej oceny ryzyka i strategii jego ograniczania.
• Słabość w rozumowaniu matematycznym i dziedzinowym: Model ma trudności z złożonymi problemami matematycznymi i brakuje mu głębokiej wiedzy w określonych dziedzinach.

Aby poznać najnowsze osiągnięcia w AI, w tym OpenAI, Google AI i ich wpływ na data science, sprawdź artykuł Najnowsze informacje o OpenAI, Google AI i ich znaczeniu dla data science. Blog omawia nowatorskie osiągnięcia w technologiach językowych, wizualnych i multimodalnych, które zwiększają produktywność i efektywność.

Wraz z wydaniem LLaMA 2 i LLaMA 3 zidentyfikowano nowe ograniczenia, choć wprowadzono również ulepszenia, szczególnie w zakresie długości kontekstu i adaptacyjności przez dostrajanie. W miarę postępu badań, społeczność AI aktywnie pracuje nad zwiększeniem odporności i użyteczności tych modeli w rzeczywistych zastosowaniach.

Podsumowanie

Pojawienie się modeli LLaMA zapoczątkowało transformacyjną erę w badaniach AI open-source. Szczególnie kompaktowy model LlaMA-3 i LlaMA-4 przewyższa GPT-3 i GPT-4, podczas gdy większy LLaMA-65B wykazuje możliwości porównywalne z zaawansowanymi modelami, takimi jak Chinchilla-70B i PaLM-540B. Te przełomy podkreślają możliwość osiągnięcia najwyższej wydajności przy użyciu publicznie dostępnych danych i minimalnej mocy obliczeniowej.

Ponadto badanie podkreśla znaczenie dostrajania instrukcyjnego w poprawie wydajności LLaMA. Modele takie jak Vicuna i Stanford Alpaca, udoskonalone dzięki zestawom danych podążających za instrukcjami, osiągnęły wyniki porównywalne z ChatGPT i Bard, pokazując ogromny potencjał tego podejścia.

Tagi: chat llama online za darmo, darmowy llama 3, llama 3.3, llama 4 online, 70b