LLaMA sohbeti ücretsiz çevrimiçi - Giriş yapmaya gerek yok

Tutkulu topluluklar tarafından desteklenen açık kaynak girişimlerinin, teknoloji devlerinin pahalı özel çözümleriyle boy ölçüştüğü olağanüstü bir çağda yaşıyoruz. Bu ilerlemenin en iyi örneklerinden biri, Vicuna, Koala, Alpaca ve StableLM gibi kompakt ama son derece etkili dil modellerinin yükselişidir. Bu modeller, minimum hesaplama kaynaklarıyla çalışırken ChatGPT ile karşılaştırılabilir performans seviyelerine ulaşır. Ortak noktaları, Meta AI’nin LLaMA modellerine dayanıyor olmalarıdır.

Dil teknolojilerindeki diğer önemli açık kaynak ilerlemelerini daha derinlemesine incelemek için, 12 GPT-4 Açık Kaynak Alternatifi makalemize göz atın.

Bu yazıda Meta AI’nin LLaMA modellerini, yeteneklerini ve transformers kütüphanesi üzerinden nasıl erişileceğini inceleyeceğiz. Ayrıca performanslarını karşılaştıracak, önemli zorlukları vurgulayacak ve sınırlamalarını keşfedeceğiz. Bu makale ilk yazıldığında Meta AI, hem LLaMA 2 hem de LLaMA 3’ü tanıttı—her birini ayrı makalelerde detaylı olarak ele aldık.

LLaMA’yı Anlamak: Meta AI’nin Büyük Dil Modeli

LLaMA (Large Language Model Meta AI), 7 milyar ile 65 milyar parametre arasında değişen ileri düzey temel dil modelleri serisidir. Kompakt yapısına rağmen, bu modeller olağanüstü performans sunar ve araştırmacıların ve geliştiricilerin deney yapmasını, mevcut çalışmaları doğrulamasını ve yenilikçi uygulamaları keşfetmesini kolaylaştırır.

Bu temel modeller, çeşitli görevler için ince ayara son derece uygun hale getirilmiş geniş, etiketlenmemiş veri kümeleri üzerinde eğitilmiştir. Eğitim veri kaynakları şunları içerir:

• 67,0% CommonCrawl
• 15,0% C4
• 4,5% GitHub
• 4,5% Wikipedia
• 4,5% Kitaplar
• 2,5% ArXiv
• 2,0% StackExchange

Bu çeşitli veri kümesi sayesinde, LLaMA modelleri Chinchilla-70B ve PaLM-540B gibi üst düzey modellerle karşılaştırılabilir performans sergileyerek, günümüzde mevcut en iyi performans gösteren AI dil modelleri arasında yerlerini sağlamlaştırmıştır.

Meta’nın LLaMA Modelini Anlamak

LLaMA, transformer mimarisi tabanlı bir oto-regresif dil modelidir. Diğer ileri düzey modellerde olduğu gibi, bir kelime dizisini giriş olarak işler ve sonraki kelimeyi tahmin ederek ardışık metin üretimini sağlar.

LLaMA’yı benzersiz kılan, çok dilli kamuya açık metin verileri üzerinde kapsamlı şekilde eğitilmiş olmasıdır; bunlar arasında Bulgarca, Katalanca, Çekçe, Danca, Almanca, İngilizce, İspanyolca, Fransızca, Hırvatça, Macarca, İtalyanca, Hollandaca, Lehçe, Portekizce, Romence, Rusça, Slovence, Sırpça, İsveççe ve Ukraynaca bulunur. 2024’te LLaMA 2’nin tanıtımıyla mimari ve eğitim tekniklerindeki geliştirmeler, verimliliğini ve çok dilli yetkinliğini daha da artırmıştır.

7B, 13B, 33B ve 65B parametre boyutlarında mevcut olan LLaMA modellerine Hugging Face üzerinden (Transformers uyumluluğu için) veya resmi facebookresearch/llama deposu aracılığıyla erişilebilir.

LLaMA Modelleri ile Başlamak

Resmi çıkarım kodu facebookresearch/llama deposunda mevcuttur, ancak işleri basitleştirmek için Hugging Face transformers kütüphanesini kullanarak modeli yükleyecek ve metin üreteceğiz.

1. Gerekli Kütüphaneleri Yükleyin

LLaMA çıkarımını Google Colab kullanarak çalıştıracağız.

%%capture
%pip install transformers SentencePiece accelerate

2. LLaMA Tokenlerini ve Model Ağırlıklarını Yükleyin

Not: 'decapoda-research/llama-7b-hf' resmi model ağırlığı değildir. Decapoda Research, orijinal modeli Transformers kütüphanesi ile çalışacak şekilde uyarlamıştır.

import transformers, torch
from transformers import LlamaTokenizer, LlamaForCausalLM, GenerationConfig

tokenizer = LlamaTokenizer.from_pretrained("decapoda-research/llama-7b-hf")
model = LlamaForCausalLM.from_pretrained(
        "decapoda-research/llama-7b-hf",
        load_in_8bit=False,
        torch_dtype=torch.float16,
        device_map="auto",
    )

3. Soruyu Tanımlayın

4. Metni Tokenlere Dönüştürün

5. Model Üretim Yapılandırmasını Ayarlayın

6. Metin Çıktısı Üretin

7. Yanıtı Çözümleyin ve Yazdırın

instruction = "What is the speed of light?"
inputs = tokenizer(
    f"""Below is an instruction that describes a task. Write a response that appropriately completes the request.
### Instruction: {instruction}
### Response:""",
    return_tensors="pt",
)
input_ids = inputs["input_ids"].to("cuda")

generation_config = transformers.GenerationConfig(
    do_sample=True,
    temperature=0.1,
    top_p=0.75,
    top_k=80,
    repetition_penalty=1.5,
    max_new_tokens=128,
)

with torch.no_grad():
    generation_output = model.generate(
        input_ids=input_ids,
        attention_mask=torch.ones_like(input_ids),
        generation_config=generation_config,
    )
output_text = tokenizer.decode(
    generation_output[0].cuda(), skip_special_tokens=True
).strip()
print(output_text)

Çıktı:

Model, boşluktaki ışık hızının yaklaşık 299.792.458 metre/saniye olduğunu doğru bir şekilde belirler.

Below is an instruction that describes a task. Write a response that appropriately completes the request.
### Instruction: What is the speed of light?
### Response: The speed of light in a vacuum is exactly 299,792,458 meters per second (approximately 186,282 miles per second). This value is a fundamental constant in physics and plays a crucial role in theories like relativity. Scientists have verified this speed through numerous experiments over the years.

LLaMA modeli, Transformers kütüphanesi ile birlikte çeşitli görevler ve veri kümeleri için ince ayar yapılabilir, doğruluk ve performansı önemli ölçüde artırabilir.

LLaMA Diğer AI Modellerinden Nasıl Farklıdır?

Araştırma makalesi, LLaMA modellerini GPT-3, GPT-NeoX, Gopher, Chinchilla ve PaLM gibi üst düzey dil modelleri ile derinlemesine karşılaştırmaktadır. Ortak mantık yürütme, bilgi yarışmaları, okuduğunu anlama, soru-cevap, matematiksel problem çözme, kod üretimi ve alan bilgisi gibi alanlarda performanslarını değerlendirmek için çeşitli benchmark testleri yapılmıştır.

Ortak Mantık Yürütme

PIQA, SIQA ve OpenBookQA gibi benchmark testlerinde LLaMA-65B modeli diğer ileri düzey mimarileri geride bırakmıştır. Ayrıca, daha küçük LLaMA-33B modeli, ARC (hem kolay hem zor) testlerinde diğer modellerle karşılaştırıldığında üstün performans göstermiştir.

Kapalı Kitap Soru-Cevap & Bilgi Yarışmaları

Modelin gerçekçi soruları yorumlama ve yanıt verme yeteneğini değerlendirirken, LLaMA Natural Questions ve TriviaQA testlerinde GPT-3, Gopher, Chinchilla ve PaLM’i tutarlı şekilde geride bırakmıştır.

Okuduğunu Anlama

RACE-middle ve RACE-high benchmark testlerini kullanarak, LLaMA GPT-3’ten daha iyi performans göstermiş ve PaLM 540B ile karşılaştırılabilir sonuçlar elde etmiştir.

Matematiksel Mantık

LLaMA matematik verileri üzerinde ince ayar yapılmadığından, bu alanda beklentilerin altında performans göstermiş ve Minerva’nın gerisinde kalmıştır.

Kod Üretimi

HumanEval ve MBPP benchmark testleriyle değerlendirilen LLaMA, HumanEval@100, MBP@1 ve MBP@80 testlerinde LAMDA ve PaLM’den daha yüksek puanlar almıştır.

Alan Bilgisi

Geniş alan bilgisi söz konusu olduğunda, LLaMA modelleri, çok daha fazla parametreye sahip PaLM 540B modelinin gerisinde kalmıştır.

LLaMA’nın Zorlukları ve Sınırlamaları

Diğer büyük dil modelleri gibi, LLaMA da bazen hatalı veya yanıltıcı bilgiler üretebilen halüsinasyonlara eğilimlidir.

Bunun ötesinde, birkaç başka zorluk daha vardır:

• Dil Sınırlamaları: Eğitim verilerinin çoğu İngilizce olduğundan, LLaMA’nın diğer dillerdeki performansı o kadar güçlü olmayabilir.
• Araştırma Odaklı Kullanım: LLaMA, öncelikle araştırma amaçlı ve ticari olmayan bir lisans altında tasarlanmıştır. Yayımı, araştırmacıların önyargılar, riskler ve toksik içerik, halüsinasyonlar ve model güvenliği ile ilgili sorunları ele almasına yardımcı olmayı amaçlamaktadır.
• Üretim Hazır Değil: Temel bir model olarak, LLaMA, kapsamlı risk değerlendirmesi ve hafifletme stratejileri olmadan uygulamalarda kullanılmamalıdır.
• Matematiksel ve Alan-Specific Mantıkta Zayıflık: Model, karmaşık matematik problemlerinde zorlanır ve belirli alanlarda derin uzmanlıktan yoksundur.

AI’deki gelişmeler, OpenAI, Google AI ve bunların veri bilimi üzerindeki etkileri hakkında bilgi edinmek için, OpenAI, Google AI ve Veri Bilimi için Anlamı konulu blogumuza göz atın. Blog, verimliliği ve etkinliği artıran dil, görsel ve çok modlu teknolojilerdeki son gelişmeleri ele alıyor.

LLaMA 2 ve LLaMA 3’ün yayımlanmasıyla, bazı yeni sınırlamalar ortaya çıkmış olsa da, özellikle bağlam uzunluğu ve ince ayar yoluyla uyarlanabilirlik açısından iyileştirmeler yapılmıştır. Araştırmalar devam ettikçe, AI topluluğu bu modellerin sağlamlığını ve gerçek dünya kullanılabilirliğini artırmak için aktif olarak çalışmaktadır.

Sonuç

LLaMA modellerinin ortaya çıkışı, açık kaynak AI araştırmalarında dönüştürücü bir dönemi başlatmıştır. Özellikle kompakt LLaMA-3 ve LLaMA-4 modelleri GPT-3 ve GPT-4’ü geride bırakırken, daha büyük LLaMA-65B, Chinchilla-70B ve PaLM-540B gibi ileri düzey modellerle karşılaştırılabilir yetenekler sergiler. Bu gelişmeler, kamuya açık veri kümeleri ve minimum hesaplama gücü kullanılarak üst düzey performansa ulaşmanın mümkün olduğunu göstermektedir.

Ayrıca çalışma, LLaMA’nın performansını artırmada talimat tabanlı ince ayarın etkisini vurgulamaktadır. Vicuna ve Stanford Alpaca gibi modeller, talimat takip eden veri kümeleri ile geliştirilmiş ve ChatGPT ve Bard ile karşılaştırılabilir sonuçlar elde ederek bu yaklaşımın büyük potansiyelini göstermiştir.

Etiketler: chat llama ücretsiz çevrimiçi, ücretsiz llama 3, llama 3.3, llama 4 çevrimiçi, 70b