LlaMA chat gratis online - Tanpa login

Kita hidup di era luar biasa di mana inisiatif open-source yang digerakkan oleh komunitas berdedikasi mampu bersaing dengan solusi berbayar dari raksasa teknologi. Contoh nyata dari kemajuan ini adalah munculnya model bahasa yang ringkas namun sangat efektif seperti Vicuna, Koala, Alpaca, dan StableLM. Model-model ini mampu mencapai performa yang sebanding dengan ChatGPT sambil menggunakan sumber daya komputasi yang minimal. Yang menyatukan mereka adalah fondasinya pada model LLaMA dari Meta AI.

Untuk pembahasan lebih mendalam tentang kemajuan open-source lainnya dalam teknologi bahasa, lihat artikel kami tentang 12 Alternatif Open-Source GPT-4.

Dalam pembahasan ini, kita akan meninjau model LLaMA dari Meta AI, kemampuannya, dan cara mengaksesnya melalui pustaka transformers. Kami juga akan membandingkan performanya, menyoroti tantangan utama, dan mengeksplorasi keterbatasannya. Sejak artikel ini pertama kali ditulis, Meta AI telah merilis LLaMA 2 dan LLaMA 3 — masing-masing dibahas dalam artikel terpisah dengan wawasan lebih lanjut.

Memahami LLaMA: Model Bahasa Besar dari Meta AI

LLaMA (Large Language Model Meta AI) adalah serangkaian model bahasa dasar mutakhir dengan ukuran antara 7 miliar hingga 65 miliar parameter. Meskipun ukurannya ringkas, model-model ini memberikan performa luar biasa, mengurangi kebutuhan komputasi bagi peneliti dan pengembang untuk bereksperimen, memverifikasi hasil penelitian, dan menjelajahi aplikasi inovatif.

Model dasar ini dilatih menggunakan dataset besar tanpa label, membuatnya sangat fleksibel untuk disesuaikan dengan berbagai tugas. Sumber data pelatihan mencakup:

• 67,0% CommonCrawl
• 15,0% C4
• 4,5% GitHub
• 4,5% Wikipedia
• 4,5% Buku
• 2,5% ArXiv
• 2,0% StackExchange

Berkat dataset yang beragam ini, model LLaMA telah mencapai performa yang sebanding dengan model kelas atas seperti Chinchilla-70B dan PaLM-540B, menempatkannya di antara model bahasa AI terbaik saat ini.

Memahami Model LLaMA dari Meta

LLaMA adalah model bahasa auto-regresif berbasis arsitektur transformer. Seperti model lanjutan lainnya, ia memproses rangkaian kata sebagai input dan memprediksi kata berikutnya, memungkinkan pembuatan teks secara berurutan.

Yang membuat LLaMA unik adalah pelatihannya yang luas pada data teks publik dari berbagai bahasa, termasuk Bulgaria, Katalan, Ceko, Denmark, Jerman, Inggris, Spanyol, Prancis, Kroasia, Hongaria, Italia, Belanda, Polandia, Portugis, Rumania, Rusia, Slovenia, Serbia, Swedia, dan Ukraina. Dengan hadirnya LLaMA 2 pada tahun 2024, peningkatan arsitektur dan teknik pelatihan semakin memperkuat efisiensi dan kemampuan multibahasanya.

Tersedia dalam berbagai ukuran — 7B, 13B, 33B, dan 65B parameter — model LLaMA dapat diakses melalui Hugging Face (untuk kompatibilitas dengan Transformers) atau melalui repositori resmi di facebookresearch/llama.

Memulai dengan Model LLaMA

Kode inferensi resmi tersedia di repositori facebookresearch/llama, tetapi untuk mempermudah, kita akan menggunakan pustaka Hugging Face transformers untuk memuat model dan menghasilkan teks.

1. Instal Pustaka yang Diperlukan

Kita akan menjalankan inferensi LLaMA menggunakan Google Colab.

%%capture
%pip install transformers SentencePiece accelerate

2. Muat Token dan Bobot Model LLaMA

Catatan: 'decapoda-research/llama-7b-hf' bukan bobot model resmi. Decapoda Research telah menyesuaikan model asli agar dapat digunakan dengan pustaka Transformers.

import transformers, torch
from transformers import LlamaTokenizer, LlamaForCausalLM, GenerationConfig

tokenizer = LlamaTokenizer.from_pretrained("decapoda-research/llama-7b-hf")
model = LlamaForCausalLM.from_pretrained(
        "decapoda-research/llama-7b-hf",
        load_in_8bit=False,
        torch_dtype=torch.float16,
        device_map="auto",
    )

3. Tentukan Pertanyaan

4. Konversi Teks ke Token

5. Atur Konfigurasi Generasi Model

6. Hasilkan Output Teks

7. Dekode dan Cetak Respons

instruction = "What is the speed of light?"
inputs = tokenizer(
    f"""Below is an instruction that describes a task. Write a response that appropriately completes the request.
### Instruction: {instruction}
### Response:""",
    return_tensors="pt",
)
input_ids = inputs["input_ids"].to("cuda")

generation_config = transformers.GenerationConfig(
    do_sample=True,
    temperature=0.1,
    top_p=0.75,
    top_k=80,
    repetition_penalty=1.5,
    max_new_tokens=128,
)

with torch.no_grad():
    generation_output = model.generate(
        input_ids=input_ids,
        attention_mask=torch.ones_like(input_ids),
        generation_config=generation_config,
    )
output_text = tokenizer.decode(
    generation_output[0].cuda(), skip_special_tokens=True
).strip()
print(output_text)

Output:

Model ini secara akurat menentukan bahwa kecepatan cahaya di ruang hampa adalah sekitar 299.792.458 meter per detik.

Below is an instruction that describes a task. Write a response that appropriately completes the request.
### Instruction: What is the speed of light?
### Response: The speed of light in a vacuum is exactly 299,792,458 meters per second (approximately 186,282 miles per second). This value is a fundamental constant in physics and plays a crucial role in theories like relativity. Scientists have verified this speed through numerous experiments over the years.

Model LLaMA, bersama pustaka Transformers, juga dapat disesuaikan untuk berbagai tugas dan dataset, meningkatkan akurasi dan performa secara signifikan.

Apa yang Membuat LLaMA Berbeda dari Model AI Lainnya?

Makalah penelitian ini memberikan perbandingan mendalam antara model LLaMA dan model bahasa terkemuka seperti GPT-3, GPT-NeoX, Gopher, Chinchilla, dan PaLM. Berbagai pengujian benchmark dilakukan untuk menilai performanya dalam penalaran umum, trivia, pemahaman bacaan, tanya jawab, pemecahan masalah matematika, pembuatan kode, dan pengetahuan domain.

Penalaran Umum (Common Sense Reasoning)

Dalam pengujian benchmark seperti PIQA, SIQA, dan OpenBookQA, model LLaMA-65B melampaui arsitektur mutakhir lainnya. Selain itu, bahkan model yang lebih kecil, LLaMA-33B, unggul dalam tes ARC (baik yang mudah maupun sulit) dibandingkan rekan-rekannya.

Pertanyaan Tertutup & Trivia

Dalam menilai kemampuan model untuk menafsirkan dan menjawab pertanyaan realistis, LLaMA secara konsisten mengungguli GPT-3, Gopher, Chinchilla, dan PaLM dalam tes Natural Questions dan TriviaQA.

Pemahaman Bacaan

Dengan menggunakan benchmark RACE-middle dan RACE-high, LLaMA menunjukkan performa yang lebih baik dari GPT-3 dan sebanding dengan PaLM 540B.

Penalaran Matematika

Karena LLaMA tidak disesuaikan secara khusus pada data matematika, performanya di bidang ini di bawah harapan, tertinggal dari Minerva.

Pembuatan Kode (Code Generation)

Melalui benchmark HumanEval dan MBPP, LLaMA memperoleh skor lebih tinggi dibandingkan LAMDA dan PaLM dalam HumanEval@100, MBP@1, dan MBP@80.

Pengetahuan Domain

Dalam hal pengetahuan domain yang luas, model LLaMA masih kalah dibandingkan model PaLM 540B yang memiliki jumlah parameter jauh lebih besar.

Tantangan dan Keterbatasan LLaMA

Seperti model bahasa besar lainnya, LLaMA rentan terhadap halusinasi, kadang menghasilkan informasi yang tidak akurat atau menyesatkan.

Selain itu, ada beberapa tantangan lain:

• Keterbatasan Bahasa: Karena sebagian besar data pelatihannya berbahasa Inggris, performa LLaMA dalam bahasa lain mungkin tidak sekuat itu.
• Fokus Penelitian: LLaMA dirancang terutama untuk tujuan penelitian dengan lisensi non-komersial. Rilisnya bertujuan membantu peneliti menangani bias, risiko, dan masalah terkait konten beracun, halusinasi, serta keamanan model.
• Belum Siap Produksi: Sebagai model dasar, LLaMA tidak boleh digunakan dalam aplikasi tanpa evaluasi risiko dan strategi mitigasi yang menyeluruh.
• Kelemahan dalam Penalaran Matematika dan Domain Tertentu: Model ini kesulitan dalam masalah matematika kompleks dan kurang memiliki keahlian mendalam dalam bidang tertentu.

Untuk wawasan tentang perkembangan AI termasuk OpenAI, Google AI, dan dampaknya pada ilmu data, lihat artikel Kami tentang Perkembangan Terbaru di OpenAI, Google AI, dan Dampaknya bagi Data Science. Blog ini membahas kemajuan mutakhir dalam teknologi bahasa, visi, dan multimodal yang meningkatkan produktivitas serta efisiensi.

Dengan rilis LLaMA 2 dan LLaMA 3, beberapa keterbatasan baru telah diidentifikasi, meskipun peningkatan juga telah dilakukan, terutama dalam panjang konteks dan kemampuan adaptasi melalui fine-tuning. Seiring penelitian berlanjut, komunitas AI terus berupaya meningkatkan ketahanan dan kegunaan model ini di dunia nyata.

Kesimpulan

Munculnya model LLaMA telah menandai era baru dalam penelitian AI open-source. Secara khusus, model LLaMA-3 dan LLaMA-4 yang lebih ringkas melampaui GPT-3 dan GPT-4, sementara LLaMA-65B yang lebih besar menunjukkan kemampuan setara dengan model canggih seperti Chinchilla-70B dan PaLM-540B. Terobosan ini menegaskan bahwa performa kelas atas dapat dicapai menggunakan dataset publik dan daya komputasi minimal.

Selain itu, penelitian ini menyoroti dampak fine-tuning berbasis instruksi dalam meningkatkan performa LLaMA. Model seperti Vicuna dan Stanford Alpaca, yang disesuaikan melalui dataset instruksi, telah menunjukkan hasil sebanding dengan ChatGPT dan Bard — menunjukkan potensi besar pendekatan ini.

Tag: chat llama gratis online, llama 3 gratis, llama 3.3, llama 4 online, 70b