更多 AI 工具 

LLaMA 在線免費聊天 - 無需登入

我們正生活在一個非凡的時代，開源計畫由充滿熱情的社群推動，能與科技巨頭昂貴的專有解決方案匹敵。其中一個典型例子是緊湊但高效的語言模型崛起，如 Vicuna、Koala、Alpaca 和 StableLM。這些模型在運算資源極少的情況下，也能達到與 ChatGPT 相當的性能。它們的共同基礎是 Meta AI 的 LLaMA 模型。

想深入了解其他值得關注的語言技術開源進展，請參考我們關於「12 個 GPT-4 開源替代方案」的文章。

在本文中，我們將探討 Meta AI 的 LLaMA 模型、其功能，以及如何透過 Transformers 函式庫存取它們。我們也會比較其性能、強調主要挑戰，並探討其限制。自本文初次撰寫以來，Meta AI 已推出 LLaMA 2 和 LLaMA 3——每個版本我們都有專文深入分析。

認識 LLaMA：Meta AI 的大型語言模型

LLaMA（Large Language Model Meta AI）是一系列尖端的基礎語言模型，規模從 70 億到 650 億參數不等。儘管模型較小巧，但表現優異，大幅降低研究人員和開發者進行實驗、驗證現有工作與探索創新應用的運算需求。

這些基礎模型在大量未標註的資料集上訓練，使其能靈活地針對各種任務進行微調。訓練資料來源包括：

• 67.0% CommonCrawl
• 15.0% C4
• 4.5% GitHub
• 4.5% 維基百科
• 4.5% 書籍
• 2.5% ArXiv
• 2.0% StackExchange

憑藉這些多樣化的資料集，LLaMA 模型已達到與頂級模型如 Chinchilla-70B 和 PaLM-540B 相當的性能，鞏固了其在當今 AI 語言模型中的領先地位。

認識 Meta 的 LLaMA 模型

LLaMA 是一種基於 Transformer 架構的自回歸語言模型。與其他先進模型類似，它將一系列單詞作為輸入並預測下一個單詞，實現遞迴文本生成。

LLaMA 的獨特之處在於，它在多語言的公開文本資料上進行了廣泛訓練，包括保加利亞語、加泰隆語、捷克語、丹麥語、德語、英語、西班牙語、法語、克羅埃西亞語、匈牙利語、義大利語、荷蘭語、波蘭語、葡萄牙語、羅馬尼亞語、俄語、斯洛文尼亞語、塞爾維亞語、瑞典語和烏克蘭語。隨著 2024 年 LLaMA 2 的推出，架構與訓練技術的改進進一步增強了其效率和多語言能力。

LLaMA 模型有不同規模可選——7B、13B、33B 和 65B 參數，可透過 Hugging Face（與 Transformers 相容）或官方 facebookresearch/llama 儲存庫存取。

LLaMA 模型入門指南

官方推理程式碼位於 facebookresearch/llama 儲存庫，但為了簡化操作，我們將使用 Hugging Face Transformers 函式庫來載入模型並生成文本。

1. 安裝必要函式庫

我們將使用 Google Colab 執行 LLaMA 推理。

%%capture
%pip install transformers SentencePiece accelerate

2. 載入 LLaMA 的 Token 與模型權重

注意：'decapoda-research/llama-7b-hf' 並非官方模型權重。Decapoda Research 將原始模型改造為可在 Transformers 函式庫中使用。

import transformers, torch
from transformers import LlamaTokenizer, LlamaForCausalLM, GenerationConfig

tokenizer = LlamaTokenizer.from_pretrained("decapoda-research/llama-7b-hf")
model = LlamaForCausalLM.from_pretrained(
        "decapoda-research/llama-7b-hf",
        load_in_8bit=False,
        torch_dtype=torch.float16,
        device_map="auto",
    )

3. 定義問題

4. 將文本轉換為 Tokens

5. 設定模型生成配置

6. 生成文本輸出

7. 解碼並列印回應

instruction = "What is the speed of light?"
inputs = tokenizer(
    f"""Below is an instruction that describes a task. Write a response that appropriately completes the request.
### Instruction: {instruction}
### Response:""",
    return_tensors="pt",
)
input_ids = inputs["input_ids"].to("cuda")

generation_config = transformers.GenerationConfig(
    do_sample=True,
    temperature=0.1,
    top_p=0.75,
    top_k=80,
    repetition_penalty=1.5,
    max_new_tokens=128,
)

with torch.no_grad():
    generation_output = model.generate(
        input_ids=input_ids,
        attention_mask=torch.ones_like(input_ids),
        generation_config=generation_config,
    )
output_text = tokenizer.decode(
    generation_output[0].cuda(), skip_special_tokens=True
).strip()
print(output_text)

輸出：

模型正確判斷光在真空中的速度約為每秒 299,792,458 公尺。

Below is an instruction that describes a task. Write a response that appropriately completes the request.
### Instruction: What is the speed of light?
### Response: The speed of light in a vacuum is exactly 299,792,458 meters per second (approximately 186,282 miles per second). This value is a fundamental constant in physics and plays a crucial role in theories like relativity. Scientists have verified this speed through numerous experiments over the years.

LLaMA 模型與 Transformers 函式庫還可針對各種任務與資料集進行微調，大幅提升準確度與性能。

LLaMA 與其他 AI 模型有何不同？

研究論文對 LLaMA 模型與頂級語言模型如 GPT-3、GPT-NeoX、Gopher、Chinchilla 和 PaLM 進行深入比較。多項基準測試評估了其在常識推理、知識問答、閱讀理解、數學問題解決、程式碼生成與領域知識等方面的表現。

常識推理

在 PIQA、SIQA 和 OpenBookQA 等基準測試中，LLaMA-65B 模型超越其他最先進架構。此外，即便是較小的 LLaMA-33B，在 ARC（簡單與挑戰題）測試中也表現出色。

閉卷問答與知識測驗

在評估模型解讀與回答實際問題的能力時，LLaMA 在 Natural Questions 和 TriviaQA 測試中持續超越 GPT-3、Gopher、Chinchilla 和 PaLM。

閱讀理解

在 RACE-middle 與 RACE-high 基準測試中，LLaMA 表現優於 GPT-3，且結果可與 PaLM 540B 相當。

數學推理

由於 LLaMA 未針對數學資料進行微調，因此在此領域表現不佳，落後於 Minerva。

程式碼生成

透過 HumanEval 與 MBPP 基準測試評估，LLaMA 在 HumanEval@100、MBP@1 和 MBP@80 中得分高於 LAMDA 和 PaLM。

領域知識

在廣泛領域知識方面，LLaMA 模型略遜於擁有大量參數的 PaLM 540B 模型。

LLaMA 的挑戰與限制

與其他大型語言模型一樣，LLaMA 也可能出現幻覺，生成不正確或誤導性資訊。

此外，還存在其他挑戰：

• 語言限制：由於大部分訓練資料為英文，LLaMA 在其他語言上的表現可能較弱。
• 研究導向使用：LLaMA 主要設計為研究用途，採非商業授權。其發布旨在幫助研究人員解決偏見、風險及有害內容、幻覺與模型安全相關問題。
• 非生產環境適用：作為基礎模型，LLaMA 不應在未經充分風險評估與緩解措施的應用中使用。
• 數學與專業領域推理不足：模型在複雜數學問題上表現不佳，且缺乏特定領域的深入專業知識。

欲了解 AI 的最新發展，包括 OpenAI、Google AI 及其對資料科學的影響，可參考「最新 OpenAI、Google AI 發展及其對資料科學的意義」。該部落格探討語言、視覺及多模態技術的前沿進展，提升生產力與效率。

隨著 LLaMA 2 和 LLaMA 3 的發布，雖然新限制被識別，但模型在上下文長度與透過微調的適應性方面已有改善。隨著研究持續進行，AI 社群積極提升這些模型的穩健性與實務可用性。

結論

LLaMA 模型的出現，帶來了開源 AI 研究的變革時代。值得注意的是，緊湊的 LLaMA-3 和 LLaMA-4 模型超越 GPT-3 和 GPT-4，而更大型的 LLaMA-65B 展現與 Chinchilla-70B 和 PaLM-540B 相當的能力。這些突破突顯了使用公開資料集與最小運算資源仍能達到頂級性能的可行性。

此外，研究強調指令式微調對提升 LLaMA 表現的影響。透過指令遵循資料集精煉的 Vicuna 和 Stanford Alpaca 模型，其結果可與 ChatGPT 和 Bard 相當，展現出這種方法的巨大潛力。

標籤: chat llama 免費線上, 免費 llama 3, llama 3.3, llama 4 線上, 70b

We use cookies to enhance your experience and provide personalized content. By accepting, you help us improve our services. Do you accept? Manage settings Yes, Accept Cookies