その他のAIツール 

LlaMAチャット無料オンライン - ログイン不要

私たちは、熱心なコミュニティによって支えられたオープンソースの取り組みが、テック大手の高価な独自ソリューションと肩を並べる特異な時代に生きています。この進歩の代表例が、Vicuna、Koala、Alpaca、StableLMのようなコンパクトでありながら高性能な言語モデルの台頭です。これらのモデルは、最小限の計算リソースでChatGPTに匹敵する性能を発揮します。それらを統一するのは、Meta AIのLLaMAモデルに基づいている点です。

言語技術における他の注目すべきオープンソースの進展について詳しく知りたい場合は、「12のGPT-4オープンソース代替案」の記事をご覧ください。

本稿では、Meta AIのLLaMAモデル、その機能、そしてtransformersライブラリを通じたアクセス方法を検討します。また、性能比較、主要な課題の指摘、限界の探求も行います。この記事執筆後、Meta AIはLLaMA 2およびLLaMA 3を発表しており、それぞれ専用の記事でさらに詳細な情報を提供しています。

LLaMAを理解する：Meta AIの大型言語モデル

LLaMA（Large Language Model Meta AI）は、70億から650億パラメータまでの最先端基盤言語モデルのシリーズです。コンパクトでありながら、研究者や開発者が実験、既存作業の検証、革新的なアプリケーションの探索を行う際の計算負荷を大幅に軽減し、卓越した性能を発揮します。

これらの基盤モデルは、大規模なラベルなしデータセットで学習されており、さまざまなタスクへのファインチューニングに非常に適応可能です。トレーニングデータの出典には以下が含まれます：

• 67.0% CommonCrawl
• 15.0% C4
• 4.5% GitHub
• 4.5% Wikipedia
• 4.5% 書籍
• 2.5% ArXiv
• 2.0% StackExchange

この多様なデータセットのおかげで、LLaMAモデルはChinchilla-70BやPaLM-540Bのような最先端モデルに匹敵する性能を達成し、現存する最も優れたAI言語モデルの一つとしての地位を確立しています。

MetaのLLaMAモデルを理解する

LLaMAはトランスフォーマーアーキテクチャに基づく自己回帰型言語モデルです。他の高度なモデルと同様に、単語のシーケンスを入力として処理し、次の単語を予測することで再帰的なテキスト生成を可能にします。

LLaMAの特長は、ブルガリア語、カタルーニャ語、チェコ語、デンマーク語、ドイツ語、英語、スペイン語、フランス語、クロアチア語、ハンガリー語、イタリア語、オランダ語、ポーランド語、ポルトガル語、ルーマニア語、ロシア語、スロベニア語、セルビア語、スウェーデン語、ウクライナ語など複数の言語で公開テキストデータに基づき広範に学習されている点です。2024年にLLaMA 2が登場し、アーキテクチャとトレーニング手法の改良により、効率性と多言語能力がさらに向上しました。

7B、13B、33B、65Bの異なるサイズで提供され、LLaMAモデルはHugging Face（Transformers対応）や公式リポジトリ facebookresearch/llama からアクセス可能です。

LLaMAモデルの使い始め

公式の推論コードは facebookresearch/llama リポジトリで提供されていますが、ここではHugging Face transformersライブラリを使ってモデルをロードし、テキストを生成します。

1. 必要なライブラリのインストール

Google Colabを使ってLLaMAの推論を実行します。

%%capture
%pip install transformers SentencePiece accelerate

2. LLaMAトークンとモデルウェイトのロード

注意：'decapoda-research/llama-7b-hf' は公式モデルウェイトではありません。Decapoda ResearchはオリジナルモデルをTransformersライブラリで動作するように調整しています。

import transformers, torch
from transformers import LlamaTokenizer, LlamaForCausalLM, GenerationConfig

tokenizer = LlamaTokenizer.from_pretrained("decapoda-research/llama-7b-hf")
model = LlamaForCausalLM.from_pretrained(
        "decapoda-research/llama-7b-hf",
        load_in_8bit=False,
        torch_dtype=torch.float16,
        device_map="auto",
    )

3. 質問の定義

4. テキストをトークンに変換

5. モデル生成設定の指定

6. テキスト出力の生成

7. 応答のデコードと表示

instruction = "What is the speed of light?"
inputs = tokenizer(
    f"""Below is an instruction that describes a task. Write a response that appropriately completes the request.
### Instruction: {instruction}
### Response:""",
    return_tensors="pt",
)
input_ids = inputs["input_ids"].to("cuda")

generation_config = transformers.GenerationConfig(
    do_sample=True,
    temperature=0.1,
    top_p=0.75,
    top_k=80,
    repetition_penalty=1.5,
    max_new_tokens=128,
)

with torch.no_grad():
    generation_output = model.generate(
        input_ids=input_ids,
        attention_mask=torch.ones_like(input_ids),
        generation_config=generation_config,
    )
output_text = tokenizer.decode(
    generation_output[0].cuda(), skip_special_tokens=True
).strip()
print(output_text)

出力：

モデルは真空中の光速がおおよそ299,792,458メートル/秒であることを正確に判断しました。

Below is an instruction that describes a task. Write a response that appropriately completes the request.
### Instruction: What is the speed of light?
### Response: The speed of light in a vacuum is exactly 299,792,458 meters per second (approximately 186,282 miles per second). This value is a fundamental constant in physics and plays a crucial role in theories like relativity. Scientists have verified this speed through numerous experiments over the years.

LLaMAモデルはTransformersライブラリと共に、様々なタスクやデータセット向けにファインチューニング可能で、精度と性能を大幅に向上させます。

LLaMAは他のAIモデルとどう違うのか？

論文では、LLaMAモデルとGPT-3、GPT-NeoX、Gopher、Chinchilla、PaLMなどの最先端言語モデルとの詳細な比較が行われています。ベンチマークテストでは、常識推論、トリビア、読解力、質問応答、数学問題解決、コード生成、ドメイン知識などの性能が評価されました。

常識推論

PIQA、SIQA、OpenBookQAのベンチマークテストでは、LLaMA-65Bモデルが他の最先端アーキテクチャを上回りました。さらに、LLaMA-33Bの小型モデルでも、ARC（簡単・難問両方）で競合モデルに対して優れた結果を示しました。

クローズドブック質問応答とトリビア

現実的な質問の解釈と応答能力の評価において、LLaMAはNatural QuestionsやTriviaQAでGPT-3、Gopher、Chinchilla、PaLMを一貫して上回りました。

読解力

RACE-middleおよびRACE-highベンチマークで、LLaMAはGPT-3より優れた性能を示し、PaLM 540Bと同等の結果を示しました。

数学的推論

LLaMAは数学データでファインチューニングされていないため、この分野では期待を下回り、Minervaに劣りました。

コード生成

HumanEvalおよびMBPPベンチマークで評価した結果、LLaMAはHumanEval@100、MBP@1、MBP@80でLAMDAやPaLMを上回るスコアを達成しました。

ドメイン知識

広範なドメイン知識に関しては、LLaMAモデルはパラメータ数が大幅に多いPaLM 540Bには及びませんでした。

LLaMAの課題と制限

他の大型言語モデルと同様に、LLaMAは時折誤情報や誤解を招く情報を生成することがあります（幻覚）。

それ以外にもいくつかの課題があります：

• 言語の制約：学習データの大部分が英語であるため、他言語での性能は必ずしも高くありません。
• 研究目的の使用：LLaMAは主に研究目的向けに非商用ライセンスで設計されています。リリースの目的は、研究者がバイアス、リスク、有害コンテンツ、幻覚、モデル安全性に関する問題に対処できるよう支援することです。
• 商用利用には不向き：LLaMAはベースモデルとして、リスク評価と緩和策なしにアプリケーションで使用すべきではありません。
• 数学的・ドメイン固有推論の弱さ：複雑な数学問題に弱く、特定領域の専門知識も不足しています。

AIの進展、OpenAIやGoogle AIの影響を含む洞察については、「The Latest On OpenAI, Google AI, and What It Means for Data Science」をご覧ください。言語、ビジョン、マルチモーダル技術の最先端の進歩が生産性と効率性を向上させる様子を紹介しています。

LLaMA 2およびLLaMA 3のリリースにより新たな制限が確認されましたが、文脈長の拡張やファインチューニングによる適応性の改善などが行われています。研究は続いており、AIコミュニティはモデルの堅牢性と実用性向上に取り組んでいます。

結論

LLaMAモデルの登場は、オープンソースAI研究における変革の時代を切り開きました。特に、コンパクトなLLaMA-3およびLLaMA-4モデルはGPT-3やGPT-4を上回り、大型のLLaMA-65BはChinchilla-70BやPaLM-540Bと同等の性能を示しています。これらの成果は、公開データセットと最小限の計算リソースでトップレベルの性能を達成可能であることを示しています。

さらに、指示ベースのファインチューニングがLLaMAの性能向上に与える影響も強調されています。VicunaやStanford Alpacaのようなモデルは、指示フォロー型データセットで改善され、ChatGPTやBardと同等の結果を示し、この手法の大きな可能性を示しています。

タグ: チャット LLaMA 無料オンライン, 無料 LLaMA 3, LLaMA 3.3, LLaMA 4オンライン, 70b

We use cookies to enhance your experience and provide personalized content. By accepting, you help us improve our services. Do you accept? Manage settings Yes, Accept Cookies