Chat LLaMA miễn phí trực tuyến - Không cần đăng nhập

Chúng ta đang sống trong một thời đại phi thường, nơi các sáng kiến mã nguồn mở, được hỗ trợ bởi các cộng đồng đam mê, sánh ngang với các giải pháp độc quyền đắt đỏ từ các tập đoàn công nghệ lớn. Một ví dụ điển hình của tiến bộ này là sự xuất hiện của các mô hình ngôn ngữ nhỏ gọn nhưng hiệu quả cao như Vicuna, Koala, Alpaca và StableLM. Những mô hình này đạt hiệu suất tương đương với ChatGPT trong khi chỉ sử dụng tài nguyên tính toán tối thiểu. Điểm chung của chúng là được xây dựng trên nền tảng các mô hình LLaMA của Meta AI.

Để tìm hiểu sâu hơn về các tiến bộ mã nguồn mở đáng chú ý khác trong công nghệ ngôn ngữ, hãy xem bài viết của chúng tôi về 12 giải pháp thay thế GPT-4 mã nguồn mở.

Trong bài viết này, chúng ta sẽ xem xét các mô hình LLaMA của Meta AI, khả năng của chúng và cách truy cập chúng thông qua thư viện transformers. Chúng ta cũng sẽ so sánh hiệu suất, nêu bật các thách thức chính và khám phá các giới hạn của chúng. Kể từ khi bài viết này được viết, Meta AI đã giới thiệu cả LLaMA 2 và LLaMA 3 — mỗi phiên bản đều được trình bày trong các bài viết riêng với những phân tích sâu hơn.

Hiểu về LLaMA: Mô hình Ngôn ngữ Lớn của Meta AI

LLaMA (Large Language Model Meta AI) là một loạt các mô hình ngôn ngữ cơ bản tiên tiến, có kích thước từ 7 tỷ đến 65 tỷ tham số. Mặc dù nhỏ gọn, các mô hình này vẫn mang lại hiệu suất xuất sắc, giảm nhu cầu tính toán cho các nhà nghiên cứu và lập trình viên khi thử nghiệm, xác minh công trình hiện có và khám phá các ứng dụng sáng tạo.

Các mô hình cơ bản này được huấn luyện trên các tập dữ liệu không gán nhãn rộng lớn, giúp chúng dễ dàng tinh chỉnh cho nhiều nhiệm vụ khác nhau. Các nguồn dữ liệu huấn luyện bao gồm:

• 67,0% CommonCrawl
• 15,0% C4
• 4,5% GitHub
• 4,5% Wikipedia
• 4,5% Sách
• 2,5% ArXiv
• 2,0% StackExchange

Nhờ tập dữ liệu đa dạng này, các mô hình LLaMA đạt hiệu suất tương đương với các mô hình hàng đầu như Chinchilla-70B và PaLM-540B, khẳng định vị thế của chúng trong số các mô hình ngôn ngữ AI có hiệu suất cao nhất hiện nay.

Hiểu về mô hình LLaMA của Meta

LLaMA là một mô hình ngôn ngữ tự hồi quy dựa trên kiến trúc transformer. Tương tự như các mô hình tiên tiến khác, nó xử lý một chuỗi từ làm đầu vào và dự đoán từ tiếp theo, cho phép tạo văn bản theo phương thức đệ quy.

Điểm đặc biệt của LLaMA là được huấn luyện trên dữ liệu văn bản công khai đa ngôn ngữ, bao gồm tiếng Bulgaria, Catalan, Czech, Đan Mạch, Đức, Anh, Tây Ban Nha, Pháp, Croatia, Hungary, Ý, Hà Lan, Ba Lan, Bồ Đào Nha, Romania, Nga, Slovenia, Serbia, Thụy Điển và Ukraina. Với sự ra mắt của LLaMA 2 vào năm 2024, các cải tiến về kiến trúc và kỹ thuật huấn luyện đã tăng cường hiệu quả và khả năng đa ngôn ngữ của mô hình.

Các mô hình LLaMA có sẵn với các kích thước khác nhau — 7B, 13B, 33B và 65B tham số — có thể truy cập qua Hugging Face (tương thích với Transformers) hoặc thông qua kho chính thức tại facebookresearch/llama.

Bắt đầu với các mô hình LLaMA

Mã suy luận chính thức có sẵn trong kho facebookresearch/llama, nhưng để đơn giản hóa, chúng ta sẽ sử dụng thư viện Hugging Face transformers để tải mô hình và tạo văn bản.

1. Cài đặt các Thư viện Cần thiết

Chúng ta sẽ chạy suy luận LLaMA bằng Google Colab.

%%capture
%pip install transformers SentencePiece accelerate

2. Tải Token và Trọng số Mô hình LLaMA

Lưu ý: 'decapoda-research/llama-7b-hf' không phải là trọng số mô hình chính thức. Decapoda Research đã điều chỉnh mô hình gốc để hoạt động với thư viện Transformers.

import transformers, torch
from transformers import LlamaTokenizer, LlamaForCausalLM, GenerationConfig

tokenizer = LlamaTokenizer.from_pretrained("decapoda-research/llama-7b-hf")
model = LlamaForCausalLM.from_pretrained(
        "decapoda-research/llama-7b-hf",
        load_in_8bit=False,
        torch_dtype=torch.float16,
        device_map="auto",
    )

3. Xác định Câu hỏi

4. Chuyển Văn bản thành Token

5. Cấu hình Tạo văn bản cho Mô hình

6. Tạo Văn bản Đầu ra

7. Giải mã và In phản hồi

instruction = "What is the speed of light?"
inputs = tokenizer(
    f"""Below is an instruction that describes a task. Write a response that appropriately completes the request.
### Instruction: {instruction}
### Response:""",
    return_tensors="pt",
)
input_ids = inputs["input_ids"].to("cuda")

generation_config = transformers.GenerationConfig(
    do_sample=True,
    temperature=0.1,
    top_p=0.75,
    top_k=80,
    repetition_penalty=1.5,
    max_new_tokens=128,
)

with torch.no_grad():
    generation_output = model.generate(
        input_ids=input_ids,
        attention_mask=torch.ones_like(input_ids),
        generation_config=generation_config,
    )
output_text = tokenizer.decode(
    generation_output[0].cuda(), skip_special_tokens=True
).strip()
print(output_text)

Kết quả:

Mô hình xác định chính xác rằng tốc độ ánh sáng trong chân không khoảng 299.792.458 mét mỗi giây.

Below is an instruction that describes a task. Write a response that appropriately completes the request.
### Instruction: What is the speed of light?
### Response: The speed of light in a vacuum is exactly 299,792,458 meters per second (approximately 186,282 miles per second). This value is a fundamental constant in physics and plays a crucial role in theories like relativity. Scientists have verified this speed through numerous experiments over the years.

Mô hình LLaMA, cùng với thư viện Transformers, cũng có thể được tinh chỉnh cho nhiều nhiệm vụ và tập dữ liệu khác nhau, cải thiện đáng kể độ chính xác và hiệu suất.

Điểm nổi bật của LLaMA so với các mô hình AI khác là gì?

Bài báo nghiên cứu cung cấp so sánh chi tiết các mô hình LLaMA với các mô hình ngôn ngữ hàng đầu như GPT-3, GPT-NeoX, Gopher, Chinchilla và PaLM. Nhiều bài kiểm tra chuẩn được thực hiện để đánh giá hiệu suất trong các lĩnh vực như suy luận thông thường, kiến thức đố vui, đọc hiểu, trả lời câu hỏi, giải quyết vấn đề toán học, tạo mã và kiến thức chuyên môn.

Suy luận Thông thường

Trong các bài kiểm tra chuẩn như PIQA, SIQA và OpenBookQA, mô hình LLaMA-65B vượt trội hơn các kiến trúc tiên tiến khác. Ngoài ra, ngay cả mô hình nhỏ hơn LLaMA-33B cũng xuất sắc trong ARC (cả dễ và khó) so với các đối thủ.

Trả lời Câu hỏi và Đố Vui đóng sách

Đánh giá khả năng giải thích và trả lời các câu hỏi thực tế, LLaMA liên tục vượt trội hơn GPT-3, Gopher, Chinchilla và PaLM trong các bài kiểm tra Natural Questions và TriviaQA.

Đọc hiểu

Sử dụng các bài kiểm tra chuẩn RACE-middle và RACE-high, LLaMA thể hiện hiệu suất tốt hơn GPT-3 và đạt kết quả tương đương với PaLM 540B.

Suy luận Toán học

Do LLaMA không được tinh chỉnh trên dữ liệu toán học, nó hoạt động dưới kỳ vọng trong lĩnh vực này, tụt sau Minerva.

Tạo mã

Được đánh giá thông qua các bài kiểm tra HumanEval và MBPP, LLaMA đạt điểm cao hơn LAMDA và PaLM trong HumanEval@100, MBP@1 và MBP@80.

Kiến thức Chuyên môn

Về kiến thức rộng, các mô hình LLaMA kém hơn so với PaLM 540B, vốn có số lượng tham số lớn hơn đáng kể.

Thách thức và Giới hạn của LLaMA

Giống như các mô hình ngôn ngữ lớn khác, LLaMA có xu hướng tạo thông tin không chính xác hoặc gây hiểu lầm (hallucination).

Bên cạnh đó, còn có một số thách thức khác:

• Giới hạn Ngôn ngữ: Do phần lớn dữ liệu huấn luyện là tiếng Anh, hiệu suất của LLaMA trong các ngôn ngữ khác có thể không mạnh.
• Sử dụng Tập trung Nghiên cứu: LLaMA được thiết kế chủ yếu cho mục đích nghiên cứu theo giấy phép phi thương mại. Việc phát hành nhằm giúp các nhà nghiên cứu giải quyết các vấn đề về định kiến, rủi ro và nội dung độc hại, hallucinaton và an toàn mô hình.
• Không sẵn sàng cho Sản xuất: Là mô hình cơ bản, LLaMA không nên được sử dụng trong ứng dụng mà không có đánh giá rủi ro và chiến lược giảm thiểu kỹ lưỡng.
• Yếu trong Suy luận Toán học và Chuyên ngành: Mô hình gặp khó khăn với các bài toán toán học phức tạp và thiếu chuyên môn sâu trong các lĩnh vực cụ thể.

Để hiểu thêm về các phát triển trong AI, bao gồm OpenAI, Google AI và tác động của chúng tới khoa học dữ liệu, hãy xem bài viết The Latest On OpenAI, Google AI, and What It Means for Data Science. Blog khám phá các tiến bộ tiên tiến trong ngôn ngữ, thị giác và công nghệ đa phương tiện, giúp nâng cao năng suất và hiệu quả.

Với việc ra mắt LLaMA 2 và LLaMA 3, các giới hạn mới đã được xác định, mặc dù các cải tiến đã được thực hiện, đặc biệt về độ dài ngữ cảnh và khả năng thích ứng thông qua tinh chỉnh. Khi nghiên cứu tiếp tục, cộng đồng AI đang nỗ lực nâng cao tính ổn định và khả năng ứng dụng thực tế của các mô hình này.

Kết luận

Sự xuất hiện của các mô hình LLaMA đã mở ra một kỷ nguyên biến đổi trong nghiên cứu AI mã nguồn mở. Đặc biệt, các mô hình nhỏ gọn LLaMA-3 và LLaMA-4 vượt trội hơn GPT-3 và GPT-4, trong khi LLaMA-65B lớn hơn thể hiện khả năng tương đương với các mô hình tiên tiến như Chinchilla-70B và PaLM-540B. Những đột phá này nhấn mạnh khả năng đạt hiệu suất hàng đầu bằng cách sử dụng dữ liệu công khai và tài nguyên tính toán tối thiểu.

Hơn nữa, nghiên cứu nhấn mạnh tác động của việc tinh chỉnh theo hướng dẫn (instruction-based fine-tuning) trong việc nâng cao hiệu suất của LLaMA. Các mô hình như Vicuna và Stanford Alpaca, được tinh chỉnh dựa trên tập dữ liệu theo hướng dẫn, đã đạt kết quả tương đương với ChatGPT và Bard, cho thấy tiềm năng to lớn của phương pháp này.

Thẻ: chat llama miễn phí trực tuyến, llama 3 miễn phí, llama 3.3, llama 4 trực tuyến, 70b