Бесплатный чат LlaMA онлайн — без регистрации

Мы живем в необычную эпоху, когда инициативы с открытым исходным кодом, поддерживаемые увлеченными сообществами, конкурируют с дорогими проприетарными решениями от крупных технологических компаний. Ярким примером этого прогресса является рост компактных, но высокоэффективных языковых моделей, таких как Vicuna, Koala, Alpaca и StableLM. Эти модели достигают уровня производительности, сопоставимого с ChatGPT, при минимальных вычислительных ресурсах. Их объединяет использование моделей LLaMA от Meta AI в качестве основы.

Для более глубокого изучения других заметных достижений в области открытых языковых технологий ознакомьтесь с нашей статьей о 12 альтернативных GPT-4 с открытым исходным кодом.

В этом обзоре мы рассмотрим модели LLaMA от Meta AI, их возможности и способы доступа через библиотеку transformers. Мы также сравним их производительность, выделим ключевые проблемы и исследуем ограничения. С момента написания статьи Meta AI представила LLaMA 2 и LLaMA 3 — каждая из которых описана в отдельных статьях с дополнительными подробностями.

Понимание LLaMA: крупная языковая модель Meta AI

LLaMA (Large Language Model Meta AI) — серия передовых фундаментальных языковых моделей размером от 7 до 65 миллиардов параметров. Несмотря на компактность, эти модели демонстрируют выдающуюся производительность, снижая вычислительные затраты для исследователей и разработчиков, позволяя экспериментировать, проверять существующие решения и создавать инновационные приложения.

Эти фундаментальные модели обучены на обширных неразмеченных наборах данных, что делает их легко адаптируемыми для дообучения по различным задачам. Источники данных для обучения включают:

• 67,0% CommonCrawl
• 15,0% C4
• 4,5% GitHub
• 4,5% Wikipedia
• 4,5% Книги
• 2,5% ArXiv
• 2,0% StackExchange

Благодаря такому разнообразному набору данных модели LLaMA достигли производительности на уровне ведущих моделей, таких как Chinchilla-70B и PaLM-540B, укрепив свое место среди лучших доступных языковых моделей ИИ.

Понимание модели LLaMA от Meta

LLaMA — автрорегрессионная языковая модель, основанная на архитектуре трансформера. Подобно другим передовым моделям, она обрабатывает последовательность слов на входе и предсказывает следующее слово, обеспечивая рекурсивную генерацию текста.

Особенность LLaMA заключается в обширном обучении на общедоступных текстовых данных на нескольких языках, включая болгарский, каталонский, чешский, датский, немецкий, английский, испанский, французский, хорватский, венгерский, итальянский, нидерландский, польский, португальский, румынский, русский, словенский, сербский, шведский и украинский. С выпуском LLaMA 2 в 2024 году улучшения в архитектуре и методах обучения повысили эффективность и многоязычные возможности модели.

Доступные в различных размерах — 7B, 13B, 33B и 65B параметров — модели LLaMA можно использовать через Hugging Face (для совместимости с Transformers) или через официальный репозиторий facebookresearch/llama.

Начало работы с моделями LLaMA

Официальный код для инференса доступен в репозитории facebookresearch/llama, но для упрощения мы будем использовать библиотеку Hugging Face transformers для загрузки модели и генерации текста.

1. Установите необходимые библиотеки

Мы будем запускать инференс LLaMA с помощью Google Colab.

%%capture
%pip install transformers SentencePiece accelerate

2. Загрузите токены LLaMA и веса модели

Примечание: 'decapoda-research/llama-7b-hf' не является официальным весом модели. Decapoda Research адаптировала оригинальную модель для работы с библиотекой Transformers.

import transformers, torch
from transformers import LlamaTokenizer, LlamaForCausalLM, GenerationConfig

tokenizer = LlamaTokenizer.from_pretrained("decapoda-research/llama-7b-hf")
model = LlamaForCausalLM.from_pretrained(
        "decapoda-research/llama-7b-hf",
        load_in_8bit=False,
        torch_dtype=torch.float16,
        device_map="auto",
    )

3. Определите вопрос

4. Преобразуйте текст в токены

5. Настройте конфигурацию генерации модели

6. Сгенерируйте текстовый результат

7. Декодируйте и выведите ответ

instruction = "What is the speed of light?"
inputs = tokenizer(
    f"""Below is an instruction that describes a task. Write a response that appropriately completes the request.
### Instruction: {instruction}
### Response:""",
    return_tensors="pt",
)
input_ids = inputs["input_ids"].to("cuda")

generation_config = transformers.GenerationConfig(
    do_sample=True,
    temperature=0.1,
    top_p=0.75,
    top_k=80,
    repetition_penalty=1.5,
    max_new_tokens=128,
)

with torch.no_grad():
    generation_output = model.generate(
        input_ids=input_ids,
        attention_mask=torch.ones_like(input_ids),
        generation_config=generation_config,
    )
output_text = tokenizer.decode(
    generation_output[0].cuda(), skip_special_tokens=True
).strip()
print(output_text)

Результат:

Модель точно определяет, что скорость света в вакууме примерно 299 792 458 метров в секунду.

Below is an instruction that describes a task. Write a response that appropriately completes the request.
### Instruction: What is the speed of light?
### Response: The speed of light in a vacuum is exactly 299,792,458 meters per second (approximately 186,282 miles per second). This value is a fundamental constant in physics and plays a crucial role in theories like relativity. Scientists have verified this speed through numerous experiments over the years.

Модель LLaMA вместе с библиотекой Transformers также может быть дообучена для различных задач и наборов данных, значительно повышая точность и производительность.

Чем LLaMA выделяется среди других моделей ИИ?

В исследовательской статье представлено подробное сравнение моделей LLaMA с ведущими языковыми моделями, такими как GPT-3, GPT-NeoX, Gopher, Chinchilla и PaLM. Были проведены различные бенчмарки для оценки их производительности в областях здравого смысла, викторин, понимания текста, ответов на вопросы, решения математических задач, генерации кода и знаний по конкретным областям.

Здравый смысл

В тестах PIQA, SIQA и OpenBookQA модель LLaMA-65B превзошла другие передовые архитектуры. Кроме того, даже более компактная LLaMA-33B показала отличные результаты в ARC (легкие и сложные задания) по сравнению с аналогами.

Ответы на вопросы без открытой книги и викторины

Оценивая способность модели интерпретировать и отвечать на реальные вопросы, LLaMA стабильно превосходила GPT-3, Gopher, Chinchilla и PaLM в тестах Natural Questions и TriviaQA.

Понимание прочитанного

В тестах RACE-middle и RACE-high LLaMA показала лучшую производительность, чем GPT-3, и результаты, сопоставимые с PaLM 540B.

Математическое мышление

Поскольку LLaMA не была дообучена на математических данных, она показала результаты ниже ожиданий в этой области, уступая Minerva.

Генерация кода

Оценка по бенчмаркам HumanEval и MBPP показала, что LLaMA получила более высокие результаты, чем LAMDA и PaLM в HumanEval@100, MBP@1 и MBP@80.

Знания в конкретных областях

В области обширных знаний LLaMA уступает модели PaLM 540B, которая использует значительно больше параметров.

Проблемы и ограничения LLaMA

Как и другие крупные языковые модели, LLaMA подвержена галлюцинациям, иногда генерируя неточную или вводящую в заблуждение информацию.

Кроме того, существуют несколько других проблем:

• Языковые ограничения: Так как большинство обучающих данных на английском языке, производительность LLaMA на других языках может быть ниже.
• Использование для исследований: LLaMA предназначена в основном для исследовательских целей и распространяется по некоммерческой лицензии. Цель выпуска — помочь исследователям выявлять предвзятости, риски и вопросы, связанные с токсичным контентом, галлюцинациями и безопасностью модели.
• Не готова к промышленному применению: В качестве базовой модели LLaMA не следует использовать в приложениях без тщательной оценки рисков и стратегий их снижения.
• Слабость в математическом и специализированном мышлении: Модель испытывает трудности с решением сложных математических задач и не обладает глубокими знаниями в отдельных областях.

Для информации о последних разработках в ИИ, включая OpenAI, Google AI и их влияние на Data Science, ознакомьтесь с материалом «The Latest On OpenAI, Google AI, and What It Means for Data Science». Блог рассматривает передовые достижения в языковых, визуальных и мультимодальных технологиях, повышающих продуктивность и эффективность.

С выпуском LLaMA 2 и LLaMA 3 были выявлены новые ограничения, однако были внесены улучшения, особенно в длине контекста и адаптируемости через дообучение. В ходе исследований сообщество ИИ активно работает над повышением надежности и практической применимости этих моделей.

Заключение

Появление моделей LLaMA открыло трансформационную эпоху в исследованиях открытого ИИ. В частности, компактная модель LlaMA-3 и LlaMA-4 превосходит GPT-3 и GPT-4, тогда как более крупная LLaMA-65B демонстрирует возможности на уровне продвинутых моделей, таких как Chinchilla-70B и PaLM-540B. Эти достижения подчеркивают возможность достижения топовой производительности с использованием общедоступных наборов данных и минимальной вычислительной мощности.

Кроме того, исследование подчеркивает влияние дообучения на основе инструкций на производительность LLaMA. Модели, такие как Vicuna и Stanford Alpaca, доработанные с использованием инструкционных наборов данных, показали результаты, сопоставимые с ChatGPT и Bard, демонстрируя огромный потенциал этого подхода.

Теги: чат llama бесплатно онлайн, бесплатная llama 3, llama 3.3, llama 4 онлайн, 70b