Chat LLaMA gratuito online - Não é necessário login

Estamos vivendo em uma era extraordinária, onde iniciativas de código aberto, impulsionadas por comunidades apaixonadas, competem de igual para igual com soluções proprietárias caras de gigantes da tecnologia. Um exemplo claro desse progresso é o surgimento de modelos de linguagem compactos, mas altamente eficazes, como Vicuna, Koala, Alpaca e StableLM. Esses modelos alcançam níveis de desempenho comparáveis ao ChatGPT, operando com recursos computacionais mínimos. O que os une é sua base nos modelos LLaMA da Meta AI.

Para um mergulho mais profundo em outros avanços notáveis de código aberto em tecnologias de linguagem, confira nosso artigo sobre as 12 alternativas de código aberto ao GPT-4.

Nesta discussão, examinaremos os modelos LLaMA da Meta AI, suas capacidades e como acessá-los via a biblioteca Transformers. Também compararemos seu desempenho, destacaremos os principais desafios e exploraremos suas limitações. Desde a redação deste artigo, a Meta AI lançou tanto o LLaMA 2 quanto o LLaMA 3—cada um abordado em artigos dedicados com mais insights.

Entendendo o LLaMA: Modelo de Linguagem Avançado da Meta AI

LLaMA (Large Language Model Meta AI) é uma série de modelos de linguagem de base de ponta, com tamanhos que variam de 7 bilhões a 65 bilhões de parâmetros. Apesar de sua natureza compacta, esses modelos entregam desempenho excepcional, reduzindo as demandas computacionais para que pesquisadores e desenvolvedores possam experimentar, verificar trabalhos existentes e explorar aplicações inovadoras.

Esses modelos de base foram treinados em grandes conjuntos de dados não rotulados, tornando-os altamente adaptáveis para fine-tuning em diversas tarefas. As fontes de dados de treinamento incluem:

• 67,0% CommonCrawl
• 15,0% C4
• 4,5% GitHub
• 4,5% Wikipedia
• 4,5% Livros
• 2,5% ArXiv
• 2,0% StackExchange

Graças a esse conjunto de dados diversificado, os modelos LLaMA alcançaram desempenho comparável aos melhores modelos, como Chinchilla-70B e PaLM-540B, consolidando seu lugar entre os melhores modelos de linguagem de IA disponíveis atualmente.

Entendendo o Modelo LLaMA da Meta

LLaMA é um modelo de linguagem auto-regressivo baseado na arquitetura transformer. Semelhante a outros modelos avançados, ele processa uma sequência de palavras como entrada e prevê a próxima palavra, permitindo a geração recursiva de texto.

O que torna o LLaMA único é seu extenso treinamento em dados de texto publicamente disponíveis em múltiplos idiomas, incluindo búlgaro, catalão, tcheco, dinamarquês, alemão, inglês, espanhol, francês, croata, húngaro, italiano, holandês, polonês, português, romeno, russo, esloveno, sérvio, sueco e ucraniano. Com a introdução do LLaMA 2 em 2024, melhorias na arquitetura e nas técnicas de treinamento fortaleceram ainda mais sua eficiência e proficiência multilíngue.

Disponíveis em diferentes tamanhos—7B, 13B, 33B e 65B parâmetros—os modelos LLaMA podem ser acessados via Hugging Face (para compatibilidade com Transformers) ou através do repositório oficial facebookresearch/llama.

Começando com os Modelos LLaMA

O código oficial de inferência está disponível no repositório facebookresearch/llama, mas, para simplificar, usaremos a biblioteca Transformers da Hugging Face para carregar o modelo e gerar texto.

1. Instalar Bibliotecas Necessárias

Executaremos a inferência do LLaMA usando o Google Colab.

%%capture
%pip install transformers SentencePiece accelerate

2. Carregar Tokens e Pesos do Modelo LLaMA

Nota: 'decapoda-research/llama-7b-hf' não é o peso oficial do modelo. A Decapoda Research adaptou o modelo original para funcionar com a biblioteca Transformers.

import transformers, torch
from transformers import LlamaTokenizer, LlamaForCausalLM, GenerationConfig

tokenizer = LlamaTokenizer.from_pretrained("decapoda-research/llama-7b-hf")
model = LlamaForCausalLM.from_pretrained(
        "decapoda-research/llama-7b-hf",
        load_in_8bit=False,
        torch_dtype=torch.float16,
        device_map="auto",
    )

3. Definir a Pergunta

4. Converter Texto em Tokens

5. Configurar a Geração de Texto do Modelo

6. Gerar Saída de Texto

7. Decodificar e Imprimir a Resposta

instruction = "What is the speed of light?"
inputs = tokenizer(
    f"""Below is an instruction that describes a task. Write a response that appropriately completes the request.
### Instruction: {instruction}
### Response:""",
    return_tensors="pt",
)
input_ids = inputs["input_ids"].to("cuda")

generation_config = transformers.GenerationConfig(
    do_sample=True,
    temperature=0.1,
    top_p=0.75,
    top_k=80,
    repetition_penalty=1.5,
    max_new_tokens=128,
)

with torch.no_grad():
    generation_output = model.generate(
        input_ids=input_ids,
        attention_mask=torch.ones_like(input_ids),
        generation_config=generation_config,
    )
output_text = tokenizer.decode(
    generation_output[0].cuda(), skip_special_tokens=True
).strip()
print(output_text)

Saída:

O modelo determina corretamente que a velocidade da luz no vácuo é aproximadamente 299.792.458 metros por segundo.

Below is an instruction that describes a task. Write a response that appropriately completes the request.
### Instruction: What is the speed of light?
### Response: The speed of light in a vacuum is exactly 299,792,458 meters per second (approximately 186,282 miles per second). This value is a fundamental constant in physics and plays a crucial role in theories like relativity. Scientists have verified this speed through numerous experiments over the years.

O modelo LLaMA, juntamente com a biblioteca Transformers, também pode ser ajustado para várias tarefas e conjuntos de dados, melhorando significativamente a precisão e o desempenho.

Como o LLaMA se Destaca em Relação a Outros Modelos de IA?

O artigo de pesquisa oferece uma comparação detalhada dos modelos LLaMA com modelos de linguagem de ponta, como GPT-3, GPT-NeoX, Gopher, Chinchilla e PaLM. Vários testes de benchmark foram conduzidos para avaliar o desempenho em áreas como raciocínio de senso comum, trivia, compreensão de leitura, resposta a perguntas, resolução de problemas matemáticos, geração de código e conhecimento de domínio.

Raciocínio de Senso Comum

Em testes de benchmark como PIQA, SIQA e OpenBookQA, o modelo LLaMA-65B superou outras arquiteturas de ponta. Além disso, mesmo o menor LLaMA-33B se destacou no ARC (fácil e difícil) em comparação aos seus pares.

Perguntas e Trivia de Livro Fechado

Ao avaliar a capacidade do modelo de interpretar e responder a perguntas realistas, o LLaMA superou consistentemente GPT-3, Gopher, Chinchilla e PaLM nas avaliações Natural Questions e TriviaQA.

Compreensão de Leitura

Usando os testes de benchmark RACE-middle e RACE-high, o LLaMA demonstrou desempenho superior ao GPT-3 e resultados comparáveis ao PaLM 540B.

Raciocínio Matemático

Como o LLaMA não foi ajustado para dados matemáticos, seu desempenho nesse domínio ficou abaixo do esperado, ficando atrás do Minerva.

Geração de Código

Avaliado através dos benchmarks HumanEval e MBPP, o LLaMA obteve pontuações superiores a LAMDA e PaLM em HumanEval@100, MBP@1 e MBP@80.

Conhecimento de Domínio

Quando se trata de conhecimento amplo de domínio, os modelos LLaMA ficaram aquém em comparação ao extenso modelo PaLM 540B, que se beneficia de um número significativamente maior de parâmetros.

Desafios e Limitações do LLaMA

Como outros grandes modelos de linguagem, o LLaMA é propenso a alucinações, gerando às vezes informações imprecisas ou enganosas.

Além disso, existem vários outros desafios:

• Limitações Linguísticas: Como a maioria dos dados de treinamento está em inglês, o desempenho do LLaMA em outros idiomas pode não ser tão forte.
• Uso Focado em Pesquisa: O LLaMA é projetado principalmente para fins de pesquisa sob uma licença não comercial. Seu lançamento visa ajudar pesquisadores a abordar vieses, riscos e problemas relacionados a conteúdo tóxico, alucinações e segurança do modelo.
• Não Pronto para Produção: Como modelo base, o LLaMA não deve ser usado em aplicações sem avaliação completa de riscos e estratégias de mitigação.
• Fraqueza em Raciocínio Matemático e de Domínio Específico: O modelo tem dificuldades com problemas matemáticos complexos e carece de expertise profunda em domínios específicos.

Para insights sobre desenvolvimentos em IA, incluindo OpenAI, Google AI e seu impacto na ciência de dados, confira The Latest On OpenAI, Google AI, and What It Means for Data Science. O blog explora avanços de ponta em tecnologias de linguagem, visão e multimodalidade que aumentam produtividade e eficiência.

Com o lançamento do LLaMA 2 e LLaMA 3, novas limitações foram identificadas, embora melhorias tenham sido feitas, especialmente no comprimento de contexto e na adaptabilidade por meio de fine-tuning. À medida que a pesquisa continua, a comunidade de IA trabalha ativamente para aprimorar a robustez e a usabilidade real desses modelos.

Conclusão

O surgimento dos modelos LLaMA inaugurou uma era transformadora na pesquisa de IA de código aberto. Notavelmente, o compacto LLaMA-3 e LLaMA-4 supera o GPT-3 e GPT-4, enquanto o maior LLaMA-65B demonstra capacidades comparáveis a modelos avançados como Chinchilla-70B e PaLM-540B. Esses avanços destacam a viabilidade de alcançar desempenho de ponta usando conjuntos de dados públicos e recursos computacionais mínimos.

Além disso, o estudo enfatiza o impacto do fine-tuning baseado em instruções para melhorar o desempenho do LLaMA. Modelos como Vicuna e Stanford Alpaca, refinados através de conjuntos de dados com instruções, demonstraram resultados comparáveis ao ChatGPT e Bard, mostrando o imenso potencial dessa abordagem.

Tags: chat llama gratuito online, llama 3 grátis, llama 3.3, llama 4 online, 70b