LlaMA chat gratis online - Nessun accesso richiesto

Viviamo in un’epoca straordinaria in cui le iniziative open-source, alimentate da comunità appassionate, possono competere con le costose soluzioni proprietarie dei giganti tecnologici. Un esempio lampante di questo progresso è l’ascesa di modelli linguistici compatti ma altamente efficaci come Vicuna, Koala, Alpaca e StableLM. Questi modelli raggiungono prestazioni paragonabili a ChatGPT pur richiedendo risorse computazionali minime. Ciò che li accomuna è la loro base nei modelli LLaMA di Meta AI.

Per approfondire altri notevoli progressi open-source nelle tecnologie linguistiche, consulta il nostro articolo sulle 12 alternative open-source a GPT-4.

In questa discussione analizzeremo i modelli LLaMA di Meta AI, le loro capacità e come accedervi tramite la libreria transformers. Confronteremo inoltre le loro prestazioni, evidenzieremo le principali sfide e ne esploreremo i limiti. Dalla prima stesura di questo articolo, Meta AI ha introdotto sia LLaMA 2 che LLaMA 3, entrambi trattati in articoli dedicati con ulteriori approfondimenti.

Comprendere LLaMA: il grande modello linguistico di Meta AI

LLaMA (Large Language Model Meta AI) è una serie di modelli linguistici fondamentali all’avanguardia, con dimensioni che vanno da 7 miliardi a 65 miliardi di parametri. Nonostante la loro compattezza, questi modelli offrono prestazioni eccezionali, riducendo le esigenze computazionali per ricercatori e sviluppatori che desiderano sperimentare, verificare lavori esistenti ed esplorare applicazioni innovative.

Questi modelli fondamentali sono stati addestrati su vasti dataset non etichettati, rendendoli altamente adattabili al fine-tuning per vari compiti. Le fonti dei dati di addestramento includono:

• 67,0% CommonCrawl
• 15,0% C4
• 4,5% GitHub
• 4,5% Wikipedia
• 4,5% Libri
• 2,5% ArXiv
• 2,0% StackExchange

Grazie a questo dataset diversificato, i modelli LLaMA hanno raggiunto prestazioni pari a modelli di fascia alta come Chinchilla-70B e PaLM-540B, consolidando la loro posizione tra i migliori modelli linguistici di intelligenza artificiale oggi disponibili.

Comprendere il modello LLaMA di Meta

LLaMA è un modello linguistico auto-regressivo basato sull’architettura transformer. Come altri modelli avanzati, elabora una sequenza di parole come input e predice la parola successiva, consentendo la generazione di testo in modo ricorsivo.

Ciò che rende unico LLaMA è il suo vasto addestramento su testi pubblicamente disponibili in più lingue, tra cui bulgaro, catalano, ceco, danese, tedesco, inglese, spagnolo, francese, croato, ungherese, italiano, olandese, polacco, portoghese, rumeno, russo, sloveno, serbo, svedese e ucraino. Con l’introduzione di LLaMA 2 nel 2024, i miglioramenti nell’architettura e nelle tecniche di addestramento ne hanno ulteriormente potenziato l’efficienza e la competenza multilingue.

Disponibile in diverse dimensioni — 7B, 13B, 33B e 65B parametri — i modelli LLaMA possono essere accessibili tramite Hugging Face (compatibile con Transformers) o attraverso il repository ufficiale facebookresearch/llama.

Come iniziare con i modelli LLaMA

Il codice ufficiale per l’inferenza è disponibile nel repository facebookresearch/llama, ma per semplificare useremo la libreria Hugging Face transformers per caricare il modello e generare testo.

1. Installa le librerie necessarie

Eseguiremo l’inferenza di LLaMA utilizzando Google Colab.

%%capture
%pip install transformers SentencePiece accelerate

2. Carica i token e i pesi del modello LLaMA

Nota: 'decapoda-research/llama-7b-hf' non è il peso ufficiale del modello. Decapoda Research ha adattato il modello originale per funzionare con la libreria Transformers.

import transformers, torch
from transformers import LlamaTokenizer, LlamaForCausalLM, GenerationConfig

tokenizer = LlamaTokenizer.from_pretrained("decapoda-research/llama-7b-hf")
model = LlamaForCausalLM.from_pretrained(
        "decapoda-research/llama-7b-hf",
        load_in_8bit=False,
        torch_dtype=torch.float16,
        device_map="auto",
    )

3. Definisci la domanda

4. Converti il testo in token

5. Imposta la configurazione di generazione del modello

6. Genera il testo di output

7. Decodifica e stampa la risposta

instruction = "What is the speed of light?"
inputs = tokenizer(
    f"""Below is an instruction that describes a task. Write a response that appropriately completes the request.
### Instruction: {instruction}
### Response:""",
    return_tensors="pt",
)
input_ids = inputs["input_ids"].to("cuda")

generation_config = transformers.GenerationConfig(
    do_sample=True,
    temperature=0.1,
    top_p=0.75,
    top_k=80,
    repetition_penalty=1.5,
    max_new_tokens=128,
)

with torch.no_grad():
    generation_output = model.generate(
        input_ids=input_ids,
        attention_mask=torch.ones_like(input_ids),
        generation_config=generation_config,
    )
output_text = tokenizer.decode(
    generation_output[0].cuda(), skip_special_tokens=True
).strip()
print(output_text)

Output:

Il modello determina accuratamente che la velocità della luce nel vuoto è di circa 299.792.458 metri al secondo.

Below is an instruction that describes a task. Write a response that appropriately completes the request.
### Instruction: What is the speed of light?
### Response: The speed of light in a vacuum is exactly 299,792,458 meters per second (approximately 186,282 miles per second). This value is a fundamental constant in physics and plays a crucial role in theories like relativity. Scientists have verified this speed through numerous experiments over the years.

Il modello LLaMA, insieme alla libreria Transformers, può anche essere perfezionato (fine-tuning) per vari compiti e dataset, migliorando notevolmente accuratezza e prestazioni.

In cosa si distingue LLaMA rispetto ad altri modelli di AI?

Il documento di ricerca offre un confronto approfondito tra i modelli LLaMA e altri modelli linguistici di punta come GPT-3, GPT-NeoX, Gopher, Chinchilla e PaLM. Sono stati condotti vari test di benchmark per valutare le prestazioni in ambiti come ragionamento di senso comune, quiz, comprensione del testo, risposte a domande, risoluzione di problemi matematici, generazione di codice e conoscenza di dominio.

Ragionamento di senso comune

Nei test di benchmark come PIQA, SIQA e OpenBookQA, il modello LLaMA-65B ha superato altre architetture all’avanguardia. Inoltre, anche il più piccolo LLaMA-33B ha ottenuto risultati eccellenti nel test ARC (sia facile che difficile) rispetto ai suoi omologhi.

Domande e quiz a libro chiuso

Nella valutazione della capacità del modello di interpretare e rispondere a domande realistiche, LLaMA ha costantemente superato GPT-3, Gopher, Chinchilla e PaLM nei test Natural Questions e TriviaQA.

Comprensione del testo

Utilizzando i benchmark RACE-middle e RACE-high, LLaMA ha mostrato prestazioni migliori di GPT-3 e risultati paragonabili a PaLM 540B.

Ragionamento matematico

Poiché LLaMA non è stato perfezionato su dati matematici, le sue prestazioni in questo ambito sono risultate inferiori alle aspettative, restando dietro a Minerva.

Generazione di codice

Valutato tramite i benchmark HumanEval e MBPP, LLaMA ha ottenuto punteggi più alti rispetto a LAMDA e PaLM in HumanEval@100, MBP@1 e MBP@80.

Conoscenza di dominio

Per quanto riguarda la conoscenza generale dei domini, i modelli LLaMA risultano inferiori rispetto al più ampio modello PaLM 540B, che dispone di un numero significativamente maggiore di parametri.

Sfide e limitazioni di LLaMA

Come altri grandi modelli linguistici, LLaMA è soggetto a 'allucinazioni', generando talvolta informazioni inesatte o fuorvianti.

Oltre a ciò, esistono altre sfide:

• Limitazioni linguistiche: poiché la maggior parte dei dati di addestramento è in inglese, le prestazioni di LLaMA in altre lingue possono risultare inferiori.
• Uso orientato alla ricerca: LLaMA è progettato principalmente per scopi di ricerca con licenza non commerciale. Il suo rilascio mira ad aiutare i ricercatori ad affrontare bias, rischi e problematiche legate a contenuti tossici, allucinazioni e sicurezza del modello.
• Non pronto per la produzione: come modello di base, LLaMA non dovrebbe essere utilizzato in applicazioni reali senza un’adeguata valutazione dei rischi e strategie di mitigazione.
• Debolezze nel ragionamento matematico e specifico di dominio: il modello ha difficoltà con problemi matematici complessi e non possiede conoscenze approfondite in domini specialistici.

Per approfondire gli sviluppi nell’AI, inclusi OpenAI e Google AI, e il loro impatto sulla data science, consulta 'Le ultime novità su OpenAI, Google AI e cosa significano per la Data Science'. Il blog esplora gli avanzamenti più recenti nelle tecnologie linguistiche, visive e multimodali che migliorano produttività ed efficienza.

Con il rilascio di LLaMA 2 e LLaMA 3, sono state identificate nuove limitazioni, sebbene siano stati compiuti miglioramenti, in particolare nella lunghezza del contesto e nella capacità di adattamento tramite fine-tuning. La comunità AI continua a lavorare per migliorare la robustezza e l’usabilità pratica di questi modelli.

Conclusione

L’emergere dei modelli LLaMA ha inaugurato un’era di trasformazione nella ricerca AI open-source. In particolare, i modelli compatti LLaMA-3 e LLaMA-4 superano GPT-3 e GPT-4, mentre il più grande LLaMA-65B dimostra capacità paragonabili a modelli avanzati come Chinchilla-70B e PaLM-540B. Questi progressi dimostrano la possibilità di ottenere prestazioni di alto livello utilizzando dataset pubblici e risorse computazionali ridotte.

Inoltre, lo studio sottolinea l’impatto del fine-tuning basato su istruzioni nel migliorare le prestazioni di LLaMA. Modelli come Vicuna e Stanford Alpaca, perfezionati tramite dataset di istruzioni, hanno ottenuto risultati paragonabili a ChatGPT e Bard, dimostrando l’enorme potenziale di questo approccio.

Tag: chat llama gratis online, llama 3 gratuito, llama 3.3, llama 4 online, 70b