Lisää AI-työkaluja 

LlaMA-keskustelu ilmaiseksi verkossa – Ei kirjautumista

Elämme poikkeuksellista aikakautta, jossa avoimen lähdekoodin hankkeet, intohimoisten yhteisöjen tukemina, kilpailevat suurten teknologiayritysten kalliiden suljettujen ratkaisujen kanssa. Erinomainen esimerkki tästä edistyksestä on kompaktien mutta erittäin tehokkaiden kielimallien, kuten Vicuna, Koala, Alpaca ja StableLM, nousu. Nämä mallit saavuttavat ChatGPT:tä vastaavan suorituskyvyn ja vaativat vain vähän laskentatehoa. Niitä yhdistää perustansa Meta AI:n LLaMA-malleissa.

Jos haluat tutustua muihin merkittäviin avoimen lähdekoodin edistysaskeliin kieliteknologiassa, katso artikkelimme 12 GPT-4 -avointa vaihtoehtoa.

Tässä keskustelussa tarkastelemme Meta AI:n LLaMA-malleja, niiden ominaisuuksia ja sitä, kuinka niitä voidaan käyttää transformers-kirjaston kautta. Vertailussa käsittelemme myös niiden suorituskykyä, keskeisiä haasteita ja rajoituksia. LLaMA 2 ja LLaMA 3 ovat julkaistu alkuperäisen artikkelin jälkeen, ja niistä löytyy lisätietoa omista artikkeleistaan.

LLaMA – Meta AI:n suuri kielimalli

LLaMA (Large Language Model Meta AI) on sarja edistyksellisiä perustason kielimalleja, joiden koko vaihtelee 7 miljardista 65 miljardiin parametriin. Kompaktista koostaan huolimatta nämä mallit tarjoavat erinomaista suorituskykyä ja vähentävät tutkijoiden ja kehittäjien laskentavaatimuksia kokeiluun ja innovointiin.

Nämä perustason mallit on koulutettu laajoilla merkitsemättömillä tietoaineistoilla, minkä ansiosta ne sopivat hyvin hienosäätöön monissa tehtävissä. Koulutusdata sisältää muun muassa:

• 67,0 % CommonCrawl
• 15,0 % C4
• 4,5 % GitHub
• 4,5 % Wikipedia
• 4,5 % Kirjat
• 2,5 % ArXiv
• 2,0 % StackExchange

Tämän monipuolisen datan ansiosta LLaMA-mallit ovat saavuttaneet suorituskyvyn, joka vastaa huippumalleja, kuten Chinchilla-70B ja PaLM-540B.

Meta AI:n LLaMA-mallin ymmärtäminen

LLaMA on autoregressiivinen kielimalli, joka perustuu transformer-arkkitehtuuriin. Kuten muutkin edistyneet mallit, se käsittelee sanajonoja ja ennustaa seuraavan sanan, mahdollistaen toistuvan tekstintuotannon.

LLaMA erottuu laajalla koulutuksellaan julkisesti saatavilla olevilla monikielisillä tekstiaineistoilla, kuten bulgaria, katalaani, tšekki, tanska, saksa, englanti, espanja, ranska, kroatia, unkari, italia, hollanti, puola, portugali, romania, venäjä, sloveeni, serbia, ruotsi ja ukraina. LLaMA 2:n julkaisu vuonna 2024 toi mukanaan parannuksia arkkitehtuuriin ja koulutustekniikoihin.

Mallit ovat saatavilla eri kokoluokissa — 7B, 13B, 33B ja 65B — ja ne voidaan ladata Hugging Facesta tai facebookresearch/llama -arkistosta.

Aloittaminen LLaMA-mallien kanssa

Virallinen inferenssikoodi löytyy facebookresearch/llama-arkistosta, mutta käytämme yksinkertaisuuden vuoksi Hugging Face -transformers-kirjastoa.

1. Asenna tarvittavat kirjastot

Suoritamme LLaMA-inferenssin Google Colabissa.

%%capture
%pip install transformers SentencePiece accelerate

2. Lataa LLaMA-tokenit ja mallipainot

Huom: 'decapoda-research/llama-7b-hf' ei ole virallinen painos. Decapoda Research mukautti alkuperäisen mallin toimimaan Transformers-kirjastossa.

import transformers, torch
from transformers import LlamaTokenizer, LlamaForCausalLM, GenerationConfig

tokenizer = LlamaTokenizer.from_pretrained("decapoda-research/llama-7b-hf")
model = LlamaForCausalLM.from_pretrained(
        "decapoda-research/llama-7b-hf",
        load_in_8bit=False,
        torch_dtype=torch.float16,
        device_map="auto",
    )

3. Määritä kysymys

4. Muunna teksti tokeneiksi

5. Aseta mallin generointiasetukset

6. Luo tekstivastaus

7. Dekoodaa ja näytä vastaus

instruction = "What is the speed of light?"
inputs = tokenizer(
    f"""Below is an instruction that describes a task. Write a response that appropriately completes the request.
### Instruction: {instruction}
### Response:""",
    return_tensors="pt",
)
input_ids = inputs["input_ids"].to("cuda")

generation_config = transformers.GenerationConfig(
    do_sample=True,
    temperature=0.1,
    top_p=0.75,
    top_k=80,
    repetition_penalty=1.5,
    max_new_tokens=128,
)

with torch.no_grad():
    generation_output = model.generate(
        input_ids=input_ids,
        attention_mask=torch.ones_like(input_ids),
        generation_config=generation_config,
    )
output_text = tokenizer.decode(
    generation_output[0].cuda(), skip_special_tokens=True
).strip()
print(output_text)

Tuloste:

Malli määrittää oikein, että valon nopeus tyhjiössä on noin 299 792 458 metriä sekunnissa.

Below is an instruction that describes a task. Write a response that appropriately completes the request.
### Instruction: What is the speed of light?
### Response: The speed of light in a vacuum is exactly 299,792,458 meters per second (approximately 186,282 miles per second). This value is a fundamental constant in physics and plays a crucial role in theories like relativity. Scientists have verified this speed through numerous experiments over the years.

LLaMA-malli ja Transformers-kirjasto voidaan myös hienosäätää eri tehtäviin, mikä parantaa tarkkuutta ja suorituskykyä.

Miten LLaMA erottuu muista AI-malleista?

Tutkimuspaperi tarjoaa perusteellisen vertailun LLaMA-mallien ja muiden huipputason mallien, kuten GPT-3, GPT-NeoX, Gopher, Chinchilla ja PaLM, välillä. Vertailu kattaa muun muassa päättelykyvyn, tietovisat, luetun ymmärtämisen, kysymys–vastaus-tehtävät, matemaattisen päättelyn, koodauksen ja erikoisalakohtaisen tiedon.

Järkiperäinen päättely

Testeissä kuten PIQA, SIQA ja OpenBookQA LLaMA-65B päihitti muut huippumallit. Myös pienempi LLaMA-33B suoriutui erinomaisesti ARC-testissä.

Suljetun kirjan kysymykset ja tietovisat

Luonnollisten kysymysten ja TriviaQA:n testeissä LLaMA ylitti johdonmukaisesti GPT-3:n, Gopherin, Chinchillan ja PaLM:n.

Luetun ymmärtäminen

RACE-middle ja RACE-high -testeissä LLaMA ohitti GPT-3:n ja oli lähellä PaLM 540B:n tuloksia.

Matemaattinen päättely

Koska LLaMAa ei ole hienosäädetty matemaattiseen dataan, sen tulokset jäivät keskinkertaisiksi verrattuna Minervaan.

Koodin generointi

HumanEval- ja MBPP-testeissä LLaMA saavutti korkeammat pisteet kuin LaMDA ja PaLM.

Erikoisalakohtainen tieto

Erikoisalojen tiedoissa LLaMA jäi PaLM 540B:n taakse, joka hyötyy huomattavasti suuremmasta parametrimäärästä.

LLaMA:n haasteet ja rajoitukset

Kuten muutkin suuret kielimallit, LLaMA on altis hallusinaatioille ja voi tuottaa virheellistä tietoa.

Lisäksi muita haasteita ovat:

• Kielirajoitteet: Suurin osa koulutusdatasta on englanniksi, joten muiden kielten suorituskyky voi olla heikompi.
• Tutkimuskäyttö: LLaMA on tarkoitettu pääasiassa tutkimuskäyttöön ei-kaupallisella lisenssillä.
• Ei valmis tuotantoon: Perusmallina sitä ei tulisi käyttää sovelluksissa ilman huolellista riskien arviointia.
• Heikkous matematiikassa ja erikoisaloilla: Malli ei menesty hyvin monimutkaisissa matemaattisissa tai erikoisalakohtaisissa tehtävissä.

Jos haluat lisätietoa tekoälyalan kehityksestä, mukaan lukien OpenAI ja Google AI, katso artikkelimme tuoreimmista AI-innovaatioista.

LLaMA 2:n ja LLaMA 3:n julkaisun myötä on löydetty uusia rajoitteita, mutta parannuksia on tehty erityisesti kontekstipituuteen ja hienosäädettävyyteen.

Yhteenveto

LLaMA-mallien nousu on tuonut uuden aikakauden avoimen lähdekoodin tekoälytutkimukseen. Kompakti LLaMA-3 ja LLaMA-4 ylittävät GPT-3:n ja GPT-4:n, ja suurempi LLaMA-65B tarjoaa suorituskykyä, joka vastaa Chinchilla-70B ja PaLM-540B -malleja.

Tutkimus korostaa myös ohjeperusteisen hienosäädön merkitystä. Mallit kuten Vicuna ja Stanford Alpaca ovat osoittaneet ChatGPT:tä ja Bardia vastaavaa suorituskykyä.

Tunnisteet: chat llama ilmaiseksi, ilmainen llama 3, llama 3.3, llama 4 verkossa, 70b

We use cookies to enhance your experience and provide personalized content. By accepting, you help us improve our services. Do you accept? Manage settings Yes, Accept Cookies