추가 AI 도구 

LlaMA 채팅 무료 온라인 - 로그인 불필요

우리는 열정적인 커뮤니티가 주도하는 오픈소스 프로젝트가 기술 대기업의 비싼 독점 솔루션과 어깨를 나란히 하는 특별한 시대에 살고 있습니다. 그 대표적인 예가 Vicuna, Koala, Alpaca, StableLM과 같은 소형이지만 매우 효율적인 언어 모델의 등장입니다. 이 모델들은 최소한의 계산 자원으로도 ChatGPT와 유사한 수준의 성능을 발휘합니다. 이들을 하나로 묶는 공통점은 Meta AI의 LLaMA 모델을 기반으로 한다는 점입니다.

다른 주목할 만한 오픈소스 언어 기술 발전에 대해 더 깊이 알고 싶다면, '12 GPT-4 오픈소스 대안' 기사도 확인해 보세요.

이번 글에서는 Meta AI의 LLaMA 모델, 그 기능, 그리고 transformers 라이브러리를 통해 접근하는 방법을 살펴봅니다. 또한 성능 비교, 주요 과제, 한계점도 다루며, 글 작성 이후 Meta AI가 출시한 LLaMA 2와 LLaMA 3에 대한 내용을 별도의 기사에서 더 자세히 소개합니다.

LLaMA 이해하기: Meta AI의 대형 언어 모델

LLaMA(Large Language Model Meta AI)는 70억에서 650억 파라미터까지 다양한 크기의 최첨단 기초 언어 모델 시리즈입니다. 소형임에도 불구하고 연구자와 개발자가 실험, 기존 연구 검증, 혁신적 응용 탐색을 위해 필요한 계산 부담을 크게 줄이면서 뛰어난 성능을 제공합니다.

이 기초 모델들은 방대한 라벨 없는 데이터셋으로 학습되어 다양한 작업에 맞춘 파인튜닝이 매우 용이합니다. 학습 데이터 소스는 다음과 같습니다:

• 67.0% CommonCrawl
• 15.0% C4
• 4.5% GitHub
• 4.5% Wikipedia
• 4.5% Books
• 2.5% ArXiv
• 2.0% StackExchange

이처럼 다양한 데이터셋 덕분에 LLaMA 모델은 Chinchilla-70B, PaLM-540B와 같은 최고 수준 모델과 유사한 성능을 달성하며, 오늘날 가장 성능이 뛰어난 AI 언어 모델 중 하나로 자리잡았습니다.

Meta의 LLaMA 모델 이해하기

LLaMA는 트랜스포머 아키텍처 기반의 자기회귀 언어 모델입니다. 다른 고급 모델과 마찬가지로 단어 시퀀스를 입력으로 받아 다음 단어를 예측하며, 이를 통해 재귀적 텍스트 생성을 수행합니다.

LLaMA의 독특함은 불가리아어, 카탈루냐어, 체코어, 덴마크어, 독일어, 영어, 스페인어, 프랑스어, 크로아티아어, 헝가리어, 이탈리아어, 네덜란드어, 폴란드어, 포르투갈어, 루마니아어, 러시아어, 슬로베니아어, 세르비아어, 스웨덴어, 우크라이나어 등 여러 언어의 공개 텍스트 데이터로 광범위하게 학습되었다는 점입니다. 2024년 LLaMA 2의 도입으로 아키텍처와 학습 기법이 개선되어 효율성과 다국어 능력이 강화되었습니다.

7B, 13B, 33B, 65B 파라미터의 다양한 크기로 제공되며, Hugging Face(Transformers 호환) 또는 facebookresearch/llama 공식 저장소를 통해 접근할 수 있습니다.

LLaMA 모델 시작하기

공식 추론 코드는 facebookresearch/llama 저장소에서 제공되지만, 여기서는 Hugging Face transformers 라이브러리를 사용하여 모델을 로드하고 텍스트를 생성하는 방법을 설명합니다.

1. 필요한 라이브러리 설치

Google Colab을 사용하여 LLaMA 추론을 실행합니다.

%%capture
%pip install transformers SentencePiece accelerate

2. LLaMA 토큰 및 모델 가중치 로드

참고: 'decapoda-research/llama-7b-hf'는 공식 모델 가중치가 아닙니다. Decapoda Research가 원본 모델을 Transformers 라이브러리와 호환되도록 수정했습니다.

import transformers, torch
from transformers import LlamaTokenizer, LlamaForCausalLM, GenerationConfig

tokenizer = LlamaTokenizer.from_pretrained("decapoda-research/llama-7b-hf")
model = LlamaForCausalLM.from_pretrained(
        "decapoda-research/llama-7b-hf",
        load_in_8bit=False,
        torch_dtype=torch.float16,
        device_map="auto",
    )

3. 질문 정의

4. 텍스트를 토큰으로 변환

5. 모델 생성 구성 설정

6. 텍스트 출력 생성

7. 응답 디코딩 및 출력

instruction = "What is the speed of light?"
inputs = tokenizer(
    f"""Below is an instruction that describes a task. Write a response that appropriately completes the request.
### Instruction: {instruction}
### Response:""",
    return_tensors="pt",
)
input_ids = inputs["input_ids"].to("cuda")

generation_config = transformers.GenerationConfig(
    do_sample=True,
    temperature=0.1,
    top_p=0.75,
    top_k=80,
    repetition_penalty=1.5,
    max_new_tokens=128,
)

with torch.no_grad():
    generation_output = model.generate(
        input_ids=input_ids,
        attention_mask=torch.ones_like(input_ids),
        generation_config=generation_config,
    )
output_text = tokenizer.decode(
    generation_output[0].cuda(), skip_special_tokens=True
).strip()
print(output_text)

출력:

모델은 진공 상태에서 빛의 속도가 약 299,792,458 m/s임을 정확하게 판단합니다.

Below is an instruction that describes a task. Write a response that appropriately completes the request.
### Instruction: What is the speed of light?
### Response: The speed of light in a vacuum is exactly 299,792,458 meters per second (approximately 186,282 miles per second). This value is a fundamental constant in physics and plays a crucial role in theories like relativity. Scientists have verified this speed through numerous experiments over the years.

LLaMA 모델은 Transformers 라이브러리와 함께 다양한 작업과 데이터셋에 맞춘 파인튜닝이 가능하여 정확성과 성능을 크게 향상시킬 수 있습니다.

LLaMA가 다른 AI 모델과 차별화되는 점은 무엇인가요?

연구 논문에서는 LLaMA 모델과 GPT-3, GPT-NeoX, Gopher, Chinchilla, PaLM과 같은 최고 수준 언어 모델을 비교합니다. 상식 추론, 퀴즈, 독해, 질문 응답, 수학 문제 해결, 코드 생성, 도메인 지식 등 다양한 벤치마크 테스트가 수행되었습니다.

상식 추론

PIQA, SIQA, OpenBookQA와 같은 벤치마크 테스트에서 LLaMA-65B 모델은 다른 최신 모델을 능가했습니다. 또한 소형 LLaMA-33B 모델도 ARC(쉬움과 어려움 모두)에서 경쟁 모델보다 뛰어난 성과를 보였습니다.

폐쇄형 질문 응답 및 퀴즈

현실적 질문 해석 및 응답 능력을 평가한 결과, LLaMA는 Natural Questions와 TriviaQA 평가에서 GPT-3, Gopher, Chinchilla, PaLM을 consistently 능가했습니다.

독해 능력

RACE-middle 및 RACE-high 벤치마크 테스트에서 LLaMA는 GPT-3보다 뛰어난 성능을 보였고, PaLM 540B와 유사한 결과를 나타냈습니다.

수학적 추론

LLaMA는 수학 데이터로 파인튜닝되지 않아 이 영역에서는 기대 이하의 성능을 보였으며, Minerva보다 뒤처졌습니다.

코드 생성

HumanEval 및 MBPP 벤치마크를 통해 평가한 결과, LLaMA는 HumanEval@100, MBP@1, MBP@80에서 LAMDA와 PaLM보다 높은 점수를 기록했습니다.

도메인 지식

광범위한 도메인 지식에서는 LLaMA 모델이 파라미터 수가 훨씬 많은 PaLM 540B 모델에 비해 부족했습니다.

LLaMA의 과제와 한계

다른 대형 언어 모델과 마찬가지로, LLaMA는 때때로 부정확하거나 오도할 수 있는 정보를 생성하는 ‘환각’ 문제가 발생할 수 있습니다.

그 외 몇 가지 도전 과제:

• 언어 제한: 학습 데이터 대부분이 영어이므로 다른 언어에서의 성능은 다소 떨어질 수 있습니다.
• 연구 중심 사용: LLaMA는 비상업적 라이선스 하에서 연구 목적을 위해 설계되었습니다. 연구자들이 편향, 위험, 유해 콘텐츠, 환각, 모델 안전성 문제를 다루도록 돕는 것을 목표로 합니다.
• 프로덕션용 아님: 기본 모델로서 LLaMA는 충분한 위험 평가와 완화 전략 없이 실제 응용에 사용해서는 안 됩니다.
• 수학 및 특정 도메인 추론 약점: 복잡한 수학 문제와 특정 도메인 전문 지식에서는 제한적입니다.

OpenAI, Google AI 등 AI 발전과 데이터 과학에 미치는 영향에 대한 통찰은 'The Latest On OpenAI, Google AI, and What It Means for Data Science'에서 확인할 수 있습니다. 이 블로그는 생산성과 효율성을 향상시키는 언어, 비전, 멀티모달 기술의 최첨단 발전을 탐구합니다.

LLaMA 2와 LLaMA 3의 출시와 함께 새로운 한계가 확인되었지만, 문맥 길이와 파인튜닝을 통한 적응력에서 개선이 이루어졌습니다. 연구가 지속됨에 따라 AI 커뮤니티는 이러한 모델의 견고성과 실제 활용성을 높이기 위해 노력하고 있습니다.

결론

LLaMA 모델의 등장은 오픈소스 AI 연구에 혁신적인 시대를 열었습니다. 특히 소형 LLaMA-3와 LLaMA-4 모델은 GPT-3와 GPT-4를 능가하며, 대형 LLaMA-65B는 Chinchilla-70B, PaLM-540B와 유사한 성능을 보입니다. 이는 공개 데이터셋과 최소한의 계산 자원으로도 최고 수준 성능 달성이 가능함을 보여줍니다.

또한, 본 연구는 LLaMA 성능 향상에 있어 명령 기반 파인튜닝의 중요성을 강조합니다. Vicuna와 Stanford Alpaca와 같은 모델은 명령-따르기 데이터셋을 통해 개선되어 ChatGPT와 Bard 수준의 결과를 보여주며, 이 접근법의 잠재력을 입증합니다.

태그: 채팅, llama, 무료 온라인, 무료 llama 3, llama 3.3, llama 4 온라인, 70b

We use cookies to enhance your experience and provide personalized content. By accepting, you help us improve our services. Do you accept? Manage settings Yes, Accept Cookies