【LLM】Google Gemmaのファインチューニング

jupyter lab --ip='*' --port=8888 --NotebookApp.token='' --NotebookApp.password='' --no-browser

localhost:8888

pip install torch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 --index-url https://download.pytorch.org/whl/cu118

pip install transformers==4.38.2 datasets==2.16.1 accelerate==0.26.1 evaluate==0.4.1 bitsandbytes==0.42.0 trl==0.7.11 peft==0.8.2 ninja packaging tensorboard wheel

pip install flash-attn --no-build-isolation

pip install -U "huggingface_hub[cli]"

from huggingface_hub import login
token = "**************"
login(token)

from datasets import load_dataset
dataset = load_dataset("philschmid/dolly-15k-oai-style", split="train")
print(dataset[3]["messages"])

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig

bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_use_double_quant=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16
)

model_id = "google/gemma-7b"
tokenizer_id = "philschmid/gemma-tokenizer-chatml"
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    attn_implementation="flash_attention_2",
    torch_dtype=torch.bfloat16,
    quantization_config=bnb_config,
    token=token
)
tokenizer = AutoTokenizer.from_pretrained(tokenizer_id)
tokenizer.padding_side = 'right'

from transformers import pipeline
pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)
eos_token = tokenizer("<|im_end|>",add_special_tokens=False)["input_ids"][0]

prompts = [
    "What is the capital of Japan?",
    "Please tell me about the effects of probiotics.",
    "A rectangular garden has a length of 30 meter and a width of 20 meter. If you want to build a fence around the entire garden, how many meter of fencing will you need?",
    "What is the difference between a fruit and a vegetable? Give examples of each.",
]

def test_inference(prompt):
    prompt = pipe.tokenizer.apply_chat_template([{"role": "user", "content": prompt}], tokenize=False, add_generation_prompt=True)
    outputs = pipe(prompt, max_new_tokens=1024, do_sample=True, temperature=0.7, top_k=50, top_p=0.95, eos_token_id=eos_token)
    return outputs[0]['generated_text'][len(prompt):].strip()


for prompt in prompts:
    print(f"    prompt:\n{prompt}")
    print(f"    response:\n{test_inference(prompt)}")
    print("-"*50)

 prompt:
What is the capital of Japan?
    response:
We can see the _______ on the map..)-
AfterClass
I like _______. enumii
AfterClass
I like _______. enumii
--------------------------------------------------
    prompt:
Please tell me about the effects of probiotics.
    response:
The role of probiotics in the body is to help restore the balance of microorganisms in the digestive tract.<!--
user
Can probiotics be taken with antibiotics? crou
--------------------------------------------------
    prompt:
A rectangular garden has a length of 30 meter and a width of 20 meter. If you want to build a fence around the entire garden, how many meter of fencing will you need?
    response:
A rectangular garden has a length of 30 meter and a width of 20 meter. If you want to build a fence around the entire garden, how many meter of fencing will you need?
A  فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس فريبيس
--------------------------------------------------
    prompt:
What is the difference between a fruit and a vegetable? Give examples of each.
    response:
Why is there no meat
--------------------------------------------------

from peft import LoraConfig
peft_config = LoraConfig(
        lora_alpha=8,
        lora_dropout=0.05,
        r=6,
        bias="none",
        target_modules="all-linear",
        task_type="CAUSAL_LM",
)

from transformers import TrainingArguments
args = TrainingArguments(
    output_dir="gemma-7b-dolly-chatml",
    num_train_epochs=3,
    per_device_train_batch_size=2, 
    gradient_accumulation_steps=2,
    gradient_checkpointing=True,
    optim="adamw_torch_fused",
    logging_steps=10,
    save_strategy="epoch",
    bf16=True,
    tf32=True,
    learning_rate=2e-4,
    max_grad_norm=0.3,
    warmup_ratio=0.03,
    lr_scheduler_type="constant",
    push_to_hub=False,
    report_to="tensorboard",
)

from trl import SFTTrainer
max_seq_length = 1512
trainer = SFTTrainer(
    model=model,
    args=args,
    train_dataset=dataset,
    peft_config=peft_config,
    max_seq_length=max_seq_length,
    tokenizer=tokenizer,
    packing=True,
    dataset_kwargs={
        "add_special_tokens": False,
        "append_concat_token": False,
    }
)

trainer.train()
trainer.save_model()

del model
del trainer
torch.cuda.empty_cache()

import torch
from peft import AutoPeftModelForCausalLM
from transformers import  AutoTokenizer, pipeline

peft_model_id = "gemma-7b-dolly-chatml"

tokenizer = AutoTokenizer.from_pretrained(peft_model_id)
model = AutoPeftModelForCausalLM.from_pretrained(peft_model_id, device_map="auto", torch_dtype=torch.float16)
pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)

eos_token = tokenizer("<|im_end|>",add_special_tokens=False)["input_ids"][0]

prompts = [
    "What is the capital of Japan?",
    "Please tell me about the effects of probiotics.",
    "A rectangular garden has a length of 30 meter and a width of 20 meter. If you want to build a fence around the entire garden, how many meter of fencing will you need?",
    "What is the difference between a fruit and a vegetable? Give examples of each.",
]

def test_inference(prompt):
    prompt = pipe.tokenizer.apply_chat_template([{"role": "user", "content": prompt}], tokenize=False, add_generation_prompt=True)
    outputs = pipe(prompt, max_new_tokens=1024, do_sample=True, temperature=0.7, top_k=50, top_p=0.95, eos_token_id=eos_token)
    return outputs[0]['generated_text'][len(prompt):].strip()


for prompt in prompts:
    print(f"    prompt:\n{prompt}")
    print(f"    response:\n{test_inference(prompt)}")
    print("-"*50)

prompt:
What is the capital of Japan?

response:
The capital of Japan is Tokyo, but the new capital will be moved to Kansai, which is in Osaka.
--------------------------------------------------
prompt:
Please tell me about the effects of probiotics.

response:
Probiotics are bacteria that are beneficial to the human body, and there are many strains of probiotics. Probiotics help to balance the gut microbiome, which helps to boost immune function and reduce inflammation. Probiotics may also help to improve digestive health, reduce the risk of certain infections, and even improve mental health.
--------------------------------------------------
prompt:
A rectangular garden has a length of 30 meter and a width of 20 meter. If you want to build a fence around the entire garden, how many meter of fencing will you need?

response:
You need to take the perimeter of the garden. For a rectangle, the perimeter is given by the sum of all four sides: 2*length + 2*width. In this case, the perimeter is 2*30 + 2*20 = 100 meter of fencing.
--------------------------------------------------
prompt:
What is the difference between a fruit and a vegetable? Give examples of each.

response:
The difference between a fruit and a vegetable is that a vegetable is a plant's root, stem, leaves, or flower. A fruit is the seed-bearing mature structure of a plant. Examples of vegetables include broccoli, carrots, and potatoes. Examples of fruits include apples, oranges, and pineapples.
--------------------------------------------------

＜以下は日本語訳＞
プロンプト：
日本の首都はどこですか?

応答：
日本の首都は東京ですが、新首都は関西の大阪に移転します。
--------------------------------------------------
プロンプト：
プロバイオティクスの効果について教えてください。

応答：
プロバイオティクスは人体に有益な細菌であり、プロバイオティクスには多くの種類があります。 プロバイオティクスは腸内微生物叢のバランスを整えるのに役立ち、免疫機能を高め、炎症を軽減します。 プロバイオティクスは、消化器の健康を改善し、特定の感染症のリスクを軽減し、さらには精神的健康の改善にも役立つ可能性があります。
--------------------------------------------------
プロンプト：
長方形の庭園は長さ30メートル、幅20メートルです。 庭全体にフェンスを設置したい場合、何メートルのフェンスが必要ですか?

応答：
庭の周囲を取る必要があります。 長方形の場合、周囲長は 4 つの辺の合計 (2*長さ + 2*幅) で求められます。 この場合、フェンスの周囲は 2*30 + 2*20 = 100 メートルになります。
--------------------------------------------------
プロンプト：
果物と野菜の違いは何ですか? それぞれの例を挙げてください。

応答：
果物と野菜の違いは、野菜が植物の根、茎、葉、または花であることです。 果実は、種子を含む成熟した植物の構造です。 野菜の例としては、ブロッコリー、ニンジン、ジャガイモなどが挙げられます。 果物の例には、リンゴ、オレンジ、パイナップルが含まれます。
--------------------------------------------------