【Llamaの日本語LLM】Swallowの使い方・性能・商用利用 | 7B・13B・70B

jupyter lab --ip='*' --port=8888 --NotebookApp.token='' --NotebookApp.password='' --no-browser

localhost:8888

pip install torch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 --index-url https://download.pytorch.org/whl/cu118

pip install transformers==4.33.2 sentencepiece==0.2.0 accelerate==0.29.3 bitsandbytes==0.43.1 protobuf==5.26.1

import torch
from torch import cuda,bfloat16
from transformers import AutoTokenizer,AutoModelForCausalLM
import transformers

model_id = "tokyotech-llm/Swallow-13b-instruct-hf"

token = 'hf_****************************'

quant_config = transformers.BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type='nf4',
    bnb_4bit_use_double_quant=True,
    bnb_4bit_compute_dtype=bfloat16
)

model = transformers.AutoModelForCausalLM.from_pretrained(
    model_id,
    trust_remote_code=True,
    token=token,
    #quantization_config=quant_config,
    torch_dtype=torch.bfloat16,
    low_cpu_mem_usage=True,
    device_map="auto",
)

tokenizer = AutoTokenizer.from_pretrained(
    model_id,
    token=token
)

PROMPT_DICT = {
    "prompt_input": (
        "以下に、あるタスクを説明する指示があり、それに付随する入力が更なる文脈を提供しています。"
        "リクエストを適切に完了するための回答を記述してください。\n\n"
        "### 指示:\n{instruction}\n\n### 入力:\n{input}\n\n### 応答:"

    ),
    "prompt_no_input": (
        "以下に、あるタスクを説明する指示があります。"
        "リクエストを適切に完了するための回答を記述してください。\n\n"
        "### 指示:\n{instruction}\n\n### 応答:"
    ),
}

def create_prompt(instruction, input=None):
    """
    Generates a prompt based on the given instruction and an optional input.
    If input is provided, it uses the 'prompt_input' template from PROMPT_DICT.
    If no input is provided, it uses the 'prompt_no_input' template.

    Args:
        instruction (str): The instruction describing the task.
        input (str, optional): Additional input providing context for the task. Default is None.

    Returns:
        str: The generated prompt.
    """
    if input:
        # Use the 'prompt_input' template when additional input is provided
        return PROMPT_DICT["prompt_input"].format(instruction=instruction, input=input)
    else:
        # Use the 'prompt_no_input' template when no additional input is provided
        return PROMPT_DICT["prompt_no_input"].format(instruction=instruction)

instruction_example = "以下のトピックに関する詳細な情報を提供してください。"
input_example = "富士山の特徴について教えてください"
prompt = create_prompt(instruction_example, input_example)

input_ids = tokenizer.encode(
    prompt,
    add_special_tokens=False,
    return_tensors="pt"
)

tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=128,
    temperature=0.99,
    top_p=0.95,
    do_sample=True,
)

out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)

以下に、あるタスクを説明する指示があり、それに付随する入力が更なる文脈を提供しています。リクエストを適切に完了するための回答を記述してください。

### 指示:
以下のトピックに関する詳細な情報を提供してください。

### 入力:
富士山の特徴について教えてください

### 応答:富士山は日本で最も高い山です。標高3,776mです。富士山は成層火山で、その外観は美しい円錐型をしています。富士山には、現在は活動していない休火山である山頂のカルデラが特徴的で、いくつかの池や湖があります。また、富士山には、富士急行が登山者のために運営する五合目までの道や、富士宮口、須走口、御殿場口、吉田口という4つの登山道があります。

instruction_example = "以下のトピックに関する詳細な情報を提供してください。"
input_example = "神奈川の観光スポットを教えて下さい。"
prompt = create_prompt(instruction_example, input_example)

input_ids = tokenizer.encode(
    prompt,
    add_special_tokens=False,
    return_tensors="pt"
)

tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=128,
    temperature=0.99,
    top_p=0.95,
    do_sample=True,
)

out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)

以下に、あるタスクを説明する指示があり、それに付随する入力が更なる文脈を提供しています。リクエストを適切に完了するための回答を記述してください。

### 指示:
以下のトピックに関する詳細な情報を提供してください。

### 入力:
神奈川の観光スポットを教えて下さい。

### 応答:神奈川県は海と山に囲まれ、自然と都市のバランスが取れた美しい場所です。横浜中華街、大さん橋、鎌倉大仏、湘南江ノ島、江ノ島水族館、箱根温泉、川崎工場夜景などが代表的なスポットです。横浜中華街は日本三大中華街の一つで、中華料理店が立ち並ぶ食の街です。大さん橋は横浜港に浮かぶ巨大な客船ターミナルで、開放的なデッキからは大海原を一望できます。鎌倉大仏は高徳院にある大きな青銅の

instruction_example = "以下のトピックに関する詳細な情報を提供してください。"
input_example = "北海道のご当地グルメを教えて下さい"
prompt = create_prompt(instruction_example, input_example)

input_ids = tokenizer.encode(
    prompt,
    add_special_tokens=False,
    return_tensors="pt"
)

tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=128,
    temperature=0.99,
    top_p=0.95,
    do_sample=True,
)

out = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(out)

以下に、あるタスクを説明する指示があり、それに付随する入力が更なる文脈を提供しています。リクエストを適切に完了するための回答を記述してください。

### 指示:
以下のトピックに関する詳細な情報を提供してください。

### 入力:
北海道のご当地グルメを教えて下さい

### 応答:
北海道のご当地グルメとしては、「札幌ラーメン」「ジンギスカン」「石狩鍋」「北海道ザンギ」などが知られています。また、「カニ料理」「イクラ料理」などの海産物も豊富であり、季節によっては新鮮でおいしい魚介類を楽しむことができます。