【LLM】Google Gemmaとは？使い方・性能・商用利用について解説

jupyter lab --ip='*' --port=8888 --NotebookApp.token='' --NotebookApp.password='' --no-browser

localhost:8888

pip install accelerate transformers jinja2 wheel

pip install flash-attn

import torch 
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "google/gemma-7b-it"

dtype = torch.bfloat16

token = "hf_****************************"

tokenizer = AutoTokenizer.from_pretrained(model_id,token=token)

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    token=token,
    device_map="cuda",
    torch_dtype=dtype,
    attn_implementation="flash_attention_2"
).to(0)

chat = [
    { "role": "user", "content": "What is Mt. Fuji" },
]
prompt = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)
inputs = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt")
outputs = model.generate(input_ids=inputs.to(model.device), max_new_tokens=150)
print(tokenizer.decode(outputs[0]))

<bos><start_of_turn>user
What is Mt. Fuji<end_of_turn>
<start_of_turn>model
Mount Fuji is a composite volcano on the island of Honshu in Japan. It is the highest mountain in the country and is often seen as the symbol of Japan. Mount Fuji is a popular tourist destination and is one of the most visited places in the world.<eos>

富士山は、日本の本州にある複合火山です。国内で最も高い山であり、日本の象徴と見なされることがよくあります。富士山は人気の観光地であり、世界で最も訪れられる場所の一つです。

chat = [
    { "role": "user", "content": "Could you please recommend some tourist destinations in Tokyo?" },
]
prompt = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)
inputs = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt")
outputs = model.generate(input_ids=inputs.to(model.device), max_new_tokens=150)
print(tokenizer.decode(outputs[0]))

<bos><start_of_turn>user
Could you please recommend some tourist destinations in Tokyo?<end_of_turn>
<start_of_turn>model
Here are some recommended tourist destinations in Tokyo, based on different interests:

**For first-time visitors:**

* **Shinjuku:** A vibrant and modern district with a variety of attractions, including the Shinjuku Gyoen National Garden, the Tokyo Metropolitan Government Building for a panoramic view of the city, and the Shinjuku Night View for a glimpse of the city's neon lights.
* **Roppongi:** A stylish and upscale district with a variety of shopping malls, restaurants, and entertainment options.
* **Asakusa:** A traditional Japanese neighborhood with a strong sense of history, where you can visit the Senso-ji Temple, the Hozu River, and the Edo-Tokyo Museum.

<bos><start_of_turn>ユーザー
東京のおすすめの観光地をいくつか教えてください。<end_of_turn>
<start_of_turn>モデル
ここでは、さまざまな興味に基づいて、東京のおすすめ観光地をいくつか紹介します。

**初めての方へ:**

* **新宿:** 新宿御苑、都心を一望できる東京都庁舎、街のネオンを垣間見ることができる新宿夜景など、多彩な見どころが集まる活気に満ちたモダンな地区 ライト。
* **六本木:** さまざまなショッピング モール、レストラン、エンターテイメント施設が揃うスタイリッシュで高級な地区。
* **浅草:** 歴史を感じさせる伝統的な日本の街。浅草寺、保津川、江戸東京博物館などを訪れることができます。

chat = [
    { "role": "user", "content": "おすすめの日本食を教えて下さい" },
]
prompt = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)
inputs = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt")
outputs = model.generate(input_ids=inputs.to(model.device), max_new_tokens=150)
print(tokenizer.decode(outputs[0]))

<bos><start_of_turn>user
おすすめの日本食を教えて下さい<end_of_turn>
<start_of_turn>model
もちろん、いくつかの日本食をおおすすめします。

**定番のメニュー:**

* **寿司:** 海産lanmışlanmış新鮮なネタに、伝統的な作法で作った伝統的なメニューです。
* **丼:** Rice Bowlと呼ばれるご飯の上に、さまざまな野菜や肉、卵などを取り込んだメニューです。
* ** tempura:** 春野菜や野菜の輪切りなどを tempuraに包んで揚げたメニューです。
* **さかな:** サかなの焼き肉やさかなのポテトなど、様々なレシピがあります。
* **巻きず:** 春野菜やポテトなどを巻いた巻きずは、ご飯やビールの定番です。

**ちょっと冒険するメニュー:**

* **そうご:** 家製のポテトを