Llama2とは？使い方・日本語性能・商用利用について解説 | 初心者ガイド

pip install transformers sentencepiece accelerate bitsandbytes scipy

!pip install transformers sentencepiece accelerate bitsandbytes scipy

import torch
from torch import cuda,bfloat16
from transformers import AutoTokenizer,AutoModelForCausalLM
import transformers

model_id = "meta-llama/Llama-2-70b-chat-hf"

token = 'hf_*******************************'

quant_config = transformers.BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type='nf4',
    bnb_4bit_use_double_quant=True,
    bnb_4bit_compute_dtype=bfloat16
)

model = transformers.AutoModelForCausalLM.from_pretrained(
    model_id,
    trust_remote_code=True,
    token=token,
    quantization_config=quant_config,
    device_map="auto"
)

tokenizer = AutoTokenizer.from_pretrained(
    model_id,
    token=token
)

pipeline = transformers.pipeline(
    model=model,
    tokenizer=tokenizer,
    task="text-generation",
    repetition_penalty=1.1
)

prompt = """USER:I'm planning to stay in Thailand 1day, so please make a travel plan and schedule.
SYSTEM:"""
sequences = pipeline(
    prompt,
    do_sample=True,
    temperature=0.8,
    top_p=0.9,
    top_k=40,
    num_return_sequences=1,
    eos_token_id=tokenizer.eos_token_id,
    max_length=300,
)
print(sequences[0]["generated_text"])

USER:I'm planning to stay in Thailand 1day, so please make a travel plan and schedule.
SYSTEM: Great! Thailand is an amazing country with a rich culture and history. Here's a suggested itinerary for your one-day trip:
9:00 AM - Arrival in Bangkok

Start your day by exploring the city's bustling streets and taking in the sights and sounds of Bangkok. Visit the Grand Palace, Wat Phra Kaew, and Wat Arun for a glimpse into Thailand's royal heritage.
12:00 PM - Lunch at a local restaurant
Head to a local restaurant to try some delicious Thai cuisine. You can sample dishes like tom yum soup, green curry, or pad thai.
1:30 PM - Explore Chinatown
Take a stroll through Bangkok's vibrant Chinatown district and discover its hidden gems. From street food stalls to traditional shops, there's plenty to see and experience.
3:00 PM - Shopping at MBK Center
Spend some time shopping at MBK Center, one of Bangkok's largest shopping malls. You can find everything from fashion items to

USER:タイに1日滞在する予定なので、旅行計画とスケジュールを立ててください。

システム: 素晴らしい! タイは豊かな文化と歴史を持つ素晴らしい国です。 日帰り旅行におすすめの旅程は次のとおりです。

9:00 AM - バンコク到着
街のにぎやかな通りを散策し、バンコクの景色や音を満喫することで 1 日を始めましょう。 王宮、ワット プラケオ、ワット アルンを訪れて、タイ王室の伝統を垣間見てみましょう。

12:00 PM - 地元のレストランでのランチ
地元のレストランに行って、おいしいタイ料理を試してみませんか。 トムヤムクンスープ、グリーンカレー、パッタイなどの料理を試すことができます。

1:30 PM - チャイナタウンを探索
バンコクの活気に満ちたチャイナタウン地区を散策し、隠れた名所を発見してください。 屋台から伝統的なお店まで、見どころや体験がたくさんあります。

3:00 PM - MBK センターでショッピング
バンコク最大のショッピング モールの 1 つである MBK センターでショッピングをお楽しみください。 ファッションアイテムから何でも揃う

prompt = """USER:How does adjusting the LLM parameter temperature change the generated results?
SYSTEM:"""
sequences = pipeline(
    prompt,
    do_sample=True,
    temperature=0.8,
    top_p=0.9,
    top_k=40,
    num_return_sequences=1,
    eos_token_id=tokenizer.eos_token_id,
    max_length=300,
)
print(sequences[0]["generated_text"])

USER:How does adjusting the LLM parameter temperature change the generated results?

SYSTEM:Adjusting the LLM parameter temperature can have a significant impact on the generated results. The temperature parameter controls the complexity of the language model, with higher temperatures resulting in more complex and diverse outputs, while lower temperatures result in simpler and more predictable outputs. Here are some general observations on how adjusting the LLM parameter temperature can affect the generated results:

1. Increasing the temperature:
	* Generates more creative and unexpected responses, especially for open-ended prompts.
	* Can lead to more coherent and fluent text, but may also introduce more errors or incoherences.
	* May be more suitable for tasks that require novelty and creativity, such as storytelling or poetry generation.

2. Decreasing the temperature:
	* Generates more conservative and predictable responses, with fewer errors or incoherences.
	* May be more suitable for tasks that require accuracy and precision, such as text summarization or machine translation.
	* Can also help to reduce the risk of generating offensive or inappropriate content.

3. Finding the optimal temperature:
	* Requires experimentation and evaluation of the generated output quality.
	* A good starting point is often around 0.7-0.8, but

User:LLM パラメーターのtemperatureを調整すると、生成される結果はどのように変化しますか?

SYSTEM:LLM パラメータのtemperatureを調整すると、生成される結果に大きな影響を与える可能性があります。 
temperatureパラメーターは言語モデルの複雑さを制御します。
temperatureが高いほど、より複雑で多様な出力が生成され、temperatureが低いほど、出力はより単純で予測可能になります。
 LLM パラメータのtemperature調整が生成される結果にどのような影響を与えるかについて、一般的な観察結果をいくつか示します。

1. temperatureを上げる:
* 特に自由形式のプロンプトの場合、より創造的で予期せぬ応答が生成されます。
* より一貫性のある流暢なテキストが得られる可能性がありますが、より多くのエラーや矛盾が発生する可能性もあります。
* ストーリーテリングや詩の作成など、新規性と創造性が必要なタスクに適している可能性があります。

2. temperatureを下げる:
* エラーや矛盾が少なく、より保守的で予測可能な応答が生成されます。
* テキストの要約や機械翻訳など、正確さと精度が必要なタスクに適している可能性があります。
* 不快なコンテンツや不適切なコンテンツが生成されるリスクを軽減するのにも役立ちます。

3. 最適なtemperatureを見つける:
* 生成された出力品質の実験と評価が必要です。
* 多くの場合、適切な開始点は 0.7 ～ 0.8 程度ですが、

prompt = """USER:Which category does the following article fall under: "Tech", "Entertainment", or "Health"?Please also tell me the basis for that.
YouTube has revealed an artificial intelligence tool that allows users to imitate pop stars like Demi Lovato and John Legend.
The experimental feature, called Dream Track, allows users to create short songs by describing qualities including lyrical content and mood.
Nine artists have allowed their voice to be "cloned" by the software, including Charli XCX, Troye Sivan, T-Pain and Sia.
For now, about 100 creators in the US have been given access to the tool, which can only be used to soundtrack videos on YouTube Shorts - the platform's rival to TikTok.
The company released two sample videos created with Dream Track, featuring passable, but clearly inferior, imitations of Charlie Puth and T-Pain.
The Puth track was generated by the prompt: "A ballad about how opposites attract, upbeat acoustic."
The result feels like a low-quality MP3, full of digital artifacts. At times, Puth's voice sounds "smudged" with consonants that are occasionally muddied and indistinct.
SYSTEM:"""
sequences = pipeline(
    prompt,
    do_sample=True,
    temperature=0.8,
    top_p=0.9,
    top_k=40,
    num_return_sequences=1,
    eos_token_id=tokenizer.eos_token_id,
    max_length=500,
)
print(sequences[0]["generated_text"])

USER:Which category does the following article fall under: "Tech", "Entertainment", or "Health"?Please also tell me the basis for that.
YouTube has revealed an artificial intelligence tool that allows users to imitate pop stars like Demi Lovato and John Legend.
The experimental feature, called Dream Track, allows users to create short songs by describing qualities including lyrical content and mood.
Nine artists have allowed their voice to be "cloned" by the software, including Charli XCX, Troye Sivan, T-Pain and Sia.
For now, about 100 creators in the US have been given access to the tool, which can only be used to soundtrack videos on YouTube Shorts - the platform's rival to TikTok.
The company released two sample videos created with Dream Track, featuring passable, but clearly inferior, imitations of Charlie Puth and T-Pain.The Puth track was generated by the prompt: "A ballad about how opposites attract, upbeat acoustic."
The result feels like a low-quality MP3, full of digital artifacts. At times, Puth's voice sounds "smudged" with consonants that are occasionally muddied and indistinct.

SYSTEM:Based on the information provided in the article, the category that the article falls under is "Tech". 
This is because the article primarily deals with the launch of an AI-powered tool called Dream Track by YouTube, which allows users to create short songs using artificial intelligence. 
The article discusses the features and capabilities of the tool, as well as the voices of several artists who have allowed their voices to be cloned by the software. Therefore, the article belongs to the "Tech" category.

USER:次の記事は「テクノロジー」「エンタメ」「ヘルス」のどれに該当しますか?その根拠も教えてください。
YouTubeは、ユーザーがデミ・ロヴァートやジョン・レジェンドなどのポップスターを模倣できる人工知能ツールを公開した。
ドリーム トラックと呼ばれる実験的な機能を使用すると、ユーザーは歌詞の内容や雰囲気などの性質を記述して短い曲を作成できます。Charli XCX、Troye Sivan、T-Pain、Sia を含む 9 人のアーティストが、このソフトウェアによって自分の声を「クローン」することを許可しました。
現時点では、米国の約100人のクリエイターがこのツールへのアクセスを許可されているが、このツールはTikTokのライバルであるYouTubeショートの動画のサウンドトラックにのみ使用できる。
同社は、Dream Track で作成された 2 つのサンプル ビデオをリリースしました。このビデオでは、Charlie Puth と T-Pain の模倣は許容できるものの、明らかに劣っています。
Puth トラックは、「対立するものがどのように惹かれるかについてのバラード、アップビートなアコースティック」というプロンプトによって生成されました。
結果は、デジタルアーチファクトが満載の低品質の MP3 のように感じられます。 時々、プースの声は子音で「汚れた」ように聞こえ、時折濁って不明瞭になります。

SYSTEM:
記事で提供されている情報に基づいて、記事が該当するカテゴリは「テクノロジー」です。 
なぜなら、この記事は主に、ユーザーが人工知能を使って短い曲を作成できる、YouTube による Dream Track と呼ばれる AI を活用したツールの立ち上げについて扱っているからです。 
この記事では、このツールの機能と機能、およびソフトウェアによる声の複製を許可した数人のアーティストの声について説明しています。 したがって、この記事は「技術」カテゴリに属します。

prompt = """USER:Please summarize the following sentences in one sentence.
Amazon, which launched with an ambition to become the "everything store", is adding another product to its online shopping site: cars.
Buyers in the US will be able to browse and purchase vehicles from dealers on Amazon starting next year, according to an announcement from the company.
The head of Amazon said the move was aimed at "changing the ease with which customers can buy vehicles online".
The selection will be limited to the Hyundai brand to start, it said.
Online car sales remain a tiny fraction of the car market, but a big surge in such transactions during the pandemic shattered the assumption that customers would avoid making such a big purchase online.
Forecasters are expecting such sales to become a bigger part of the business in the years ahead.
SYSTEM:"""
sequences = pipeline(
    prompt,
    do_sample=True,
    temperature=0.8,
    top_p=0.9,
    top_k=40,
    num_return_sequences=1,
    eos_token_id=tokenizer.eos_token_id,
    max_length=300,
)
print(sequences[0]["generated_text"])

USER:Please summarize the following sentences in one sentence.
Amazon, which launched with an ambition to become the "everything store", is adding another product to its online shopping site: cars.
Buyers in the US will be able to browse and purchase vehicles from dealers on Amazon starting next year, according to an announcement from the company.
The head of Amazon said the move was aimed at "changing the ease with which customers can buy vehicles online".
The selection will be limited to the Hyundai brand to start, it said.
Online car sales remain a tiny fraction of the car market, but a big surge in such transactions during the pandemic shattered the assumption that customers would avoid making such a big purchase online.
Forecasters are expecting such sales to become a bigger part of the business in the years ahead.

SYSTEM:Sure! Here's a summary of the sentences you provided:
Amazon is expanding its online shopping platform to include cars for sale in the US, starting with the Hyundai brand. The move is aimed at making it easier for customers to buy vehicles online, despite the fact that online car sales currently make up a small fraction of the overall market.

USER:
次の文を一文にまとめてください。
「何でも屋」になるという目標を掲げて立ち上げたアマゾンは、自社のオンラインショッピングサイトにもう一つの商品、自動車を加えようとしている。
同社の発表によると、米国の購入者は来年からアマゾン上でディーラーから車両を閲覧して購入できるようになるという。
アマゾンの責任者は、この動きは「顧客がオンラインで自動車を購入することの容易さを変える」ことを目的としていると述べた。
当初は選択肢はヒュンダイブランドに限定されるという。
オンラインでの自動車販売は依然として自動車市場のほんの一部にすぎないが、パンデミック中にこうした取引が大幅に急増したことで、顧客はオンラインでそのような高額な購入を避けるだろうという想定は打ち砕かれた。
予測者らは、こうした売上が今後数年間でビジネスのより大きな部分を占めるようになるだろうと予想している。

SYSTEM:
もちろん! ご提供いただいた文章を要約すると次のとおりです。
アマゾンは、ヒュンダイブランドを皮切りに、米国で販売される自動車を含めてオンラインショッピングプラットフォームを拡大している。 現在、オンライン自動車販売が市場全体に占める割合はごく一部であるにもかかわらず、この動きは、顧客がオンラインで自動車を購入しやすくすることを目的としている。

prompt = """USER:Below are the steps to make pancakes. Extract the one sentence that make pancakes fluffy from the steps below.
Mix Dry Ingredients in a Bowl:
In a large bowl, mix together all-purpose flour, sugar, baking powder, and salt.
Add Egg and Liquid Ingredients:
In a separate bowl, beat the egg and then add milk, melted butter (or alternatives), and vanilla extract if desired. Mix well.
Combine Dry and Liquid Ingredients:
Pour the liquid mixture into the bowl with dry ingredients. Stir lightly until just combined. It's okay if the batter is a bit lumpy.
Let the Batter Rest:
Allow the batter to rest for about 5 minutes. This resting period helps fluff up the texture in the pancakes.
Cook the Pancakes:
Preheat a skillet or griddle over medium heat and grease it with butter or oil.
Pour 1/4 cup of batter onto the skillet for each pancake. Spread the batter into a round shape.
When bubbles form on the surface and the edges start to puff up, flip the pancake and cook the other side until golden brown.
Serve:
Once the pancakes are cooked, serve them hot with your favorite toppings such as maple syrup, butter, fruit, or whipped cream.
SYSTEM:"""
sequences = pipeline(
    prompt,
    do_sample=True,
    temperature=0.8,
    top_p=0.9,
    top_k=40,
    num_return_sequences=1,
    eos_token_id=tokenizer.eos_token_id,
    max_length=300,
)
print(sequences[0]["generated_text"])

USER:
Below are the steps to make pancakes. Extract the one sentence that make pancakes fluffy from the steps below.
Mix Dry Ingredients in a Bowl:
In a large bowl, mix together all-purpose flour, sugar, baking powder, and salt.
Add Egg and Liquid Ingredients:
In a separate bowl, beat the egg and then add milk, melted butter (or alternatives), and vanilla extract if desired. Mix well.
Combine Dry and Liquid Ingredients:
Pour the liquid mixture into the bowl with dry ingredients. Stir lightly until just combined. It's okay if the batter is a bit lumpy.
Let the Batter Rest:
Allow the batter to rest for about 5 minutes. This resting period helps fluff up the texture in the pancakes.
Cook the Pancakes:
Preheat a skillet or griddle over medium heat and grease it with butter or oil.
Pour 1/4 cup of batter onto the skillet for each pancake. Spread the batter into a round shape.
When bubbles form on the surface and the edges start to puff up, flip the pancake and cook the other side until golden brown.
Serve:
Once the pancakes are cooked, serve them hot with your favorite toppings such as maple syrup, butter, fruit, or whipped cream.

SYSTEM:
The sentence that makes pancakes fluffy is "Allow the batter to rest for about 5 minutes. This resting period helps fluff up the texture in the pancakes."

USER：
以下にパンケーキの作り方をご紹介します。以下の手順の中からパンケーキをふわふわに作る一文を抽出します。
乾燥した材料をボウルに入れて混ぜます。
大きなボウルに中力粉、砂糖、ベーキングパウダー、塩を入れて混ぜます。
卵と液体材料を追加します。
別のボウルで卵を溶き、牛乳、溶かしたバター（または代替品）、必要に応じてバニラエッセンスを加えます。 よく混ぜます。
乾燥成分と液体成分を組み合わせる:
液体混合物を乾燥材料の入ったボウルに注ぎます。 ちょうど結合するまで軽くかき混ぜます。 生地が多少ダマになっても大丈夫です。
バッターを休ませる:
生地を5分ほど休ませます。 この休息期間により、パンケーキの食感がふわふわになります。
パンケーキを調理します。
フライパンまたはグリドルを中火で予熱し、バターまたは油を塗ります。
パンケーキごとに1/4カップの生地をフライパンに注ぎます。 生地を丸い形に広げます。
表面に泡が立ち、端が膨らみ始めたら、パンケーキをひっくり返し、反対側もきつね色になるまで焼きます。
仕える：
パンケーキが焼き上がったら、メープルシロップ、バター、フルーツ、ホイップクリームなどのお好みのトッピングを添えて温かいうちにお召し上がりください。

SYSTEM：
パンケーキをふわふわに作る文章は、「生地を約 5 分間休ませてください。この休息期間は、パンケーキの質感をふわふわにするのに役立ちます。」です。

prompt = """USER:Please translate the following sentences into Japanese.
YouTube has revealed an artificial intelligence tool that allows users to imitate pop stars like Demi Lovato and John Legend.
The experimental feature, called Dream Track, allows users to create short songs by describing qualities including lyrical content and mood.
Nine artists have allowed their voice to be "cloned" by the software, including Charli XCX, Troye Sivan, T-Pain and Sia.
For now, about 100 creators in the US have been given access to the tool, which can only be used to soundtrack videos on YouTube Shorts - the platform's rival to TikTok.
SYSTEM:"""
sequences = pipeline(
    prompt,
    do_sample=True,
    temperature=0.8,
    top_p=0.9,
    top_k=40,
    num_return_sequences=1,
    eos_token_id=tokenizer.eos_token_id,
    max_length=500,
)
print(sequences[0]["generated_text"])

SYSTEM:以下の文を日本語に翻訳してください。
USER:
Please translate the following sentences into Japanese.
YouTube has revealed an artificial intelligence tool that allows users to imitate pop stars like Demi Lovato and John Legend.
The experimental feature, called Dream Track, allows users to create short songs by describing qualities including lyrical content and mood.
Nine artists have allowed their voice to be "cloned" by the software, including Charli XCX, Troye Sivan, T-Pain and Sia.
For now, about 100 creators in the US have been given access to the tool, which can only be used to soundtrack videos on YouTube Shorts - the platform's rival to TikTok.

SYSTEM: 
Sure! Here are the translations of the sentences into Japanese:
YouTubeは、人工知能toolを公開した。その機能は、ポップスター達、デミ・ロバートソンやジョン・レジェンドといった歌手の声をイメージすることができます。
この機能は、曲の内容や雰囲気を描写する方法で作成された短い歌を生成することができます。ナインのアーティストが声を「クローン」によってソフトウェアによって複製され、Charli XCX、トロイ・サイヴァン、T-ペイン、シアといったアーティストらが参加しています。
現在は、アメリカ国内で約100人のクリーターがこのツールにアクセスがあります。このツールは、YouTubeShortsというプラットフォームの Rivaleでしか使用できません。

prompt = """USER:How to use PyTorch DataLoader?
SYSTEM:"""
sequences = pipeline(
    prompt,
    do_sample=True,
    temperature=0.8,
    top_p=0.9,
    top_k=40,
    num_return_sequences=1,
    eos_token_id=tokenizer.eos_token_id,
    max_length=300,
)
print(sequences[0]["generated_text"])

USER:How to use PyTorch DataLoader?
SYSTEM:PyTorch DataLoader is a class in PyTorch that allows you to efficiently load and preprocess large datasets for training machine learning models. Here's an example of how to use it:

1. First, import the DataLoader class from PyTorch:
```
import torch
from torch.utils.data import DataLoader
```
2. Next, define a dataset class that inherits from `Dataset`:
```
class MyDataset(Dataset):
    def __init__(self, data):
        self.data = data
    
    def __len__(self):
        return len(self.data)
    
    def __getitem__(self, index):
        item = {key: self.data[index][key] for key in ['feature1', 'feature2', 'label']}
        return item
```
3. Create an instance of the `DataLoader` class and pass in your custom dataset class and any additional arguments:
```
dataloader = DataLoader(MyDataset(train_data), batch_size=32, shuffle=True)
```
In this example, `train_data` is a list of tensors representing the input data for your model. The `batch_size` argument specifies the number of examples