【Llama2】GPUSOROBANでの使い方(Ubuntu)

jupyter lab --ip='*' --port=8888 --NotebookApp.token='' --NotebookApp.password='' --no-browser

localhost:8888

pip install transformers sentencepiece accelerate bitsandbytes scipy

import torch
from torch import cuda,bfloat16
from transformers import AutoTokenizer,AutoModelForCausalLM
import transformers

model_id = "meta-llama/Llama-2-70b-chat-hf"

token = 'hf_****************************'

quant_config = transformers.BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type='nf4',
    bnb_4bit_use_double_quant=True,
    bnb_4bit_compute_dtype=bfloat16
)

model = transformers.AutoModelForCausalLM.from_pretrained(
    model_id,
    trust_remote_code=True,
    token=token,
    quantization_config=quant_config,
    device_map="auto"
)

tokenizer = AutoTokenizer.from_pretrained(
    model_id,
    token=token
)

pipeline = transformers.pipeline(
    model=model,
    tokenizer=tokenizer,
    task="text-generation",
    repetition_penalty=1.1
)

prompt = """USER:Please tell me about tokenizer.eos_token_id.
SYSTEM:"""
sequences = pipeline(
    prompt,
    do_sample=True,
    temperature=0.8,
    top_p=0.9,
    top_k=40,
    num_return_sequences=1,
    eos_token_id=tokenizer.eos_token_id,
    max_length=300,
)
print(sequences[0]["generated_text"])

USER:Please tell me about tokenizer.eos_token_id.
SYSTEM:The `tokenizer.eos_token_id` property is a token ID that represents the end-of-stream (EOS) token in a given tokenizer. The EOS token is typically the last token in a sequence of tokens generated by the tokenizer, and it indicates the end of the input sequence.

For example, if you are using the `google/text-to-sequence` tokenizer to generate tokens for a sentence, the EOS token will be the last token in the sequence. You can use the `tokenizer.eos_token_id` property to identify this token and indicate that the input sequence has been fully processed.

Here's an example code snippet that demonstrates how to use the `tokenizer.eos_token_id` property:
```
from transformers import AutoTokenizer, AutoModelForSequenceClassification

# Load the tokenizer
tokenizer = AutoTokenizer.from_pretrained('google/text-to-sequence')

# Generate tokens for a sentence
tokens = tokenizer.encode("This is a sample sentence", return_tensors='pt')

# Get the EOS token ID
eos_token_id = tokenizer.eos_token_id

print(f"E

USER: tokenizer.eos_token_idについて教えてください。

SYSTEM: tokenizer.eos_token_idプロパティは、与えられたトークナイザー内で終了トークン（EOS）を表すトークンIDです。EOSトークンは通常、トークナイザーによって生成されたトークンのシーケンスの最後のトークンであり、入力シーケンスの終了を示します。

例えば、google/text-to-sequenceトークナイザーを使用して文のトークンを生成する場合、EOSトークンはシーケンス内の最後のトークンになります。tokenizer.eos_token_idプロパティを使用してこのトークンを識別し、入力シーケンスが完全に処理されたことを示すことができます。

以下は、tokenizer.eos_token_idプロパティの使用方法を示すコードスニペットの例です：

python
from transformers import AutoTokenizer, AutoModelForSequenceClassification

# トークナイザーの読み込み
tokenizer = AutoTokenizer.from_pretrained('google/text-to-sequence')

# 文のトークンを生成
tokens = tokenizer.encode("This is a sample sentence", return_tensors='pt')

# EOSトークンのIDを取得
eos_token_id = tokenizer.eos_token_id

print(f"E

prompt = """USER:Please tell me about AutoTokenizer.from_pretrained.
SYSTEM:"""
sequences = pipeline(
    prompt,
    do_sample=True,
    temperature=0.8,
    top_p=0.9,
    top_k=40,
    num_return_sequences=1,
    eos_token_id=tokenizer.eos_token_id,
    max_length=300,
)
print(sequences[0]["generated_text"])

USER:Please tell me about AutoTokenizer.from_pretrained.
SYSTEM:Certainly! AutoTokenizer is a convenient class in the transformers library that allows you to easily tokenize text data using pre-trained models. Here's how it works:

1. **Pre-trained models**: AutoTokenizer relies on pre-trained models that have been trained on large amounts of text data. These models are available for various languages and can be downloaded from the Hugging Face model hub.
2. **Tokenization**: When you call `AutoTokenizer.from_pretrained`, you pass in the path to a pre-trained model file, such as `bert-base-uncased`. The tokenizer will then load the model and use it to tokenize input text.
3. **Customization**: While AutoTokenizer provides a simple way to tokenize text, you may need to customize the output for your specific use case. For example, you might want to modify the tokenizer to exclude certain special characters or add custom tokens. In these cases, you can use the ` AutoTokenizer` class to create custom tokenizers with additional functionality.
4. **Efficiency**: AutoTokenizer is designed to be efficient and fast, making it suitable for large-scale text processing tasks. It uses a streaming approach to tokenization, which reduces memory

USER:AutoTokenizer.from_pretrained について教えてください。
システム:確かに! AutoTokenizer は、事前トレーニングされたモデルを使用してテキスト データを簡単にトークン化できるトランスフォーマー ライブラリの便利なクラスです。 仕組みは次のとおりです。

1. **事前トレーニングされたモデル**: AutoTokenizer は、大量のテキスト データでトレーニングされた事前トレーニング モデルに依存します。 これらのモデルはさまざまな言語で利用でき、Hugging Face モデル ハブからダウンロードできます。
2. **トークン化**: `AutoTokenizer.from_pretrained` を呼び出すときは、`bert-base-uncased` などの事前トレーニングされたモデル ファイルへのパスを渡します。 トークナイザーはモデルをロードし、それを使用して入力テキストをトークン化します。
3. **カスタマイズ**: AutoTokenizer はテキストをトークン化する簡単な方法を提供しますが、特定の使用例に合わせて出力をカスタマイズする必要がある場合があります。 たとえば、トークナイザーを変更して、特定の特殊文字を除外したり、カスタム トークンを追加したりすることができます。このような場合、`AutoTokenizer` クラスを使用して、追加機能を備えたカスタム トークナイザーを作成できます。
4. **効率**: AutoTokenizer は効率的かつ高速に実行できるように設計されており、大規模なテキスト処理タスクに適しています。 トークン化にはストリーミング アプローチを使用します。

prompt = """USER:Please tell me the role of do_sample=True used in the Transformers.pipeline at inference.
SYSTEM:"""
sequences = pipeline(
    prompt,
    do_sample=True,
    temperature=0.8,
    top_p=0.9,
    top_k=40,
    num_return_sequences=1,
    eos_token_id=tokenizer.eos_token_id,
    max_length=300,
)
print(sequences[0]["generated_text"])

USER:Please tell me the role of do_sample=True used in the Transformers.pipeline at inference.
SYSTEM:The `do_sample=True` parameter is used in the Transformers.pipeline to sample the input data during inference. This is done to reduce the computational cost of the pipeline by only processing a subset of the input data, rather than the entire dataset.

When `do_sample=True`, the pipeline will randomly sample a subset of the input data and use that subset to perform the inference. The size of the sampled subset is determined by the `sample_size` parameter, which can be set to a value between 0 and the total number of input samples.

By default, `do_sample=False`, meaning that the pipeline will process the entire input dataset during inference. However, in some cases, it may be desirable to reduce the computational cost of the pipeline by sampling the input data. For example, if you are working with very large datasets or if you want to speed up the inference process for a specific model, setting `do_sample=True` can be useful.

It's worth noting that using `do_sample=True` can result in a slight loss of accuracy compared to processing the entire input dataset. However, this loss should be relatively small, especially when the sample size is reasonably large.

USER: 推論時のTransformers.pipelineで使用されるdo_sample=Trueの役割を教えてください。
SYSTEM: do_sample=True パラメータは、Transformers.pipeline内で推論時に入力データをサンプリングするために使用されます。これにより、パイプラインの計算コストを削減し、入力データのサブセットのみを処理することが可能になります。

do_sample=True の場合、パイプラインは入力データのサブセットをランダムにサンプリングし、そのサブセットを使用して推論を実行します。サンプリングされるサブセットのサイズは、sample_size パラメータによって決定され、0から入力サンプルの総数までの値に設定できます。

デフォルトでは、do_sample=False であり、これはパイプラインが推論時に入力データセット全体を処理することを意味します。ただし、非常に大きなデータセットで作業している場合や特定のモデルの推論プロセスを高速化したい場合など、入力データをサンプリングしてパイプラインの計算コストを削減することが望ましい場合があります。do_sample=True を設定することで、このような場面で役立つことがあります。

do_sample=True を使用することは、入力データセット全体を処理する場合と比較してわずかな精度の損失を引き起こす可能性があります。ただし、特にサンプルサイズが十分に大きい場合、この損失は比較的小さくなるはずです。