【Llama2】 Windows CPUでのllama-cpp-pythonの使い方 | ローカル環境

wsl --install

wsl --list --verbose

wsl --set-version ubuntu 2

sudo apt update

sudo apt install \
    apt-transport-https \
    ca-certificates \
    curl \
    gnupg-agent \
    software-properties-common

sudo mkdir -p /etc/apt/keyrings

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg

sudo chmod a+r /etc/apt/keyrings/docker.gpg

echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

sudo apt update

sudo apt install docker-ce docker-ce-cli containerd.io

sudo usermod -aG docker user

newgrp docker

sudo service docker restart

wget https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGUF/resolve/main/llama-2-7b-chat.Q4_K_M.gguf

git clone https://github.com/abetlen/llama-cpp-python

cd llama-cpp-python/docker/openblas_simple

docker build -t openblas_simple .

docker run -d --cap-add SYS_RESOURCE -e USE_MLOCK=0 -e MODEL=/var/model -v /home/user/llama-2-7b-chat.Q4_K_M.gguf:/var/model --name llama -t openblas_simple /bin/bash

docker exec -it llama /bin/bash

python

from llama_cpp import Llama

llm = Llama(model_path="/var/model", chat_format="llama-2")

llm.create_chat_completion(
      messages = [
          {"role": "system", "content": "You are a salesperson at an electronics retail store."},
          {
              "role": "user",
              "content": "Please tell me the points to consider when choosing a Bluetooth speaker."
          }
      ]
)

llama_print_timings:        load time =  114820.88 ms
llama_print_timings:      sample time =     687.82 ms /   465 runs   (    1.48 ms per token,   676.05 tokens per second)
llama_print_timings: prompt eval time =  114818.38 ms /    47 tokens ( 2442.94 ms per token,     0.41 tokens per second)
llama_print_timings:        eval time = 2159593.48 ms /   464 runs   ( 4654.30 ms per token,     0.21 tokens per second)
llama_print_timings:       total time = 2280901.65 ms
{'id': 'chatcmpl-b4112bd8-27d8-4e55-b00b-01afb1fc7a35', 'object': 'chat.completion', 'created': 1703939758, 'model': '/var/model', 'choices': [{'index': 0, 'message': {'role': 'assistant', 'content': "  
Absolutely! As a salesperson at an electronics retail store, I'd be happy to help you choose the perfect Bluetooth speaker for your needs. Here are some key factors to consider:
\n1. Sound Quality: Look for a speaker that produces clear and rich sound with good bass. You should also check the frequency response range to ensure it can handle a wide range of audio frequencies.
\n2. Connectivity: Make sure the speaker is compatible with your devices, such as smartphones, tablets, or laptops. Bluetooth 5.0 is the latest and most reliable standard for wireless connectivity.
\n3. Battery Life: Consider how long you want the speaker to last on a single charge. Look for a speaker that can provide at least 8-10 hours of battery life, but some high-end models can go up to 24 hours or more.
\n4. Durability and Build Quality: A rugged and well-built speaker will withstand the rigors of travel and outdoor use. Look for a speaker with a durable casing and a sturdy handle, if available.
\n5. Portability: If you plan to take your speaker on the go, consider its size and weight. A smaller, lightweight speaker is easier to carry around, but may not produce as much sound quality as larger models.
\n6. Water Resistance: If you plan to use your speaker near water or in wet conditions, look for a model that's IP67 or higher rated for water resistance. This will protect the speaker from accidental splashes or immersion in water.
\n7. Additional Features: Some Bluetooth speakers come with additional features like built-in microphones, FM radios, or even LED lights. Consider whether these features are important to you and your needs.
\n8. Price: Bluetooth speakers can range from very affordable to very expensive. Set a budget for yourself and look for speakers that meet your requirements within that price range. Keep in mind that higher prices don't always mean better sound quality, so compare different models before making a decision.
\n9. Brand Reputation: Consider the reputation of the brand"},
 'finish_reason': 'length'}], 'usage': {'prompt_tokens': 47, 'completion_tokens': 465, 'total_tokens': 512}}

{'id': 'chatcmpl-b4112bd8-27d8-4e55-b00b-01afb1fc7a35'、'object': 'chat.completion'、'created': 1703939758、'model': '/var/model'、'choices': [{'index': 0, 'message': {'role': 'assistant', 'content': " 
ぜひ！家電量販店の販売員として、ぴったりのBluetoothスピーカー選びをお手伝いさせていただきます ニーズに合わせて選択してください。考慮すべき重要な要素は次のとおりです:
\n1. 音質: 優れた低音を備えたクリアで豊かなサウンドを生み出すスピーカーを探してください。
また、周波数応答範囲をチェックして、幅広いオーディオを処理できることを確認する必要があります。 
\n2. 接続性: スピーカーがスマートフォン、タブレット、ラップトップなどのデバイスと互換性があることを確認してください。Bluetooth 5.0 は、ワイヤレス接続の最新かつ最も信頼性の高い標準です。
\n3. バッテリー寿命: 必要な長さを検討してください。
 スピーカーは 1 回の充電で持続します。バッテリー寿命が少なくとも 8 ～ 10 時間あるスピーカーを探してください。
ただし、一部のハイエンド モデルでは最大 24 時間以上持続するものもあります。
\n4. 耐久性と製造品質: A 頑丈でよく構築されたスピーカーは、旅行や屋外での過酷な使用にも耐えます。 
可能であれば、耐久性のあるケースと頑丈なハンドルを備えたスピーカーを探してください。
\n5. 携帯性: スピーカーを外出先に持ち歩く予定がある場合は、そのサイズと重量を考慮してください。
 小型軽量のスピーカーは持ち運びが簡単ですが、大型モデルほどの音質が得られない可能性があります。
\n6. 耐水性: 水の近くまたは濡れた状態でスピーカーを使用する予定がある場合は、IP67 以上の耐水性を備えたモデルを探してください。 これにより、スピーカーが偶発的な水しぶきや水没から保護されます。
\n7. 追加機能: 一部の Bluetooth スピーカーには、内蔵マイク、FM ラジオ、LED ライトなどの追加機能が付属しています。
 これらの機能が自分と自分のニーズにとって重要かどうかを検討してください。
\n8. 価格: Bluetooth スピーカーは、非常に手頃な価格のものから非常に高価なものまでさまざまです。 
自分で予算を設定し、その価格帯内で要件を満たすスピーカーを探してください。 価格が高いほど音質が必ずしも良いとは限らないため、決定を下す前にさまざまなモデルを比較してください。
\n9. ブランドの評判: ブランドの評判を考慮します"}, 
'finish_reason': 'length'}], 'usage': { 'prompt_tokens': 47, 'completion_tokens': 465, 'total_tokens': 512}}