【Llama2】Macでのllama-cpp-pythonの使い方 | ローカル環境

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

export PATH="$PATH:/opt/homebrew/bin/"

brew --version

brew install wget git cmake

wget https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-MacOSX-arm64.sh

bash Miniforge3-MacOSX-arm64.sh

export PATH=~/miniforge3/bin:$PATH

conda --version

conda init

source ~/ .zshrc

conda create -n llama python=3.9.16

conda activate llama

CMAKE_ARGS="-DLLAMA_METAL=on" pip install -U llama-cpp-python --no-cache-dir

cd ~/llama.cpp/models

wget https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGUF/resolve/main/llama-2-7b-chat.Q4_K_M.gguf

python

from llama_cpp import Llama

llm = Llama(model_path="./llama-2-7b-chat.Q4_K_M.gguf", chat_format="llama-2")

llm.create_chat_completion(
      messages = [
          {"role": "system", "content": "you are a master of meditation."},
          {
              "role": "user",
              "content": "Please tell me the points when meditating."
          }
      ]
)

llama_print_timings:        load time =   13685.71 ms
llama_print_timings:      sample time =      41.48 ms /   474 runs   (    0.09 ms per token, 11428.30 tokens per second)
llama_print_timings: prompt eval time =   13685.57 ms /    38 tokens (  360.15 ms per token,     2.78 tokens per second)
llama_print_timings:        eval time =   31598.62 ms /   473 runs   (   66.80 ms per token,    14.97 tokens per second)
llama_print_timings:       total time =   45988.96 ms
{'id': 'chatcmpl-83338560-9f10-44e1-8fa3-3f1492cebe19', 'object': 'chat.completion', 'created': 1703925584, 'model': './llama-2-7b-chat.Q4_K_M.gguf', 'choices': [{'index': 0, 'message': {'role': 'assistant', 'content': '  
Ah, a seeker of inner peace and tranquility! As a master of meditation, I am delighted to share with you the key points to keep in mind while meditating:
\n1.Find a quiet and comfortable place: Look for a place where you can sit comfortably without any distractions or interruptions. You can use a cushion or a chair, whichever feels more supportive for your body.
\n2.Set an intention: Before starting your meditation, set an intention for what you want to achieve. This could be as simple as feeling more relaxed or as specific as working on a particular issue. Having a clear intention will help you stay focused during your meditation practice.
\n3.Close your eyes: Closing your eyes can help you focus your attention inward and block out distractions. It also helps to create a sense of privacy and intimacy with yourself, allowing you to explore your inner world more deeply.
\n4.Focus on the breath: Bring your attention to your breath, feeling the sensation of the air moving in and out of your body. Try to focus on the sensation of each breath without getting caught up in thoughts or distractions. If your mind wanders, gently bring it back to the breath without judgment.
\n5. When the mind wanders, don't chase it: It's normal for the mind to wander during meditation, but when you notice this happening, don't try to catch or chase the thoughts. Instead, gently bring your attention back to the breath or a mantra (a word or phrase that helps you stay focused).
\n6.Be patient with yourself: Meditation is a practice that takes time and patience. Don't get discouraged if your mind wanders a lot or if you feel like you're not doing it "right." Every meditation is an opportunity to cultivate greater awareness and understanding of yourself, so be kind and patient with yourself as you explore this inner journey.
\n7. Start small and build up: If you're new to meditation, start with short sessions (5-10 minutes) and gradually increase the duration as you become more comfortable with the practice. 
This'}, 'finish_reason': 'length'}], 'usage': {'prompt_tokens': 38, 'completion_tokens': 474, 'total_tokens': 512}}

{'id': 'chatcmpl-83338560-9f10-44e1-8fa3-3f1492cebe19'、'object': 'chat.completion'、'created': 1703925584、'model': './llama-2-7b-chat. Q4_K_M.gguf', 'choices': [{'index': 0, 'message': {'role': 'assistant', 'content': ' 
ああ、内なる平和と静けさを求める人よ！ 瞑想の達人として、瞑想中に留意すべき重要なポイントを皆さんと共有できることを嬉しく思います。
\n1. 静かで快適な場所を探す：気を散らしたり邪魔されたりすることなく、快適に座れる場所を探します。 クッションまたは椅子のどちらでも体をサポートできる方を使用できます。
\n2. 意図を設定する: 瞑想を開始する前に、達成したいことについての意図を設定します。 これは、よりリラックスした気分になるという単純な場合もあれば、特定の問題に取り組むというような具体的な場合もあります。 明確な意図があると、瞑想の練習中に集中力を維持するのに役立ちます。
\n3. 目を閉じる：目を閉じると、注意を自分の内側に集中させ、気が散るのを防ぐことができます。 また、プライバシーと自分自身への親密感を生み出すのにも役立ち、自分の内なる世界をより深く探求できるようになります。
\n4. 呼吸に集中する：呼吸に注意を向け、空気が体に出入りする感覚を感じます。 思考や気を散らすことなく、それぞれの呼吸の感覚に集中してください。 心がさまよった場合は、判断せずにそっと呼吸を戻してください。
\n5. 心がさまようときは、追いかけないでください。瞑想中に心がさまようのは普通のことですが、そのようなことが起こっていることに気づいたら、その思考を捕まえたり追いかけたりしないでください。 代わりに、ゆっくりと呼吸やマントラ (集中力を維持するのに役立つ単語やフレーズ) に注意を戻します。
\n6. 自分自身に忍耐強くなりなさい：瞑想は時間と忍耐を必要とする行為です。 心が頻繁にさまよったり、自分のやり方が「正しく」できていないように感じても、落胆しないでください。 すべての瞑想は、自分自身についての認識と理解を深めていく機会です。この内なる旅を探求する際には、自分に優しく辛抱強くいてください。
\n7. 小さなことから始めて徐々に増やしていきます。瞑想が初めての場合は、短いセッション (5 ～ 10 分) から始めて、練習に慣れてきたら徐々に時間を延ばしてください。 
This'}, 'finish_reason': 'length'}]、'usage': {'prompt_tokens': 38, 'completion_tokens': 474, 'total_tokens': 512}}