【Llama2】Macでの Llama.cppの使い方 | ローカル環境

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

export PATH="$PATH:/opt/homebrew/bin/"

brew --version

brew install wget git cmake

xcode-select --install

git clone https://github.com/ggerganov/llama.cpp

cd llama.cpp

make

cd ~/llama.cpp/models

curl -O -L https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGUF/resolve/main/llama-2-7b-chat.Q4_K_M.gguf

~/llama.cpp/main -ngl 32 -m ~/llama.cpp/models/llama-2-7b-chat.q4_K_M.gguf --color -c 4096 --temp 0.7 --repeat_penalty 1.1 -n -1 -p "[INST] <<SYS>>\nYour role is that of a copywriter.Please think of 10 catchphrases for your new product using the #keywords below as a reference.

#keyword:Soft drinks,Peach flavor,Slightly carbonated,Sweet and sour,refreshing,Summer only,Uses “Shimizu White Peach”,Limited to convenience stores.\n<</SYS>>\n{prompt}[/INST]"

[INST] <<SYS>>\nYour role is that of a copywriter.Please think of 10 catchphrases for your new product using the #keywords below as a reference.

#keyword:Soft drinks,Peach flavor,Slightly carbonated,Sweet and sour,refreshing,Summer only,Uses “Shimizu White Peach”,Limited to convenience stores.\n<</SYS>>\n{prompt}[/INST]  Absolutely! Here are ten catchphrases for my new peach-flavored soft drink, incorporating the given keywords:

"Sip into summer with Shimizu White Peach - only at convenience stores!"
"A refreshing twist on classic flavors - Shimizu White Peach, limited to convenience stores!"
"Peachy keen and slightly carbonated - try Shimizu White Peach today!"
"Sweet and sour perfection in a can - Shimizu White Peach for the summer only at convenience stores!"
"Unlock your taste buds this summer with Shimizu White Peach - available exclusively at convenience stores!"
"Shimizu White Peach: The perfect companion for long, hot days and fun-filled nights."
"Give in to your cravings for something sweet and fruity - Shimizu White Peach is here, only at convenience stores!"
"A burst of peachy goodness in every can - Shimizu White Peach, the ultimate summer treat."
"Sip, relax, repeat with Shimizu White Peach - available exclusively at your local convenience store."
"Shimizu White Peach: The secret ingredient to making this summer one for the books!" [end of text]
llama_print_timings:        load time =    3732.54 ms
llama_print_timings:      sample time =      26.66 ms /   308 runs   (    0.09 ms per token, 11552.02 tokens per second)
llama_print_timings: prompt eval time =     636.61 ms /   109 tokens (    5.84 ms per token,   171.22 tokens per second)
llama_print_timings:        eval time =   11042.98 ms /   307 runs   (   35.97 ms per token,    27.80 tokens per second)
llama_print_timings:       total time =   11772.77 ms
ggml_metal_free: deallocating
Log end

[INST] <<SYS>>\n
あなたの役割はコピーライターです。以下のキーワードを参考に、新製品のために10のキャッチフレーズを考えてください。

#keyword:ソフトドリンク, ピーチフレーバー, わずかに炭酸, 甘酸っぱい, さわやか, 夏季限定, “清水ホワイトピーチ”使用, コンビニ限定。

\n<</SYS>>\n{prompt}[/INST]
 もちろん！ 以下は、与えられたキーワードを取り入れた、新しいピーチ味のソフトドリンクのための10のキャッチフレーズです:

"清水ホワイトピーチで夏を楽しもう - コンビニでのみ入手可能！"
"クラシックな味にさわやかなアレンジ - 清水ホワイトピーチ、コンビニ限定！"
"ピーチの甘酸っぱさとわずかな炭酸 - 今すぐ清水ホワイトピーチを試してみて！"
"缶入りの甘酸っぱい完璧さ - 清水ホワイトピーチ、夏季限定、コンビニでのみ！"
"夏にはコンビニでのみ入手可能な清水ホワイトピーチで味覚を解き放とう！"
"清水ホワイトピーチ：長い暑い日と楽しい夜の理想の相棒。"
"甘くてフルーティーな欲望に身を任せる - 清水ホワイトピーチはここにあり、コンビニでのみ入手可能！"
"缶ごとのピーチの良さの爆発 - 清水ホワイトピーチ、究極の夏のご褒美。"
"清水ホワイトピーチで一口飲んで、リラックスして、繰り返そう - あなたの地元のコンビニでのみ入手可能。"
"清水ホワイトピーチ：今年の夏を特別なものにする秘密の成分！" 
 [end of text]