Windows 10系统,通过ollama运行Google最新开源大模型Gemma成功。
过程:
1. 下载安装Ollama
2、直接在命令行执行ollama run gemma:7b 会自动下载模型并启动
速度和资源占用情况:
我下载的是7b版本,运行12核24线程大约占了70%, 内存占用20G左右,2060 6G显卡最大占用75%。生成速度大约是10token每秒。
等后续搞个套壳吧,界面太原始了
Windows 10系统,通过ollama运行Google最新开源大模型Gemma成功。
过程:
1. 下载安装Ollama
2、直接在命令行执行ollama run gemma:7b 会自动下载模型并启动
速度和资源占用情况:
我下载的是7b版本,运行12核24线程大约占了70%, 内存占用20G左右,2060 6G显卡最大占用75%。生成速度大约是10token每秒。
等后续搞个套壳吧,界面太原始了