本地配置ai模型文本类

当没有网络,或者网络不好的时候,依然可以使用ai,这时需要先进行本地配置,具体配置如下:

1、安装 Ollama

最低要求（能运行小模型）

• 8G 内存 + CPU
• 可以运行 Qwen-1.8B、LLaMA 1B 等小模型
• 不需要显卡，但速度慢

终端运行:brew install ollama

2、启动 & API
ollama serve
http://127.0.0.1:11434

3、另外开启终端,拉取模型
ollama pull qwen2:7b

# 或

ollama pull llama3:8b-instruct

4、模型参考

    Qwen 2.5 7B、LLaMA 8B、DeepSeek 7B、Qwen2.5 Coder 7B

5、运行模型
  ollama run qwen2:7b
就可以在终端和模型进行对话了

6、基本操作
列出所有已安装模型: ollama list

查看当前正在运行的模型: ollama ps

查看模型详细信息（参数、量化）: ollama show qwen2.5:7b
查看模型实际存储位置（高级）: ~/.ollama/models
删除不需要的模型: ollama rm 模型名
 

直接输入文字按 Enter 发送
换行输入（多行 prompt）Shift + Enter
退出对话 /exit或者Ctrl + D