Mac Book Pro 36g 本地试运行codeGeex4 模型记录

关注

最新推荐文章于 2026-08-20 21:56:43 发布 · 401 阅读

原创 ·

本内容遵循 CC 4.0 BY-SA 版权协议

· GEO检测

实测对比：CodeGeeX4 vs DeepSeek Coder V2，在IDEA里写代码到底谁更聪明？本文对比评测了CodeGeeX4和DeepSeek Coder V2在IntelliJ IDEA中的实际表现，涵盖代码补全、算法生成、框架适配和交互体验四大维度。测试显示，DeepSeek Coder V2在上下文理解、代码质量和业务语义补全方面更胜一筹，尤其擅长Spring和React框架的代码生成，尽管响应速度稍慢，但其生成结果更接近生产级代码标准。阅读详情

@Mac Book Pro 36g 本地运行codeGeex4 模型记录

第一步：在官网下载模型

GitHub
国内站魔方
（下载模型时可以将所需要的环境准备好）

第二步：前备环境

1.安装 Homebrew 的步骤：

打开终端：在 macOS 上，打开“终端”应用程序。你可以在“应用程序” -> “实用工具”中找到它。
运行安装命令：在终端中，复制并粘贴以下命令，然后按回车键：

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

按照提示操作：安装脚本会提示你输入密码，并确认安装位置。按照屏幕上的提示进行操作。
设置环境变量（如果需要）：安装完成后，脚本可能会提示你设置环境变量。按照提示，将以下命令添加到你的.zshrc 或 .bash_profile 文件中：

eval "$(/opt/homebrew/bin/brew shellenv)"

更新环境变量：保存文件后，运行以下命令来更新环境变量：

source ~/.zshrc
# 或者
source ~/.bash_profile

2.安装Python

需要Python 3.7+

brew install python

查看Python版本

python3 --version

3.创建一个Python环境下载库

cd /Volumes/KE/code train/

创建虚拟环境

python3 -m venv name

激活虚拟环境

source name/bin/activate

安装依赖

pip install torch transformers modelscope

transformers要安装推荐版本

pip install transformers==4.40.2

退出虚拟环境（运行完最后退出）

deactivate

运行模型

激活虚拟环境

source name/bin/activate

2.新建test.py 文件
请添加图片描述

加入调试代码

import torch
from modelscope import AutoTokenizer, AutoModelForCausalLM
import json
from transformers import AutoModelForCausalLM, AutoTokenizer

device = "mps" if torch.mps.is_available() else "cpu" #cuda改为mps
tokenizer = AutoTokenizer.from_pretrained("/替换成你自己的模型路径/codegeex4-all-9b", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    "替换成你自己的模型路径",
    torch_dtype=torch.bfloat16,
    low_cpu_mem_usage=True,
    trust_remote_code=True
).to(device).eval()
inputs = tokenizer.apply_chat_template([{"role": "user", "content": "write a quick sort"}], add_generation_prompt=True, tokenize=True, return_tensors="pt", return_dict=True).to(device)
with torch.no_grad():
    outputs = model.generate(**inputs, max_new_tokens=256)  # 添加 max_new_tokens
    outputs = outputs[:, inputs['input_ids'].shape[1]:]
    print(tokenizer.decode(outputs[0], skip_special_tokens=True))