本地部署GPU至少24GBGPU显存。

也可以选择云GPU服务器，T4以上显卡

为了开始工作，通过运行以下命令从GitHub克隆MiniGPT-4仓库：

git clone https://github.com/Vision-CAIR/MiniGPT-4.git

进入MiniGPT-4目录

cd MiniGPT-4

安装Miniconda并创建一个Conda环境

接下来，通过运行以下命令下载并安装Miniconda：

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

bash Miniconda3-latest-Linux-x86_64.sh

激活基础conda环境，并使用提供的environment.yml 文件创建一个新环境：

source ~/.bashrc

conda env create -f environment.yml

conda activate minigpt4

安装Git LFS并克隆所需的模型存储库

更新你的软件包列表，并通过运行以下程序安装Git LFS：

sudo apt update

sudo apt install git-lfs

然后，克隆Vicuna：

git clone https://huggingface.co/lmsys/vicuna-13b-delta-v0

根据LLAMA（Facebook）的许可证，你必须填写这个表格来申请
原始的LLAMA-13B权重。
但是如果你想测试，你可以使用Huggingface的Repo，你可以马上得到权重。除非你有LLAMA（Facebook）的许可，否则不建议这样做。未经许可进行可能会有风险和潜在的法律影响。

git lfs install

git clone https://huggingface.co/huggyllama/llama-13b

安装FastChat

安装FastChat，这是MiniGPT-4的一个必要的依赖项，通过运行：

pip install git+https://github.com/lm-sys/FastChat.git@v0.1.10

将Delta应用于基本的Llama模型

现在，将Vicuna delta应用到基础Llama模型上。
将路径添加到你上面克隆的模型上：

python -m fastchat.model.apply_delta --base /path/to/llama-13b --target /path/to/output-folder/vicuna --delta /path/to/vicuna-13b-delta-v0

更新MiniGPT-4配置文件

修改MiniGPT-4/minigpt4/configs/models/minigpt4.yaml 文件以使用新创建的Vicuna模型。将第14行改为：

llama_model: "/path/to/vicuna"

下载预训练的检查点

从以下链接下载预训练的检查点：

drive.google.com

然后，在评估配置文件eval_configs/minigpt4_eval.yaml 第11行设置预训练检查点的路径。

ckpt: '/path/to/pretrained_minigpt4.pth'

运行预训练的模型

最后，用以下命令运行预训练的模型：