Linux部署Flux的GGUF量化版

# 前序

AI画图风靡一时，极客精神必须要自建。

# 机器配置

操作系统：Tlinux 3.2 CPU：32核 CPU：32 核内存：64G 硬盘：500G 显卡：L20 1/3卡，显存14G

# 基础环境配置

# 1.安装conda

conda初始化一个干净的python环境，创建install_conda.sh

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20


# 创建指定目录
mkdir -p ~/miniconda3

# 下载安装脚本到目标目录
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh

# 执行静默安装（-b: 静默模式，-u: 更新现有安装，-p: 指定路径）
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3

# 删除安装脚本（可选）
rm ~/miniconda3/miniconda.sh

# 编辑用户配置文件（如.bashrc或.zshrc）
echo 'export PATH="$HOME/miniconda3/bin:$PATH"' >> ~/.bashrc

# 使配置生效
source ~/.bashrc

# 初始化conda
conda init

~/miniconda3指定了安装路径，可以按需更改。执行install_conda.sh完后，关掉命令行，重新打开。

# 2.创建环境

1

conda create --name stable-diffusion-webui-forge python=3.12

# 3.进入到新环境

1

conda activate stable-diffusion-webui-forge

# 基于源码部署

# 1.下载stable-diffusion-webui-forge源码

1

git clone https://github.com/lllyasviel/stable-diffusion-webui-forge.git

# 2.安装依赖包

进入到stable-diffusion-webui-forge文件夹下，执行webui.sh

1

bash webui.sh

注意： 1.如果是非root环境，请将webui.sh中can_run_as_root改成1。 2.将venv文件夹命名为_。

# 3.下载模型和vae

下载vae

vae下载可以从flux-dev或flux-schnell

1
2


# 保存到models\VAE
wget https://huggingface.co/black-forest-labs/FLUX.1-dev/blob/main/ae.safetensors -P ./models/VAE

会出现401下载失败，推荐下载到本地再上传到机器。

-下载clip-l和t5

1
2
3
4
5


# 保存到models/text_encoder
wget https://huggingface.co/comfyanonymous/flux_text_encoders/resolve/main/clip_l.safetensors -P ./models/text_encoder

# 保存到models/text_encoder
wget https://huggingface.co/comfyanonymous/flux_text_encoders/resolve/main/t5xxl_fp16.safetensors -P ./models/text_encoder

下载flux-gguf模型

可以从这里下载flux-dev和fulx-schnell

1

wget https://huggingface.co/lllyasviel/FLUX.1-dev-gguf/resolve/main/flux1-dev-Q4_0.gguf -P ./models/Stable-diffusion

# 启动程序

1

./webui.sh -f --listen --port 7860

接下来便可以访问7860端口启动的服务了。

# 参考

flux gguf模型下载