Mac/iPad/iPhone 也想在本地玩 Stable Diffusion ?我一口气给你推荐 4 款免费软件

火热的 Stable Diffusion

AIGC 的浪潮席卷全球,人人都是艺术家的时代来临了。然而,一直以来,AI 都和显卡,尤其是 Nvidia 支持 CUDA 的显卡密不可分,想在 Mac 平台上训练与使用 AI,都要费一番功夫。

不过,随着苹果软件硬件的更新,Mac/iPad/iPhone 上玩 Stable Diffusion 也逐渐成为可能。主要有两种方式:

  • Core ML Stable Diffusion:苹果专门为 Stable Diffusion 推出的工具,作用有两个:一是将模型转换为 CoreML 格式,二是以 Swift 代码调用 CoreML 模型实现图像生成。可以支持 CPU、GPU 和 NE 等多种运行方式。
  • Maple Diffusion:网友制作转换工具,将 .ckpt (PyTorch model checkpoint)文件转换为 MPSGraph,可以通过苹果 MPS(Metal Performance Shaders)在 GPU 上运行计算和推理。

图片[1]-Mac/iPad/iPhone 也想在本地玩 Stable Diffusion ?我一口气给你推荐 4 款免费软件-五八三
下面我们来仔细说说,这两个派别的代表性 App。

CoreML 派:基于苹果 Core ML Stable Diffusion

一、Swift Core ML Diffusers ?

开源代码地址
Mac App Store 直接下载

这是来自 Huggingface 的开源 Demo,它利用苹果的转换工具,将 Stable Diffusion 转换为 CoreML 格式,保存在 Huggingface 上,使用时下载对应版本的 CoreML 模型来生成图像。

优势:开源,支持 GPU、NE、GPU+NE 等不同运行条件,支持 iOS 版(需自行编译),CoreML 速度快
缺点:不支持本地模型直接导入,示例中模型较少需自己添加

兼容性和性能

macOS Ventura 13.1
iOS/iPadOS 16.2
Xcode 14.2(自行构建)

~8s in macOS on MacBook Pro M1 Max (64 GB). Model: Stable Diffusion v2-base, ORIGINAL attention implementation, running on CPU + GPU.
23 ~ 30s on iPhone 13 Pro. Model: Stable Diffusion v2-base, SPLIT_EINSUM attention, CPU + Neural Engine, memory reduction enabled.

二、Mochi Diffusion:

开源代码地址
Github 直接下载 Mac 版

这是网友利用苹果 Swift 调用 CoreML 制作的开源 Demo,使用时需要自行下载 CoreML 格式模型,放入指定文件夹下来运行,也可以自行下载 Stable Diffusion 利用苹果转换工具转换后再导入。这里 有很多转换好的 CoreML 模型。

优势:开源,支持 GPU、NE、GPU+NE 等不同运行条件,支持本地模型直接导入,CoreML 速度快
缺点:无 iOS 版

兼容性

Apple 芯片的 Mac
macOS Ventura 13.1
Xcode 14.2 (自行构建)

MPSGraph 派:基于Maple Diffusion

三、Waifu Art AI

Mac App Store 直接下载

搭载了Aniplus V1模型(这是一个以Stable Diffusion 1.5 + Waifu Diffusion 1.3 + TrinArt Characters v1为基础特化训练的二次元绘画风格模型,并非 NovelAI 的改版),作者在其中加入了画风选择和基本的中文输入翻译系统。详情见这里

优势:支持 Mac/iPad/iPhone,界面有中文
缺点:不开源,模型不可选择,参数少

兼容性

macOS 12.3
iOS/iPadOS 16.0 ,6 GB 内存以上设备,例如 iPad M1/M2,iPhone 13 Pro,iPhone 14 或者 iPhone 14 Pro。

四、Draw Things

Mac App Store 直接下载

几乎是最强大的一个 Stable Diffusion 应用了,五星推荐。作者讲述制作过程:Stretch iPhone to its Limit, a 2GiB Model that can Draw Everything in Your Pocket

优势:支持 Mac/iPad/iPhone,可选参数多,可选模型多,在 iPhone 上只需 2GB 内存
缺点:不开源,导出模型与其他不通用,速度稍慢于苹果 CoreML

兼容性

macOS 12.4
iOS/iPadOS 15.4 ,A12 芯片,2GB 以上内存

总结

有了以上 4 个应用,相信大家都可以在自己的 mac/iPad/iPhone 上愉快的玩耍了。不过还需要注意的是以上软件有着不同的兼容性要求:

  • 对 iPhone 和 iPad,主要限制一般为 A12 以上芯片,4GB 甚至 6GB 内存,同时对 iOS/iPadOS 版本也有要求
  • 对 Mac,主要限制为系统版本,M1/M2 系列芯片为最佳。另外有些模型对 Intel 芯片有隐形限制,有时出图混乱,请根据自己的硬件和软件自行测试

另外,这些软件都会面临初次使用时加载慢的问题,下载好模型第一次出图特别慢,后续会变快。

© 版权声明
THE END
喜欢就支持一下吧
点赞0

Warning: mysqli_query(): (HY000/3): Error writing file '/tmp/MYTGBaMZ' (Errcode: 28 - No space left on device) in /www/wwwroot/583.cn/wp-includes/class-wpdb.php on line 2345
admin的头像-五八三
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

图形验证码
取消
昵称代码图片