资讯原文地址： zaozaoliao.feishu.cn/wiki/UANlws…
资讯功能内测中，欢迎各位能够多多提建议，我们将快速迭代～
「 行业动态 」
◇ Transformer 取代者登场！微软清华推出 RetNet：推理提升 8 倍， 内存 占用降 70% ? Link ， Paper
Transformer 已成为 LLM 普遍采用的架构，然而其训练并行性是以低效推理为代价。RetNet 同时实现了低成本推理、高效长序列建模、媲美 Transformer 的性能和并行模型训练，打破了“不可能三角”。实验表明，对于 7B 模型和 8k 序列长度，RetNet 的解码速度是带键值缓存 Transformers 的 8.4 倍，内存节省 70%。RetNet 训练比标准 Transformer 节省 25-50%的内存，提速 7 倍，并在高度优化的 FlashAttention 方面具有优势。RetNet 推理延迟对批大小不敏感，从而实现了巨大吞吐量。但有研究者提出疑问：这么优秀的表现是否意味着 RetNet 要在某些方面有所权衡，以及它能否扩展到视觉领域。
◇ FlashAttention 进化！v2 提速 5-9 倍，高达 225 TFLOPs /s ? Twitter ， Github
相比于 v1，更强大，在 A100 上训练速度高达 225 TFLOPs/s，比标准注意力提高 5-9 倍速，瞬间席卷各大深度学习库。（去年发布 FlashAttention，自注意力机制提速 2-4 倍，现已广泛应用于各大语言模型库）
◇ 缓兵之计？ OpenAI 「打死都不说」的 GPT-4 训练细节被传出，这是我的解读 ? Link
“OpenAI 可能是有意放出的本次传闻…所以，这也许是 OpenAI 的缓兵之计——我就给你们透露一些 GPT-4 的信息，让头部的玩家都先去做 GPT-4 的复刻工作，把 OpenAI 已经走过的路也再走一遍。”
◇ 650 亿参数 LLM 预训练方案开源可商用！仅需 32 张 GPU ，助力 LLaMA 模型提速 38% ? Link ， Project
Colossal-AI 开源 650 亿参数大模型的预训练方案，发布即开源。仅需 32 张 A100/A800 GPU，即可将 LLaMA 大模型的预训练速度提高 38%。更难得的是，不限制商用，为大模型企业节省大量成本。
◇ Wix 推出网站自动生成服务，秒级创建网站 ? Twitter
Wix 倾力推出 AI 网站生成器，仅需几秒钟，就能创建属于你的全新网站。无需编程，无需等待，只需简单描述，回答几个问题，一切就绪。Wix CEO Avishai Abrahami 强调，Wix 致力借助 AI 推动网站创建进步，助力企业发展。
◇ 一站式 AI 角色定制 RealChar：实时对话，无界沟通 ? Project ， Github ， Twitter
RealChar，一个轻松创建、自定义并与 AI 角色实时对话的平台。这里，您无需任何编程知识，即可打造出具有独特个性、背景和声音属性的 AI 角色。无论您身处何处都能通过 Web、PC 等平台，与您的定制 AI 角色进行深入交流。
◇ 【报告】 AI ****大模型 赋能千行百业 ? Download
「 早点趣玩 」
◇ Jerry Liu 分享 RAG 构建教程 ? Twitter
通过教程了解如何自下而上构建聊天机器人。
◇ Reddit 热帖：为何 AI 尚未全面接入语音助手？ ? Reddit
这是 Reddit 论坛 ChatGPT 子区一篇非常有意思的帖子，讨论为什么目前还未基于 LLM 的语音助手产品 。近 500 条评论各抒己见，从技术、商业和伦理角度，阐述面临着哪些问题。
◇ 2023 年上半年国内外生成式 AI 及 大模型 企业融资事件
「 讲师招募 」
2023 年 8 月 12 日，早早聊计划举办线上【前端搞构建】专场
? 讲师报名，可联系早早聊负责人 Micky （wx：wongmicky）
?️ 可以聊聊：各类跨端、跨栈构建解决方案、构建的难点与挑战、Bundle 与 Bundleless 构建工具、本地/远程/上云构建方案、工程体积与构建性能、模块标准与模块规范、基于服务/浏览器的构建、分发等…
? 讲师福利，一次分享，即可享受：
- 永久免费与会前端早早聊大会
- 免费参与早早聊举办的酒蒙子局，认识更多技术人、创业人、AI 同行者
- 线上招聘，社区优先简历内推
- 还有更多等你来解锁…
