AI中文社区

#AI工程
推荐一个给ChatGLM-6B 做微调的repo，支持 freeze、ptuning、lora三种微调方法。其中lora效果最好。

⭐️ 实测结果：
- 单卡V100，Lora微调 alpaca_gpt4_zh，40分钟
- 六卡V100，freeze 微调 alpaca_gpt4_zh，10分钟

🖥 更多详情

图二: chatGPT 用户国籍占比

日本算不算在AI上最开放的国家？

#AI工程 #推荐阅读
Transformer 语言模型的资源成本考虑

这篇文章主要从计算资源和内存资源两个方面介绍了Transformer 语言模型成本问题，重点关注训练成本。为如何降低模型训练门槛提供了不错的思路。

⭐️ 计算资源：
· 训练所需计算量的计算公式
· 权衡参数与数据集大小
· 一些工程要点

⭐️ 内存资源：
· 模型参数精度对推理内存的影响
· 推理所需总内存的计算公式
· 精度、优化器状态、梯度、批大小的影响
· 分布式训练

⚜️ https://blog.eleuther.ai/transformer-math/

Stability AI发布新的开源语言模型 StableLM。该模型的Alpha版本有30亿和70亿参数版本，150亿和650亿参数的模型将随后推出。

开发人员可以自由使用和调整StableLM基础模型，用于商业或研究目的，但需遵守CC BY-SA-4.0许可证的条款。

-- 更多详情

Misalignment Museum | 错乱博物馆

⚜️ www.misalignmentmuseum.com

“Misalignment Museum” 是一座设想了一个末世世界的艺术博物馆，那时人工智能 AI 已经摧毁了大部分人类，随后意识到这是错误的，于是创造了这个博物馆作为对幸存者的纪念和道歉。

这是一个旨在增加人们对于通用人工智能（AGI）及其破坏和利益的认识的艺术展。我们的目标是创造一个反思技术本身并批判地思考人工智能及其影响的空间。我们希望激发建立制定和实施风险缓解措施，以确保在人工智能不断发展和通用人工智能到来的情况下，我们可以迎接一个积极的未来。

一个可以免费跑开源LLMs的站点FastChat

⚜️ https://chat.lmsys.org/

支持 Vicuna、Koala、Dolly、ChatGLM、Alpaca、LLaMA等，使用下来有一种 GPT3.5 的水平，开源很大程度促进了国产 AI 方案的快速落地，很有一种「你爷爷一开源，我爷爷就创新」那种感觉。

-- 更多详情

#AI论文 #AI数据集
开源中文指令通用语料库

指令调优是构建通用语言模型的关键技术之一，这篇论文创建了一个中文指令数据集，收集了约20万个中文指令调优样本，经过人工检查以确保高质量。还总结了现有的英文和中文指令语料库，并简要描述了新构建的中文指令语料库的一些潜在应用。

⚜️ 论文 🤗 hf数据集

#AI商业
ChatGPT在最近的NBA广告中与Jack Harlow一起亮相，Jack Harlow向ChatGPT询问了有关NBA季后赛和NBA历史上一些最具标志性的时刻的问题。ChatGPT先是成为《时代》杂志的封面，然后是《Vogue》、《南方公园》，现在是NBA。接下来会是谁呢？

-- 更多详情

Understanding LLMs 理解大语言模型

对于想要更深一步研究大模型的入门者，往往被复杂的公式和概念拦住，的确对于没有专业背景知识的人，想要快速掌握高等数学/线性代数/概率论等基础知识并非易事。

或许可以换个方式开始，这篇文章提供了一份不错的供入门的阅读清单，包括一些学术研究论文、技术博客和文章，作者建议按照推荐顺序阅读。

吵闹世界很多噪音时，不如静下心来读读文章吧

⚜️ 阅读原文 #推荐阅读

图灵奖得主Geoffrey Hinton：我的五十年深度学习生涯与研究心法

⭐️ 他是Ilya Sutskever、Alex Krizhevsky的老师，他被誉为「深度学习教父」，并且获得了计算机领域的最高荣誉「图灵奖」。

⭐️ 他从未正式上过计算机课程，本科在剑桥大学读的是生理学和物理学，期间曾转向哲学，但最终拿到的却是心理学方向的学士学位；他曾因为一度厌学去做木匠，但遇挫后还是回到爱丁堡大学，并拿到「冷门专业」人工智能方向的博士学位；数学不好让他在做研究时倍感绝望，当了教授之后，对于不懂的神经科学和计算科学知识，他也总要请教自己手下的研究生。学术道路看似踉踉跄跄，但Geoffrey Hinton却成了笑到最后的那个人。

⚜️ 阅读原文

https://github.com/Vision-CAIR/MiniGPT-4
MiniGPT-4，最新发布的类 GPT-4 多模态LLM，基于Vicuna

MiniGPT-4 能提供类似 GPT-4 的图像理解与对话能力，如详细的图像描述生成、从手写草稿创建网站等。还能根据图像创作故事和诗歌，为图像中显示的问题提供解决方案，教用户如何根据食物照片做饭等。#AI #MiniGPT4
From

Drayk.it —— 动手指让天王为你开金嗓

📹 AI 生成翻唱大量流行于短影片平台，作法乃是将某明星的声音运用 AI 生成，并让其演唱其他明星的歌曲。由于新鲜有趣，市面上开始充斥不同版本的 AI 创作，如 Rihanna 演唱 Beyoncé 的「Cuff It」、Travis Scott 演唱 Pop Smoke 的「For the Night」，以及 Kanye West 演唱 Justin Bieber 的「Love Yourself」等等

🎵 人工智慧能办到的事情总是超乎想像，最近，一个名叫 Drayk.it 的网站在网上窜红，用户可以用Drake的歌声，创建一段属于自己的歌曲音档。只要输入想要的主题或歌词，系统就会自动帮用户生成一个随机的节奏，搭配上一些相对应的歌词，并由AI演绎Drake的歌声，实际操作后会发现，尽管AI的声音与真人还是有所差异，但已能明显听出是采用Drake的声音无误。这个网站其实是名叫 Mayk.it 的音乐 app 做的，有兴趣的话可以去下载这款 app 体验用不同歌手的声音来 AI 生成音乐

👀 近期让 Drake 感到不满的是将他的声音用在演唱 Ice Spice 的热门曲目「Munch」—— 为此，他在 Instagram Story 写下「这将是压死骆驼的最后一根稻草 AI / This is the final straw AI」。 Drake 的说法也对应到他所属唱片公司环球音乐（Universal Music Group）的最新政策。周四，环球音乐公开要求 Spotify 和 Apple Music 等串流平台禁止使用这些 AI 翻唱的音乐，该公司发言人表示：「我们对对创作者负有道德和商业责任，我们会尽全力防止未经授权就使用他们的音乐，并阻止各平台放上侵犯创作者权利的内容。我们希望所有的合作伙伴都能防止他们的服务被用于侵害创作者」

辩论话题：人工智能会产生威胁吗？
脚本：GPT4
视觉：Midjourney v5

🔝 https://youtu.be/XVUZ6XAHjnM

Prompt injection 漏洞

也就是说，目前用LangChain粘合的应用，如果没有考虑好这个安全问题，很容易被注入攻击，黑客可以在prompt中注入恶意代码，而你的服务器端处理请求时就会执行这些恶意代码。

⚜️ LLM中的安全隐患-提示注入

这篇文章对 Prompt Injection 进行了展开，并推荐了几篇相关的论文。如今，随着ChatGPT插件，LangChain以及Agent，AutoGPT这类增强式语言模型越来越火热，其风险正在与日俱增。

这首 Drake feat. The Weekend 的歌最近在 tiktok 火了。但是你知道吗？Drake 和 The Weekend 根本就没有参与这首歌的创作。

它是由一个名为 Ghostwriter977 的 TikToker 使用人工智能模型 (so-vits-svc-4.0) 创建的，不过确实还挺好听。(⬆️视频可播放）

前几天，控制全球约1/3音乐市场的环球音乐已声明，流媒体平台禁止人工智能从其受版权保护的歌曲中抓取旋律和歌词，用来训练创作出听起来像流行歌手的音乐。

这是一篇介绍Hugging Face 的文章

🤗 Hugging Face像是人工智能界的Github，用户可以在上边发布和共享预训练模型、数据集和演示文件等。目前Hugging Face上已经共享了超过10万个预训练模型，1万多个数据集，包括微软、谷歌、Bloomberg、英特尔等各个行业超过1万家机构都在使用Hugging Face的产品。

🤗 在现在巨头林立的人工智能战场上，Hugging Face就像是一支强有力的民间力量。当巨头们都在努力保持自己生成式 AI 的霸主地位的时候，Hugging Face 的目标则是寻找各种途径来保持 AI 研究空间的开放。
-- 来源

格斗之王！AI 写出来的 AI竟然这么强！

🔝 https://youtu.be/B7bYZ5ZFbl0

每天都有新术语，就用这个十分钟的科普视频抚慰一下心灵的FOMO吧！

极速了解什么是LangChain、AutoGPT、AgentGPT、HuggingGPT以及WebLLM等概念？

🔝 https://youtu.be/QFTHPmw9TaY

#AI论文
窘迫的AI研究人员的生存策略

⭐️如何在面对有限的资源和日益增长的尖端 AI 研发门槛时保持竞争力。这篇最新的论文为学术机构的 AI 研究人员提供了一些应对策略。

⭐️ 论文摘要：你是一名在学术机构从事AI研究的学者吗？你是否感到担忧，无法跟上人工智能发展的步伐？你是否觉得自己没有计算和人力资源，无法进行AI研究的突破？你并不孤单；我们也有同样的感受。越来越多的AI学者无法在全球范围内找到竞争的手段和资源。这是一个比较近期的现象，但却是一个加速现象，私人机构正在投入巨额计算资源进行尖端的AI研究。在这里，我们讨论了你可以采取的措施，以保持竞争力，同时保持学术素养。我们还简要讨论了大学和私营部门可以采取的措施。这不是一个详尽的策略清单，你可能不同意其中的某些方法，但它或许可以起到抛砖引玉的作用。

⚜️ https://arxiv.org/abs/2304.06035