TGViewer
Channel Public Channel
DPS Build

DPS Build

@dps_build

AI, coding, data science and startups
Open in Telegram
Subscribers
1.01K
Photos
151
Videos
3
Links
492

Showing posts older than #107 · Back to latest

Older Posts 20 shown
Post #106 345
模块化笔记本电脑 Framework 发布新的 Framework 16 系列，除了延续之前的设计以外，还增加了显卡模块和几乎可以无限拓展的信号输入模块：

it also brings in two new module ecosystems: a fully reconfigurable input deck and modular, upgradeable graphics.

https://frame.work/fr/fr/blog/introducing-the-framework-laptop-16
Framework Introducing the Framework Laptop 16 We’re excited to share our next major product category, a high-performance 16” notebook, the Framework Laptop 16.
Post #105 373
当下，最火爆的科技产品莫非 OpenAI 的 ChatGPT，而领导这一切的是他们的 CTO -- Mira Murati。关于她的报道并不多，Fast Company 最近发布了一篇她的详细介绍。

https://t.me/tms_ur_way/2618
Telegram DPS Main Daily Productive Sharing 680 - Profile of OpenAI CTO Mira Murati 当下，最火爆的科技产品莫非 OpenAI 的 ChatGPT，而领导这一切的是他们的 CTO -- Mira Murati。关于她的报道并不多，Fast Company 最近发布了一篇她的侧写： 1 作为阿尔巴尼亚移民的后代，她于16岁前往加拿大求学； 2 毕业后，她先加入了 Tesla，然后跳槽到 Leap Motion，最后于2018年加入 OpenAI。 3 加入…
Post #104 415
DPS Build Weights & Biases 测试了在 M2Pro Mac Mini 上跑深度学习的训练。比前一代的 M1 Pro 快了不少，Tensorflow 大约有 15% 的增长，Pytorch 大约有18%。 结论是，这一代的 Mac Mini 可以拿来写模型原型，但是要想训练，还是需要 N 卡。 https://wandb.ai/capecape/pytorch-M1Pro/reports/Is-the-New-M2Pro-Mac-Mini-a-Deep-Learning-Workstation---…
Apple 官方的 neural engine 推理加速 SDK — 直接让 PyTorch 的推理速度提速十倍

Use ane_transformers as a reference PyTorch implementation if you are considering deploying your Transformer models on Apple devices with an A14 or newer and M1 or newer chip to achieve up to 10 times faster and 14 times lower peak memory consumption compared to baseline implementations.

https://github.com/apple/ml-ane-transformers
GitHub GitHub - apple/ml-ane-transformers: Reference implementation of the Transformer architecture optimized for Apple Neural Engine… Reference implementation of the Transformer architecture optimized for Apple Neural Engine (ANE) - apple/ml-ane-transformers
Post #103 424
DPS Build 第一个方案已经写完了，结果很迷。有的时候答案非常棒，有的时候完全找不到北。 目前可能的优化空间： 1. 把计算相似度的算法调整，默认是 cosine； 2. 把文本数据进一步清洗，尽可能去除噪音数据； 3. 调整 embedding 的 chunk 的大小 4. 准备更多高质量的文本数据。
这个插件把我写的都写完了，以后直接调用这个插件就能结合自己的知识库来使用 ChatGPT API

https://github.com/openai/chatgpt-retrieval-plugin
GitHub GitHub - openai/chatgpt-retrieval-plugin: The ChatGPT Retrieval Plugin lets you easily find personal or work documents by asking… The ChatGPT Retrieval Plugin lets you easily find personal or work documents by asking questions in natural language. - openai/chatgpt-retrieval-plugin
  • ❤ 2
Post #102 448
围绕着 ChatGPT API 写了两周代码，记录一些想法：

1. ChatGPT API 自 gpt-turbo-3.5 发布以来，做了大大的简化。只需要在请求里写两个参数：model 和 messages，其他参数都被隐藏了。

2. 需要调整输出的话，只需要在 messages 写 prompts，通过自然语言就能控制模型的输出。大大降低了开发难度，又给输出添加了无限可能

3. 不仅 API 的交互得以大大简化，围绕着 ChatGPT API 开发的话，也可以大大简化整个 NLP 项目的开发。它不一定能取代所有的本地训练，但是合理利用的话，可以大大加快本地的训练。

https://letters.acacess.com/chapgpt_api/
DPS - Daily Productivity Sharing Why Is the API Design of ChatGPT Revolutionary? With the power of ChatGPT API, we just need 30 lines of code to accomplish a question and answer generation task. Yes, we spent most of the time to figure out how to use the prompt properly to fine tune the result.
Post #101 403
DPS Build Zapier 发布了基于 ChatGPT API 的新接口，用户可以利用自然语言直接写指令(prompts)，等于增加了一个无限可能的接口。 https://twitter.com/nonmayorpete/status/1638640617122320385
OpenAI 发布了 ChatGPT plugin

https://openai.com/blog/chatgpt-plugins
OpenAI ChatGPT plugins We’ve implemented initial support for plugins in ChatGPT. Plugins are tools designed specifically for language models with safety as a core principle, and help ChatGPT access up-to-date information, run computations, or use third-party services.
Post #96 650
分布式跑大语言模型，这个点子很赞啊，每个人跑一点，所有联网的机器拼起来就能跑非常大的模型了。

https://petals.ml/
Post #95 356
OpenAI 的 applied search lead - Lilian Weng 写的两篇关于 prompts 的长文，有非常多的细节

https://lilianweng.github.io/posts/2021-01-02-controllable-text-generation/

https://lilianweng.github.io/posts/2023-03-15-prompt-engineering/
lilianweng.github.io Controllable Neural Text Generation [Updated on 2021-02-01: Updated to version 2.0 with several work added and many typos fixed.] [Updated on 2021-05-26: Add P-tuning and Prompt Tuning in the “prompt design” section.] [Updated on 2021-09-19: Add “unlikelihood training”.]
Post #90 337
DPS Build 第一个方案已经写完了，结果很迷。有的时候答案非常棒，有的时候完全找不到北。 目前可能的优化空间： 1. 把计算相似度的算法调整，默认是 cosine； 2. 把文本数据进一步清洗，尽可能去除噪音数据； 3. 调整 embedding 的 chunk 的大小 4. 准备更多高质量的文本数据。
手工写完一个方案后，看到有人把工具链搭出来了：

LlamaIndex (GPT Index) is a project that provides a central interface to connect your LLM's with external data.

https://github.com/jerryjliu/llama_index
GitHub GitHub - run-llama/llama_index: LlamaIndex is the leading document agent and OCR platform LlamaIndex is the leading document agent and OCR platform - run-llama/llama_index
Post #89 340
DPS Build 在单机上可以跑得动 Meta 发布的 LLaMA 模型。 https://til.simonwillison.net/llms/llama-7b-m2 https://twitter.com/ggerganov/status/1634282694208114690 #ml
python 版的来了，基于 PyTroch。

需要自行下载 LLaMA 的 weights。

https://github.com/thomasantony/llamacpp-python
GitHub GitHub - thomasantony/llamacpp-python: Python bindings for llama.cpp Python bindings for llama.cpp. Contribute to thomasantony/llamacpp-python development by creating an account on GitHub.
Older posts →
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →