TGViewer
Channel Public Channel
DPS Build

DPS Build

@dps_build

AI, coding, data science and startups
Open in Telegram
Subscribers
1.01K
Photos
151
Videos
3
Links
494

Showing posts older than #67 · Back to latest

Older Posts 16 shown
Post #63 773
OpenAI 刚刚发布了 GPT-4，以下四张图表说明了它的大幅提升：

1. GPT-4 模拟参与了各类考试，比如 LSAT 之类的律师执照考试，得到了 88 percentile 的高分，SAT 阅读写作得到了 93 percentile 的高分，GRE 词汇得了 99 percentile 的高分

2. 在各类公认的 NLP 测试上，GPT-4 也有着优良表现

3. 除了在英语数据上有着巨大提升 （MMLU 的测试中，GPT-4 从 GPT-3 的 70.1% 提高到了 85.5%），在其他语言上也有极大进步，比如中文到了 80.1%，阿语到了 80%

4. 作为多模态的模型， GPT-4 在图像/视频类的测试上也有不错的表现

https://openai.com/research/gpt-4
  • ❤ 1
Post #61 393
这几天在看如何用自己的语料库结合 ChatGPT API 来使用，目前找到两个方案：

1. 利用最新的 gpt-turbo-3.5 模型：先建立 doc embedding，然后利用 query embedding，通过文本相似度从 doc embddding 中找到和 query embedding 最接近的数据，然后讲这些数据作为 context 填写在 prompt 里一起发起请求；

2. 利用之前的 davinci / ada 模型：先建立 doc embedding，然后将这一 embedding 通过 API 上传到 OpenAI 上，每次请求时，指定使用这一 embedding。

目前的测试看下来，前面这种方案效果更好，但是因为要发起多次请求，所以速度比较慢；后面这种会将结果局限在 embedding 内，当然因为是单次请求，所以速度较快。

成本方面，turbo 的价格是 davinci / ada 的十分之一，但是因为多次请求，且带有 context，所以大概估算下来可能差得不多。

如果大家有更好的思路，也欢迎讨论。
  • 👍 2
Post #59 378
DPS Build 一键安装 LlaMA 的工具来了！ 一键安装 LLaMA 之后，在一台 M1 Macbook Air上跑起了 7B 的模型，速度还OK。大概吃了4G 内存。 这台机器有 16G 内存，8核的 M1 CPU。跑起来之后，CPU 会跑满。 具体安装步骤： 1. npm install npx (没有 npm 的同学可以先装 npm，js 的包管理工具） 2. npx dalai llama 3. npx dalai serve 它会自动安装相关的 python 包，并下载 7B 的 LLaMA 模型。…
在 pixel 6 上也能跑了

https://twitter.com/thiteanish/status/1635188333705043969
  • ❤ 2
Post #58 373
DPS Build 一键安装 LlaMA 的工具来了！ 一键安装 LLaMA 之后，在一台 M1 Macbook Air上跑起了 7B 的模型，速度还OK。大概吃了4G 内存。 这台机器有 16G 内存，8核的 M1 CPU。跑起来之后，CPU 会跑满。 具体安装步骤： 1. npm install npx (没有 npm 的同学可以先装 npm，js 的包管理工具） 2. npx dalai llama 3. npx dalai serve 它会自动安装相关的 python 包，并下载 7B 的 LLaMA 模型。…
在一台 2019 年顶配 MacBook Pro 上试了下，intel CPU 完全带不动这个模型。

反倒是 2020 款的 MacBook Air 跑起来完全没问题。
Post #57 378
DPS Build GPT-4 预计下周发布，是个多模态模型，包括处理视频数据的能力。 https://www.heise.de/news/GPT-4-is-coming-next-week-and-it-will-be-multimodal-says-Microsoft-Germany-7540972.html #ml
3月16日微软的发布会是否会发布 GPT-4 呢？
Post #56 566
一键安装 LlaMA 的工具来了！

一键安装 LLaMA 之后，在一台 M1 Macbook Air上跑起了 7B 的模型，速度还OK。大概吃了4G 内存。

这台机器有 16G 内存，8核的 M1 CPU。跑起来之后，CPU 会跑满。

具体安装步骤：

1. npm install npx (没有 npm 的同学可以先装 npm，js 的包管理工具）
2. npx dalai llama
3. npx dalai serve

它会自动安装相关的 python 包，并下载 7B 的 LLaMA 模型。

https://cocktailpeanut.github.io/dalai/#/

#ml #tools
  • 👍 4
  • 😁 2
Post #51 328
Haystack

• Ask questions in natural language and find granular answers in your documents.
• Perform semantic search and retrieve documents according to meaning, not keywords.
• Use off-the-shelf models or fine-tune them to your domain.
• Use user feedback to evaluate, benchmark, and continuously improve your live models.
• Leverage existing knowledge bases and better handle the long tail of queries that chatbots receive.
• Automate processes by automatically applying a list of questions to new documents and using the extracted answers.

https://github.com/deepset-ai/haystack

#nlp
GitHub GitHub - deepset-ai/haystack: Open-source AI orchestration framework for building context-engineered, production-ready LLM applications.… Open-source AI orchestration framework for building context-engineered, production-ready LLM applications. Design modular pipelines and agent workflows with explicit control over retrieval, routing...
Post #49 330
为什么 ChatGPT API 是革命性的？

这几天读了读 ChatGPT API 的文档，太惊喜了：

1. 最新版的 API 是基于 gpt-turbo-3.5 的，这一版的 API 的交互是革命性的。得益于模型的强大，用户不需要提交各种参数，只要写 prompt 就行。也就是说 API 的 UX 被大大简化。用户不需要在请求里写参数，只要在 prompt 里写人话，模型自行能够明白用户的表达。

2. 更厉害的是，gpt 这类模型可以接受 chain of thoughts (COT) 的 prompt，如果用户觉得结果不满意，可以继续提交请求让模型生成更好的答案。在李宏毅的讲座里，他给出了一个例子就是，如果让模型直接解答一个复杂的数学题，效果可能不是很好，但是加上 let’s do it step by step 的 prompt 之后，模型给出了一步步的推导过程，结果大为改善。

3. 除了直接调用 ChatGPT API 的基础模型以外，OpenAI 还提供了让用户提交自己的 embedding 和 fine-tuning 等定制模型的方式，这两种都可以通过 API 来实现，不需要额外的步骤。不过，最新的 API 暂时不支持 fine-tuning

4. 以前随便开发一个 NLP 的模型，基本上开发周期是以月计算的，有了 ChatGPT API 之后，抛去准备数据的时间，开发周期可以以小时计算。我从零开始开始读文档，到写出一个 Q&A 生成的项目，只花了半天时间。放在以前，至少要花一两个月的时间吧。

#nlp
  • 👍 3
Older posts →
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →