Используем ИИ строго не по назначению.
Заметки про ИИ, IT, компьютерные игры, и всякие инженерные интересности.
Post #5329
9K
- ❤ 49
- 🤩 21
- 😱 6
- 😁 1
- 😢 1
Channel Public Channel
DE Derp Learning
@derplearning
- Subscribers
- 13.9K
- Photos
- 3.6K
- Videos
- 1K
- Links
- 1.5K
Showing posts older than #5330 · Back to latest
Older Posts 20 shown
Post #5328
3.7K
Derp Learning Наконец дошли руки поковырять Qwen 3.8-27b Как говорится, мое увожение. На мои 16гб комфортно влез Qwen3.8-27B-UD-Q3_K_XL от unsloth --ctx-size 100535 -ngl 99 -fa on --cache-type-k q4_0 --cache-type-v q4_0 --jinja --reasoning-effort medium --no-context…
thanks, 🧢
- 😁 18
- ❤ 3
- 🤩 2
Post #5327
3.85K
люблю когда есть свобода выбора
- 😁 33
- 🤩 7
- ❤ 1
Post #5326
4.28K
- 😁 58
- 🤣 23
- 💯 9
- 🫡 2
- 🔥 1
Post #5325
4.71K
Наконец дошли руки поковырять Qwen 3.8-27b
Как говорится, мое увожение.
На мои 16гб комфортно влез Qwen3.8-27B-UD-Q3_K_XL от unsloth
выдает 36.77 t/s с контекстом 100535
Еще есть интересный дистилл Qwen3.8-2.4T-A95B -> Qwen 3.5 9b
Понятно, что сильно умнее qwen 3.5 не стал, это скорее тюн для тулколлинга.
С Qwen3.8-9B-Q8_0 и конфигом
выдает 85-110 t/s с контекстом 262144 (I'm stupid faster)
В llama.cpp ui / aider ваншотят игры вроде scorched earth, но 9b модель чаще спотыкается и любит заloopиться.
Можно гонять и через claude code/codex, но codex тыкается в новый более сырой апи как слепой котенок и одним своим системным промтом сжирает 20к+ токенов :D
Можно генерить план имплементации с Qwen3.8-27B-UD-Q3_K_XL а потом имплементировать Qwen3.8-9B-Q8_0
llama.cpp тут
Как говорится, мое увожение.
На мои 16гб комфортно влез Qwen3.8-27B-UD-Q3_K_XL от unsloth
--ctx-size 100535 -ngl 99 -fa on --cache-type-k q4_0 --cache-type-v q4_0 --jinja --reasoning-effort medium --no-context-shift --cache-reuse 256 --spec-type draft-mtp --spec-draft-n-max 3 -b 2048 -ub 512 --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 --tools all выдает 36.77 t/s с контекстом 100535
Еще есть интересный дистилл Qwen3.8-2.4T-A95B -> Qwen 3.5 9b
Понятно, что сильно умнее qwen 3.5 не стал, это скорее тюн для тулколлинга.
С Qwen3.8-9B-Q8_0 и конфигом
--ctx-size 262144 -ngl 99 -fa on --cache-type-k q8_0 --cache-type-v q8_0 --jinja --reasoning-effort low --no-context-shift --cache-reuse 256 --spec-type draft-mtp --spec-draft-n-max 3 -b 2048 -ub 512 --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 --tools all выдает 85-110 t/s с контекстом 262144 (I'm stupid faster)
В llama.cpp ui / aider ваншотят игры вроде scorched earth, но 9b модель чаще спотыкается и любит заloopиться.
Можно гонять и через claude code/codex, но codex тыкается в новый более сырой апи как слепой котенок и одним своим системным промтом сжирает 20к+ токенов :D
Можно генерить план имплементации с Qwen3.8-27B-UD-Q3_K_XL а потом имплементировать Qwen3.8-9B-Q8_0
llama.cpp тут
- ❤ 16
- 🔥 1
Post #5324
4.91K
Таким должен был быть трейлер к Red Alert 2!
Ладно, забирайте эту вашу оперативку. 6 минут 1080р.
Отдельно доставляет советская озвучка в исполнении китайских моделей.
x
автор:
https://www.douyin.com, lyxw1327
Ладно, забирайте эту вашу оперативку. 6 минут 1080р.
Отдельно доставляет советская озвучка в исполнении китайских моделей.
x
автор:
https://www.douyin.com, lyxw1327
- ❤ 44
- 🔥 14
- 😁 7
- 🤡 2
Post #5323
4.05K
- 😁 57
- 🤗 7
- ❤ 5
- 👍 1
Post #5322
4.06K
- 🤣 57
- 😁 13
- 😱 2
Post #5321
3.34K
Post #5320
4.69K
- 😁 69
- 🤣 29
- ❤ 5
- 🤡 2
- 🫡 2
- 👍 1
- 🔥 1
Post #5319
5.55K
Кто такой этот ваш майор Аутаж и почему он мешает мне вайбкодить
- 😁 76
- 🤣 7
- 🤬 3
- 👍 2
Post #5318
5.4K
- 😁 65
- 👍 1
- 🤡 1
Post #5317
5.27K
Pixar logo achieved internally
Индусы упоролись и запилили роболампу
5 моторов, 45 светодиодов, rgb-d камера, мозги в виде raspberry pi
Пока это заскриптованные анимации, так что будем подождать.
Можно просто сделать из нее аватар для вашего чатбота, который будет поднимать свой плафон и пристально смотреть вам в глаза после особенно тупых вопросов.
Теплый ламповый ии.
Х
Индусы упоролись и запилили роболампу
5 моторов, 45 светодиодов, rgb-d камера, мозги в виде raspberry pi
Пока это заскриптованные анимации, так что будем подождать.
Можно просто сделать из нее аватар для вашего чатбота, который будет поднимать свой плафон и пристально смотреть вам в глаза после особенно тупых вопросов.
Теплый ламповый ии.
Х
- 🔥 26
- ❤ 7
- 🤣 5
- 😎 2
- 👍 1
Post #5316
4.02K
Post #5315
4.25K
Post #5314
3.83K
Post #5313
4.3K
Post #5312
5.21K
- 🤣 78
- 👍 15
- ❤ 6
- 😁 3
- 😱 3
- 💯 2
- 🤩 1
Post #5311
6.57K
ГОСТ in the shell
- ❤ 65
- 😁 39
- 🤩 8
- 🤣 5
- 👍 2
- 🤡 2
- 🫡 2
- 🔥 1
Post #5310
6.67K
- ❤ 44
- 🤗 21
- 😁 12
- 😱 6
- 👍 2
- 🔥 2
- 😢 2
- 🤡 1