Поставил LM Studio
У меня комп Mac Mini M4 Pro 64GB RAM.
Поставил себе олламу и gpt опенсорсный который 20 млрд параметров.
Ну что-то так себе пока, как-то работает, но скорости не такие, как уже привык.
Вообще изучил чутка тему, "своя ЛЛМка" а точнее "self-hosted LLM" - очень популярная тема на западе в блогах и ютюбах. В первую очередь, топят за приватность, что никто там ваши данные не увидит.
А я улыбаюсь и думаю "ну и пусть учатся, нет все равно никакой приватности в интернете, зато скорости и ценность какая за такие деньги".
А в русскоязычном интернете что-то я не видел статей, про то зачем нужна своя ЛЛМ. Видать, "наш человек" уже так привык к такому, что фиолетово.
Кто-нибудь пробовал себе на комп поставить LLM так, чтобы прям было в кайф и работало под вашу задачу?
Post #223
5.87K
- ❤ 15
- 💯 10
- 👍 6
- 😭 1
- 🫡 1
- 🦄 1