Я часто общаюсь с представителями компаний, юрлицами Беларуси. Все очень переживают за свою информацию при работе с AI. Логично. Коммерческая тайна, персональные данные, внутренняя стратегия, переписка с клиентами. Всё это летит в облако AI при каждом удобном случае. Это очень пугает. И дело не в паранойе на безопасности, а в том, что чувствительная информация просто не должна покидать стены компании. Вариант один → локальная модель на собственном сервере. Раньше такое называлось "проект на полгода с DevOps в штате и GPU-сервером" и добавляло много циферок к затратам компании.
А можно ли установить локальную модель на офисный комп? Можно, но только тупить будет жёстко. Так было до лета 2026.
Сейчас же достаточно Mac Mini M4 и модели LFM2.5 от Liquid AI. К модели подключаешь свою базу данных (RAG) - и в офисе появляется AI-сотрудник, который физически существует внутри корпоративной инфраструктуры. Отвечает быстро. Данные никуда не уходят. Круто?? Круто 🚀
Почему именно LFM2.5? Её разработчики сделали кое-что необычное. Представь. Стандартная языковая модель - как завод, где много тысяч рабочих, все вместе, выходят на смену каждый раз, когда появляется работа. Медленно, дорого и памяти жрёт много. LFM2.5 устроена иначе: 8 миллиардов параметров в резерве, но на каждый запрос активируются только 1.5 миллиарда нужных. Остальные спят. Mixture of Experts - именно поэтому модель летает на бытовом железе. Это как нанять 8 узких специалистов вместо одного перегруженного суперуниверсала и вызывать их по необходимости. Быстрее. Точнее. Дешевле. На M4-чипе выдаёт 80-120 токенов в секунду. А это уже похоже на живой диалог без ожидания.
Прогрев лидов, ответы на заявки, обработка документов. 24/7, без участия человека. Без облака. Без утечек.
AI-сотрудник, которому можно доверить всё. Ну или почти всё 😎
💬 Какую информацию ты бы не при каких раскладах не отправил бы в ChatGPT?
Post #286
327

- 👍 10
- ❤ 4
- 😱 2