TGViewer
Prefire iOS Prefire iOS @prefire_ios · 979 subscribers
Post #151 1.16K
🧩 AnyLanguageModel: подключаем любую LLM к Apple Foundation Models API

Apple добавила Foundation Models в iOS 26 и macOS 26. Теперь можно напрямую вызывать on-device LLM через Swift с помощью LanguageModelSession, Tool, @Generable, Guided Generation и других инструментов.

Проблема в том, что API работает только с системной моделью Apple SLM примерно на 3 миллиарда параметров. Если хочешь использовать GPT-4, Claude или локальную Llama 3.2, то стандартный API не поможет.

AnyLanguageModel повторяет API Foundation Models и позволяет выбрать любой бэкенд: Core ML, MLX, llama.cpp, Ollama, OpenAI, Anthropic.

Достаточно заменить import FoundationModels на import AnyLanguageModel, и код продолжит работать.

⚙️ Под капотом
• Полностью совместим с FoundationModels
• OS 17.0+ / macOS 14.0+ (В отличии от FoundationModels)
• Использует Swift 6.1 traits для подключения только нужных движков
• Поддерживает Tools, Guided Generation и Streaming
• Гибкий: работает локально, в облаке или в гибридной схеме

🧠 Apple Foundation Models
• Доступны на iOS, macOS и visionOS 26+
• Встроенная on-device модель (~3B), работает оффлайн
• Поддерживают Tool-вызовы, Guided Generation и адаптеры LoRA
• Адаптеры можно устанавливать как Background Assets

Apple SLM уступает моделям уровня GPT по мощности, но выигрывает в приватности и скорости отклика. Guided Generation делает модель точной при типизированных задачах, например со структурами или enum.

🧩 Примеры
• Локально через Ollama: llama3.2, phi4, gemma2
• Через MLX на M-чипах: mlx-community/Qwen3-0.6B
• В облаке: OpenAI, Anthropic

🔗 Полезное
• GitHub: mattt/AnyLanguageModel
• Apple Docs: Foundation Models Guide
  • 🔥 9
  • 👍 4
  • ❤ 2
More from @prefire_ios
  1. Sep 16, 2026☺️ Prefire в требованиях к вакансиям Где-то месяц назад поставил ежедневную задачу на Chat…
  2. Sep 5, 2026🧭 Podlodka iOS Crew: разработка с AI С 14 по 18 сентября пройдет новый сезон Podlodka iOS…
  3. Aug 26, 2026Кажется, мой кот начал жить своей жизнью. Сначала друзья просто закинули Mewmori в несколь…
  4. Aug 18, 2026Нахождение текста котом Mewmori в уникальных приложениях Что бы кот видел, я снимаю скринш…
  5. Aug 17, 2026Начал готовить к релизу ScreenCat - 🐈 Mewmori - Переименовал проект в Mewmori (типо memor…
  6. Aug 5, 2026Сделал систему скинов для котиков 🐈 В ScreenCat уже много скинов, и я прям сильно устал р…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →