Запускать локальные LLM в .NET стало удивительно просто

Про AI в разработке обычно говорят в контексте написания кода, но в .NET нейросети уже можно достаточно легко встраивать прямо в приложения.

Через Microsoft.Extensions.AI и Ollama локальную модель можно подключить буквально несколькими строками.

Что можно собрать:

- обычный чат
- суммаризацию текста
- классификацию и категоризацию
- распознавание изображений
- свои AI-фичи без отправки данных во внешний API

Особенно интересно, что всё это можно запускать локально: модель работает на вашей машине, а приложение обращается к ней как к обычному сервису.

Примерно так:

builder.Services.AddChatClient(
    new OllamaApiClient(
        new Uri("http://localhost:11434"),
        "phi3:mini"));

Дальше получаем IChatClient и используем его внутри обычного .NET-приложения.

Хороший разбор того, как работать с LLM в .NET через Microsoft.Extensions.AI: