.NET Разработчик on Telegram: “День 2176. #AI Работа с LLM в .NET. Окончание На…”

День 2176. #AI
Работа с LLM в .NET. Окончание
Начало

Резюмирование статьи
Попробуем что-то более полезное — выделение главной мысли (резюмирование) текста:

var posts = Directory.GetFiles("posts")
 .Take(5).ToArray();
foreach (var post in posts)
{
  var prompt = $$"""
   You will receive an input text and the desired output format.
   You need to analyze the text and produce the desired output format.
   You are not allowed to change code, text, or other references.

   # Desired response

   Only provide a RFC8259 compliant JSON response following this format without deviation.

   {
     "title": "Title pulled from the front matter section",
     "summary": "Summarize the article in no more than 100 words"
   }

   # Article content:

   {{File.ReadAllText(post)}}
   """;

  var response = 
   await client.CompleteAsync(prompt);
  Console.WriteLine(response.Message.Text);
  Console.WriteLine(Environment.NewLine);
}

Совет: конкретизация выходного формата (например, запрос JSON, соответствующего RFC8259) помогает получать согласованные результаты.

Интеллектуальная категоризация
Мы можем получать строго типизированные ответы напрямую от LLM:

class PostCategory
{
  public string Title { get; set; } = string.Empty;
  public string[] Tags { get; set; } = [];
}

var posts = Directory.GetFiles("posts").Take(5).ToArray();
foreach (var post in posts)
{
  //Такой же запрос, что и в предыдущем примере, только изменим формат JSON-ответа
  var prompt = $$"""
   …
   {
     "title": "Title pulled from the front matter section",
     "tags": "Array of tags based on analyzing the article content. Tags should be lowercase."
   }
   …
   """;

  var response = await 
   client.CompleteAsync<PostCategory>(prompt);

  Console.WriteLine(
   $"{response.Result.Title}. Tags: {string.Join(",",response.Result.Tags)}");
}

Строго типизированный подход обеспечивает безопасность во время компиляции и лучшую поддержку IDE, что упрощает поддержку и рефакторинг кода, взаимодействующего с ответами LLM.

Использование различных поставщиков LLM
Одним из ключевых преимуществ Microsoft.Extensions.AI является поддержка различных поставщиков. Хотя в наших примерах используется Ollama, вы можете легко переключиться на других поставщиков:

// Azure OpenAI
builder.Services.AddChatClient(
 new AzureOpenAIClient(
  new Uri("AZURE_OPENAI_ENDPOINT"),
  new DefaultAzureCredential())
 .AsChatClient());

// Using OpenAI
builder.Services.AddChatClient(
 new OpenAIClient("OPENAI_API_KEY")
  .AsChatClient());

Это позволяет:
- Начать разработку с локальных моделей
- Развернуть приложение с облачными поставщиками
- Переключаться между поставщиками без изменения кода приложения
- Смешивать разных поставщиков для разных вариантов использования (категоризирование, распознавание изображений и т. д.)

Источник: https://www.milanjovanovic.tech/blog/working-with-llms-in-dotnet-using-microsoft-extensions-ai