Супер полезный паттерн использования нейронок для задачи очистки текста.
Проблема:
1. Спарсил много постов из телеги, чтобы использовать в своем сервисе
2. В них часто реклама в конце
3. Нейронка, когда использует из них инфу, часто вставляет и чужую рекламу
Очевидное решение:
1. Для каждого текста просим нейронку переписать его без рекламы
Проблемы очевидного решения:
1. Жрет много токенов (=денег) на переписывание ВСЕГО текста
2. Часто не совсем точно переписывает текст, а что-то перефразирует или сокращает, если текст большой
Элегантное решение
1. Просим нейронку вывести списком ТОЛЬКО рекламный текст (обычно 1/10 размера поста)
2. Просим написать скрипт, который удалит из наших постов любое вхождение найденных рекламных фраз
Теперь нейронка не бесполезный копировальщик 90% желательного текста, а умный детектор 10% нежелательного текста
Post #192
237
- 👍 2
- 🔥 2