Группа исследователей из Google Deepmind под руководством Тома Дентона выпустила обновленную версию нейросети для биоакустики Perch 2.0. В отличие от предыдущей версии, Perch 2.0 может распознавать не только птиц, но и других животных.

Для оценки здоровья экосистем ученые нередко отслеживают численность популяций индикаторных видов. Чаще всего в качестве индикаторов выбирают птиц, поскольку они обитают практически везде. В настоящее время отслеживать популяции птиц стало значительно удобнее, поскольку на помощь орнитологам пришли системы пассивного акустического мониторинга и биоакустические
классификаторы на основе нейросетей.

Например, ученые из Корнелльского университета разработали мобильные приложения BirdNet и Merlin Bird Id, с помощью которых любой человек может распознавать птиц в округе и делиться информацией о местоположении видов с орнитологами. Кроме того, появились модели, предназначенные для специалистов — например, Perch от Google Deepmind, которая уже помогла обнаружить новую популяцию австралийских странников рядом с Мельбурном. С помощью нее же орнитологи отслеживают популяции гавайских цветочниц, находящихся под угрозой исчезновения.

В отличие от предыдущей версии, которая обучалась на данных 10 932 различных видов птиц (набор данных Xeno-Canto), биоакустическая модель Perch 2.0 обучалась на данных 14 795 классов птиц, млекопитающих, рептилий, насекомых и других животных, а также антропогенных шумов (наборы данных Xeno-Canto, iNaturalist, Tierstimmenarchiv и FSD50K).

Архитектура модели тоже претерпела изменения. В первой версии Perch для классификации видов пятисекундный фрагмент аудиозаписи сначала преобразовывался в лог-мел-спектрограмму, которая затем подавалась на вход сверточной нейросети EfficientNet-B1 с 7,8 миллионами параметров. Модель ставила в соответствие спектрограмме векторное представление (эмбеддинг), которое встроенный линейный классификатор затем использовал для определения вероятностей принадлежности к каждому из классов. В новой версии для создания эмбеддингов использовалась сверточная нейросеть EfficientNet-B3 с 12 миллионами параметров, а помимо линейного классификатора модель получила на выходе два дополнительных модуля.

Отмечается, что Perch 2.0 создана таким образом, чтобы она могла хорошо работать в специфических случаях, например, различать звуки отдельных особей или голоса молодняка. Ученые продемонстрировали это с помощью трансферного обучения на малом количестве данных морских существ (16 примеров на вид) и сравнили со специализированными моделями. В результате, несмотря на то что наборы данных для обучения Perch 2.0 практически не содержали данных о морских видах, модель обогнала топовую нейросеть SurfPerch в тестах.

📕 Тематические ссылки:
https://arxiv.org/abs/2508.04665
https://nplus1.ru/news/2025/09/04/perch-2