NLP Kaggle соревнование🌚
Суть задачи:
Ребятки пишут в твиттер *совершенно справедливо заблокированная социальная сеть на территории РФ* посты, и порой они могут писать о пожарах, и задача заключается в том, чтобы определить действительно ли человек пишет о ЧП или нет 🚒🧑🚒
Сложность задачи:
"О Боже! Смотрите закат, словно огонь в небе" и "Напротив моего дома какой-то огонь". А вот теперь заставьте машину думать, где красивое небо, а где пожар 🔥
Решение:
- Текстовые данные были очень dirty, поэтому их необходимо вычистить до блеска 🧹
- Всякие мета-фичи по типу: стиль текста, sentiment score. Потому что текст официальный текст про пожар немного отличается по стилю и по уровню "агрессии" от публицистических твитов 🤬
- Длина предложения, количество хештегов, собачек, ссылок, наличие локации и keyword в описании твита 🐶
- Лемматизация текста и создание RoBERTa эмбеддингов 🎲
- Запихал в нейронку и обучил на 20 эпохах 🤖
Заключение:
В соревновании использовали F1-score. У меня он вышел 0.798, занял 402/800 место 🏆
GitHub, Kaggle Competition