🤔 Сравни архитектуру RNN, CNN, трансформера

Архитектуры RNN, CNN и Transformer используются в глубоком обучении для разных задач. Давайте разберём их принципы работы, различия и области применения.

🚩Рекуррентные нейронные сети (RNN)

Используются для работы с последовательными данными (текст, аудио, временные ряды).
В RNN выход предыдущего состояния влияет на следующее состояние. Сеть запоминает последовательность, так как передаёт скрытое состояние \( h_t \) на следующий шаг. В классической RNN проблема исчезающего градиента, из-за чего трудно обрабатывать длинные последовательности.
🟠LSTM (Long Short-Term Memory)
добавляет механизмы управления памятью (forget, input, output gate).
🟠GRU (Gated Recurrent Unit)
упрощённая версия LSTM, но работает быстрее.

Машинный перевод (seq2seq)
Анализ временных рядов
Обнаружение аномалий
Плохо работает с длинными зависимостями
Не поддерживает параллельные вычисления

🚩Сверточные нейронные сети (CNN)

Используются для обработки изображений и данных с пространственными зависимостями.
Применяет фильтры (свёртки) к изображению, извлекая признаки.
Главные слои:
🟠Слой свёртки (Convolutional Layer)
извлекает особенности изображения.
🟠Слой активации (ReLU)
добавляет нелинейность.
🟠Слой субдискретизации (Pooling)
уменьшает размерность.
🟠Полносвязные слои (FC Layers)
делают финальную классификацию.
Компьютерное зрение
Обнаружение объектов
Анализ медицинских снимков
Плохо работает с последовательностями и контекстными зависимостями
Требует много данных и вычислительных ресурсов

🚩 Трансформеры (Transformers)

Используются для работы с последовательностями, заменяя RNN.
Основной механизм – Self-Attention, который позволяет учитывать все элементы последовательности одновременно.
Encoder-Decoder архитектура:
Encoder обрабатывает входные данные.
Decoder генерирует выходную последовательность.
Для обучения используется механизм внимания (Attention Mechanism).
🟠Self-Attention
определяет, какие части входных данных важны.
🟠Position Encoding
добавляет информацию о порядке слов.
🟠Feed Forward Layers
обрабатывает признаки после self-attention.
NLP: GPT, BERT, T5
Машинный перевод (Google Translate)
Генерация текста и изображений (ChatGPT, DALL-E)
Требуют много вычислительных ресурсов
Плохо работают с короткими и табличными данными

Ставь 👍 и забирай 📚 Базу знаний