🚀 Ультимативный ИИ гайд: как за 2 недели догнать передовые исследования в Искусственном Интеллекте

Структурированный гид от Генри Ши по самым важным материалам в сфере ИИ.

🎯 С чего начать:
• Neural Network → LLM Series от 3Blue1Brown

📚 Обзорные статьи 2024 года:
• LLM Survey (Февраль 2024)
• Agent Survey (2023)
• Prompt Engineering Survey (2024)

🔬 Ключевые исследования:

Базовые модели:
• Transformers (2017) - фундаментальная архитектура, self-attention
• Scaling Laws - масштабирование языковых моделей
• GPT-3 (2020) - фундаментальная модель
• LoRA (2021) - эффективная донастройка моделей
• Training Compute-Optimal LLMs (2022) - оптимальные
• RLHF (2022) - обучение с человеческой обратной связью
• DPO (2023) - исключаем RL/Reward модель
• LLM-as-Judge (2023) - на равне с человеческой оценкой
• MoE (2024) - микс экспертов

Рассуждения и планирование:
• AlphaZero/MuZero (2017/2019) - RL без предварительных знаний
• CoT (Chain of Thought) / ToT (Tree of Thoughts) / GoT (Graph of Thoughts) (2022/2023/2023) - цепочки рассуждений
• ReACT (2022) - генерация рассуждений с действиями
• Let’s Verify Step by Step (2023) - процесс важнее результата
• ARC-Prize (2024) - новейшие методы решения ARC-AGI задач
• Scaling Test-Time Compute (2024) - отношение между скоростью инференса и pretraining compute

Практические применения:
• Toolformer (2023) - использование инструментов для LLM
• GPT4 (2023) - высокоуровневой обзор GPT4
• Llama 3 (2024) - детали архитектуры от Meta
• Gemini 1.5 (2024) - мультимодальность с контекстом 10M токенов
• DeepSeek v3 (2024) - создание топовой open-source модели
• SWE-Agent (2024) / OpenHands (2024) - агенты для разработки ПО

Бенчмарки:
• SWE-Bench (2023) - разработка в реальном мире
• Chatbot Arena (2024) - Elo рейтинги основанные на живых предпочтениях людей

🎓 Курсы и видео:
• 3Blue1Brown - математические основы
• Строим LLM с нуля #1 Бестселлер
• Andrej Karpathy: "Zero to Hero"
• Yannic Kilcher Paper Explanations
• Noam Brown (o1 founder) on Planning in AI
• Stanford: создание LLM
• Why You’re Not Too Old to Pivot Into AI (motivation)

🌐 Полезные ресурсы:
• Full Stack Deep Learning - курсы по созданию ИИ-продуктов
• Prompting Guide - техники промптинга с примерами
• 2025 AI Engineer Reading List - longer reading list, broken out by focus area
• State of Generative Models 2024 - саммери по текущим LLM

💡 Дополнительно:
• Vision Transformer (2021)
• Latent Diffusion (2021) - текст-в-картинку

👨‍💻 Научные статьи (для начинающих):
• Chain of Thought (2022)
• SELF-REFINE (2023)

Советую загружать каждую из статей по отдельности https://notebooklm.google/ и изучать - слушать подкаст, задавать вопросы и тп.

Ссылка на оригинальную статью: https://github.com/henrythe9th/AI-Crash-Course/blob/main/README.md