А как вы проверяете свои знания в мире нейронок?

Не смотря на то, что плотно сижу в ИИ-чатиках и непрерывно черпаю информацию из них и обмениваюсь опытом с коллегами, всё равно довольно часто всплывают какие-то темы, которых я не касался или же не было времени попробовать/протестировать. А еще чаще в голове сидят мысли по какой-то теме, в которой я не уверен, вроде информации много крутится вокруг, а как оно на самом деле должно быть правильно, не ясно, мнения сильно разнятся и четкой картины нет.

Думал, как бы эффективнее держать руку на пульсе и совсем не сойти с ума читая все новости из телеграма. Пришел к такой схеме: иду в десктопный Codex или Claude Code, подгружаю туда пару актуальных книжек по теме, и прошу меня протестировать вопросами (обычно 15-20 вопросов достаточно). По результатам тестов составляем карту "слепых зон" в моих знаниях, и на основе этой информации прошу подготовить мне план обучения: про что стоит почитать и подтянуть знания, чтобы закрыть пробелы.

И последний подобный сеанс с Claude меня так увлек, что я посчитал это отличным способом периодически проводить "инвентаризацию" своих знаний и иметь четкий план дообучения. Тут даже не обязательно идти читать саму книгу по нужным главам, достаточно на основе нее попросить Claude в удобной мне форме доставить мне всех недостающих знаний. Просто так без какой либо опоры в виде статей и книг, нейронки далеко не всегда хорошо помогают изучать работу с нейронками и агентами в частности, банально у них нет актуальной информации в весах или же знания слишком поверхностные. Поэтому какая-то база по-любому нужна.

И вот, решил вчера сам для себя сделать небольшой проектик по тестированию своих знаний на основе подгружаемых материалов. Просто вкидываю нужную книгу/ресурс, генерирую себе пачки вопросов, раскладываю по темам, потом делаю независимое ревью, чтобы быть уверенным, что в процессе генерации не было галлюцинаций и все вопросы с ответами на них актуальны и действительно опираются на книги.

🔗 И сделал для себя вот это: https://context.aihubnews.ru/

Помогает пройти как быструю диагностику текущих знаний на масштабе, так и пройтись по одной из профильных тем. Предлагаю и Вам попробовать такой формат, чтобы подсветить пробелы в знаниях.

Все тесты основаны на 8 топовых книжках, которые я посчитал актуальными на данный момент и дают все необходимые знания в деталях. И одна из нашего комьюнити, где лучше практики собраны за пол года общения в чатиках и сконцентрированы в pdf на 200 страниц, тоже участвует в генерации тестов. (если кому будет интересно скину в комментариях).

Если что, список книг которые в целом советовал бы почитать или изучить частично по нужным темам: (что-то может быть не самым свежим, но база особо не менялась)

📓 AI Agents in Depth: Design Principles and Engineering Practice
Bojie Li · 2026

📕 AI Engineering
Chip Huyen · 2025

📔 Essential GraphRAG
Tomaž Bratanič, Oskar Hane · 2025

📘 Generative AI Design Patterns
Valliappa Lakshmanan, Hannes Hapke · 2025

📙 Building Applications with AI Agents
Michael Albada · 2025

📗 The Developer's Playbook for Large Language Model Security
Steve Wilson · 2024

📒 Agentic Design Patterns
Antonio Gullí · 2025

📕 Prompt Engineering for LLMs
John Berryman, Albert Ziegler · 2024