И действительно, статья с первой версией алгоритма DQN, вышедшей в 2013 году — Playing Atari with Deep Reinforcement Learning, не содержит целевой сети. Оптимизация функции потерь происходит с помощью полуградиентного спуска, при этом и целевое значение, и текущее предсказание вычисляются одной и той же сетью. Введение отдельной целевой сети существенно повысило стабильность обучения.