День 1695.
Значения Задержек, Которые Должен Знать Каждый Программист
Сегодня темя для любителей оптимизации и быстродействия. Подсмотрел её на одном из докладов DotNext и решил поделиться.

Сразу несколько замечаний:
1. Числа не стоит воспринимать как абсолютные, важно не конкретное значение, а порядок.
2. Со временем числа естественно меняются в сторону уменьшения, поэтому периодически их нужно перепроверять. Например, проследить за динамикой изменения за последние 30 лет можно здесь.

Итак,
Обращение к кэшу L1 – 1ns
Ошибка при предсказании условного перехода – 3ns
Обращение к кэшу L2 – 4ns
Открытие/закрытие мьютекса – 17ns
Обращение к главной памяти – 100ns
Сжатие 1Кб быстрым алгоритмом Snappy – 2μs
Чтение 1Мб последовательно из памяти – 2μs
Произвольный доступ к SSD – 16μs
Пересылка 2Кб по сети со скоростью 1Гб/с – 20μs
Чтение 1Мб последовательно с SSD – 49μs
Передача сообщения туда/обратно в одном дата-центре – 500μs
Чтение 1Мб последовательно с HDD – 825μs
Произвольный доступ к HDD – 2ms
Передача пакета между континентами и обратно – 150ms

Здесь:
1ns (наносекунда) = 10^-9 секунды
1μs (микросекунда) = 10^-6 секунды = 1000ns
1ms (миллисекунда) = 10^-3 секунды = 1000μs = 1000000ns

Таким образом, можно прочитать:
- последовательно с жесткого диска со скоростью ~200Мб/с.
- последовательно с SSD со скоростью ~1Гб/с (3-7Гб/с для NVME).
- последовательно из основной памяти со скоростью ~100Гб/с (пакетная скорость)
- последовательно из Ethernet 10Гбит/с со скоростью ~1000Мб/с.
Между Европой и Америкой возможно не более 6-7 рейсов туда/обратно в секунду, но в центре обработки данных можно достичь примерно 2000 в секунду.

Пример
Какая будет общая задержка получения 30 изображений по 256Кб с одного сервера?

Упрощённое решение: вся работа делается одним сервером, где чтение с диска превалирует над остальными операциями.

Время на чтение одного изображения с SSD:
(256Кб / 1Мб) * 49μs + 16μs доступ = 28.25μs
Среднее время генерации результата:
30 чтений * 28.25μs = 847.5μs

Таким образом, один сервер с SSD может выдать 1000000μs / 847.5μs ~ 1179 страниц результатов в секунду.