Я обещал естественным образом дойти до характеристических функций. Собственно, осталось совсем чуть-чуть: пока что, если у нас случайная величина ξ могла принимать конечное число неотрицательных целых значений — 0,1,2,… с вероятностями p_0, p_1, p_2,… — мы ей сопоставили многочлен-производящую функцию этих вероятностей,
F_ξ(x) = \sum_n p_n x^n.
И оказалось, что если случайные величины ξ и η независимы, то соответствующие функции перемножаются:
F_{ξ+η}(x) = F_ξ(x) F_η(x).
А что, если у нас случайная величина принимает уже все возможные неотрицательные целые значения? Ничего страшного, теперь F_ξ (x) это уже не многочлен, но всё ещё замечательно определённая при |x|<=1 функция, заданная, как сумма ряда (как раз ряд мажорируется просто суммой вероятностей p_n, равных 1).

А если разрешить все целые значения, включая отрицательные? Берём всё то же самое определение (кстати, давайте его ещё в виде математического ожидания запишем):
F_ξ(z) = \sum_n P(ξ=n) z^n = E z^ξ.

Теперь при |z|<1 из-за отрицательных степеней ряд может и разойтись — но при |z|=1 он опять сходится, а это целая единичная окружность на комплексной плоскости! Ну и все те же самые свойства остаются.

Наконец, остаётся последний шаг. А что, если случайная величина принимает уже любые вещественные значения, не обязательно целые? Даже если бы были рациональные — даже z^{1/2}=\sqrt{z} не будет однозначно определён на комплексной плоскости. Но вот если выбрать логарифм, то будет! А логарифм будет чисто мнимым, потому что |z|=1.

Запишем z=e^{it}, и заменим z^ξ на e^{itξ}. Вот мы и получаем классическое определение характеристической функции,
f_ξ(t):= E e^{itξ},
для которого выполняется всё то же самое замечательное тождество: при сложении независимых случайных величин их характеристические функции перемножаются.