Часть приводят такую метафору – публичный ключ это замок, а секретный ключ это собственно… ключ. Вы можете передать замок кому угодно и он запрет им чемодан с секретным письмом. А вот открыть этот чемодан сможете только вы – ключ ведь у вас.
Первый раз читаю такую аналогию, и она мне нравится! Из этой статьи на Хабре.