Слово "жандарм" є запозиченням з французької мови, можливо, через посередництво німецької. Французьке gendarme (звідки й німецьке Gendarm) виникло зі словосполучення gens d’armes, що буквально означає "люди зброї". Воно складається зі старофранцузького gent (укр. "народ, раса"), пов'язаного з латинськими gens (укр. "рід, клан") і genus (укр. "походження, рід"), та armes - форми множини від arme (укр. "зброя"), яке походить від латинського arma (з тим самим значенням).