Нужно ли говорить, что это слово плохо влияет на мнение о человеке, который его употребляет?

Чтобы выглядеть культурным в глазах других людей, заменяйте «пофиг» на:

Не имеет значения; безразлично; не волнует; параллельно; равнодушно.