apt-get install exim4

Et tu réponds au questions de configuration (pas smarthost, mais serveur connecté)

Si exim4 est déjà configuré, tu fais dpkg-reconfigure exim4-config