Du kannst in der php.ini ein Script angeben, über das php die Emails versendet. Wenn Du dort einen sendmail wrapper installierst der die Emails über spamassassin scannt, dann sollte das gehen.
Wie man sowas einbindet kannst Du dir z.B. anhand des Loggin scriptes ansehen:
How To Log Emails Sent With PHP's mail() Function To Detect Form Spam | HowtoForge - Linux Howtos and Tutorials
Bei ISPConfig 3 werden übrigens alle ausgehenden Nachrichten automatisch gescannt, da hier amavisd zum Einsart kommt und keine procmail scripte wie bei ISPConfig 2.