windows上に一度インストールしたApacheをプログラムのアンインストールで削除すると、サービスにApache24（数字の部分はバージョンによります）等残骸が残ります。レジストリのHKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\ServicesにApache24が残っている場合はそれを削除後再起動するとサービスから消えるようです。