Nunca antes he usado PyInstaller por lo tanto no se como funciona exactamente, lo que sí se es que los sistemas operativos Windows de 64 bits tienen la capacidad de ejecutar programas de 32 bits, pero esto no ocurre a la inversa que es lo que veo que estás tratando de hacer.
La solución me parece que es muy sencilla, utiliza un sistema de 32 bits para generar la aplicación, esta debería correr tanto en tus sistemas de 32 bits como de 64 bits.
Tendríamos que darle las gracias a WOW64.