我女朋友说要和我一起供房，然后我发现对方是有家庭的，我能拿回我供房的钱吗？