一个有家的男人，如果和一个有家的女人发生关系了，女人因此离婚了，这个男人要付责任吗