女人离家五年之久，丢下两岁多女儿，男方怀疑女方在外重建家庭。法院该怎么判