女方要离婚，两个孩子是爷爷奶奶照顾大的，男方不给女方孩子，房产需要都给女方吗？