离婚十年了，孩子十六岁，抚养权归女方，但孩子一直养在男方母亲那里，养了16年孩子回他妈身边了该怎么办？