夫妻吵架然后女方带着孩子去做单亲，然后现在男方不想管就想拿回在女方身上花的钱这样子男方有权利吗？