我给别人签了个工程居间合同，他不是真真给我介绍的，现在对方跟我要居间费怎么办？