若因「收養人」與「被收養人」分隔兩地，不便合意終止收養關係， 由「被收養人」向法院聲請判決終止， 當法院寄送通知給「收養人」請其出庭時， 「收養人」若不便出庭或不予理會， 「收養人」是否會負擔什麼法律責任或產生其它問題？

小時候因為需跟母親姓，但當時法律不允許，所以母親就找了一位同姓的親戚，以收養的方式來達到從母姓的目的，但僅法律、名義上的關係，實際上我從小就一直與生父母、兄弟姐妹同住，與養父也沒有任何的往來。 現在因為我已是成年人，且目前法律已可自由選擇是否從母姓，所以想要終止這段收養關係。 與養父從來就沒聯絡過，目前也無法再取得聯繫，想請問這樣的狀況是否適用民法第1081條的「遺棄他方」或是「有其他重大事由難以維持收養關係」，來請法院判決終止？ 另想請問，若我單方面提出聲請，法院是否會想辦法寄送傳票給養父請他出庭？因為當初母親拜託他收養時，有以金錢做為交換條件，擔心若與養父有所接觸可能會有其它問題產生。 以上再麻煩各位律師們撥空解惑，謝謝。