請問懂法律的大大們~
我丈夫的父親在我丈夫尚未出生時就已經外遇，然後就失蹤也逃避辦理離婚手續，直到我丈夫7歲的時候才想起有個兒子，離婚的條件就是他要帶走小孩也就是我的丈夫，離婚協議書上還有附加條件，就是倘若父親有任何違法且被判刑入獄小孩就歸母親不得有議(事實上他曾經入獄服刑，只是母親那方並不知情，所以也沒有去要回扶養權)。

我丈夫的父親把他接回家之後也完全不管他，沒多久也再婚又離婚了(也是因為外遇)，偶爾才會出現在家裡，通常都在外遇對象家生活，整天賭博。所以我丈夫在國中時就靠自己打工過活，知道自己兒子有能力賺錢的時候，就利用阿嬤跟我丈夫拿錢給他用，甚至以我丈夫的名義去向我丈夫的生母騙取財物，而他父親的姐妹也以我丈夫的名義向我丈夫的生母詐騙取財多次(例如誆健保費欠繳或是要領補助必須先繳款....等等，有匯款紀錄)。

直到婚後，認為這樣的環境實在不適合生活也為了以後孩子的教育(因為阿嬤、姑姑也賭博，而且天天約一堆三姑六婆到家裡搞得烏煙瘴氣)，我們決定搬離。由於阿嬤會要錢來當她賭博的資金，屢勸不聽，更對外高調表示我們不拿錢給她就是不孝，大打苦肉計，於是我們索性斷絕連絡。

請問如果我丈夫的父親以後要告我們棄養，是可以告的嗎?
假如告了，我們要負什麼法律責任?

PS:我丈夫7歲那年被接回去，已經多出一個妹妹了。而又再婚的對象也可以證明他父親從來不工作，成天賭博、在外拈花惹草，也從沒盡到做父親的責任。只是那個阿姨已經罹癌，可能不久於人世。

要怎麼做才能讓法官相信?
還是我要準備哪些證據或是證人?