我想詢問我在102/6/5被世界健身中心業務以體驗價100元之名，加入會員，雖然簽了會員合約書，但我並未付任何款項，也沒有給予任何扣款資料，而後業務傳簡訊告知需繳交尾款且說明合約要確定，但因我人在外地，並沒有理會她的簡訊，因為我也沒有要加入，在今天我去健身中心使用之前的100元一日體驗時，卻有人員給我會員卡，但我告知我並沒有要加會員，且我告知我要退會，人員卻叫我自行與業務聯絡，與業務聯絡告知我要退會，她卻說她沒有我詳細資料無法回答我的問題，說她上班查清楚在跟我回電，我跟家人討論想想覺得很奇怪，再把會員書拿出來看，看到後面有寫什麼中途退會會有違約金6000，但當時並沒有告知有什麼合約，因為我也沒有留任何扣款或繳費資料，那我需要理會嗎？或是我去辦理退會，會被強迫繳交違約金嗎？我不繳會有任何對我不利嗎？