想請問懂法律的大大們問題，最近遇到了小糾紛
事情是這樣的：
我在網路上賣二手機，後來有位賣家出價跟我買，
在我用那隻手機的期間，使用上沒有出現過問題，
後來我們就約地方，一手交錢一手交貨，
但交貨當下，對方並沒有檢查手機是否有損壞，就帶走了，而我也拿錢回家

後來，他說他使用上有問題，按鍵有問題，說要退貨(7天之內)
我也答應，所以我們約了時間，但雙方時間都喬不攏，
我有空時他沒辦法來，他有空時我得上班，一拖再拖，超過7天了(將近2個禮拜)

之後他又要求要退貨！但我們時間一直談不攏，然後又超過7天鑑賞期...
所以想說不退了，畢竟我也不知道是否是他使用期間摔到手機而導致按鍵出問題？
然後他就告訴我：如果你不退我錢的話，那我會採取法律途徑，到時我們法庭見

想請問大大，我現在應該怎麼做？
他說的那句話成立嘛？超過7天了..
我真的很確定我用的時候都很正常沒摔到過，但我不確定是否是他使用上不慎而摔到手機導致按鍵出問題，畢竟人都會隱瞞一些對自己不利的事，我也怕我讓他退貨之後會吃虧

請各位大大幫幫我><　　感激不盡！！！

 他說手機有瑕疵要提起訴訟，那他必須負舉證責任，他提起訴訟贏的機會不高，不必太擔心。