如果没有约定或者是超过约定自愿支付违约金的钱，没有损害国家，集体等利益，借款人是不得要求出借人返还的。

违约损失可能是经济损失等。

1.借款方不按合同规定的用途使用借款，贷款方有权收回部分或全部贷款,对违约使用的部分，按银行规定的利率加收罚息。情节严重的,在一定时期内，银行可以停止发放新贷款。

2.借款方如逾期不还借款,贷款方有权追回借款,并按银行规定加收罚息.借款方提前还款的,应按规定加(减)收利息。

3.借款方使用借款造成损失浪费或利用借款合同进行违法活动的，贷款方应追回贷款本息,有关单位对直接责任人应追究行政和经济责任.情节严重的,由司法机关追究刑事责任。