犯罪嫌疑人、被告人在取保候审期间未违反规定的，取保候审结束的时候，凭解除取保候审的通知或者有关法律文书到银行领取退还的保证金，一般在手续办理完毕后即可当场退还。

根据《中华人民共和国刑事诉讼法》规定，犯罪嫌疑人、被告人在取保候审期间遵守相关规定，没有违反禁止性要求的，在取保候审结束时，就有权要求退还保证金。这里的“取保候审结束”通常是指取保候审期限届满，或者因案件侦查、审查起诉、审判等情况发生变化，不再需要继续取保候审而被解除。

具体退还保证金的流程是，执行机关（一般是公安机关）在解除取保候审时，会出具解除取保候审的通知或者有关法律文书。犯罪嫌疑人、被告人或其法定代理人、近亲属等可以凭借这些文件，到指定的银行领取退还的保证金。

正常情况下，只要手续齐全，银行会当场办理退还保证金的业务。不过在实际操作中，可能会因为一些客观因素导致退还时间稍有延迟。例如，执行机关在办理解除手续时可能需要一定的内部审批流程，或者相关文件的传递可能存在时间差等。

如果遇到保证金没有及时退还的情况，相关人员可以向执行机关进行询问，了解具体原因。执行机关有义务及时处理退还保证金的事宜，若违反规定，犯罪嫌疑人、被告人可以向上级主管部门进行反映和投诉，以维护自身合法权益。只要符合退还条件，保证金最终都会退还，且正常情况下能较快完成退还手续。

法律依据：

《中华人民共和国刑事诉讼法》 第七十二条

取保候审的决定机关应当综合考虑保证诉讼活动正常进行的需要，被取保候审人的社会危险性，案件的性质、情节，可能判处刑罚的轻重，被取保候审人的经济状况等情况，确定保证金的数额。提供保证金的人应当将保证金存入执行机关指定银行的专门账户。

《中华人民共和国刑事诉讼法》 第七十三条

犯罪嫌疑人、被告人在取保候审期间未违反本法第七十一条规定的，取保候审结束的时候，凭解除取保候审的通知或者有关法律文书到银行领取退还的保证金。