取保候审保证金在犯罪嫌疑人、被告人取保候审结束的时候退还。

根据《中华人民共和国刑事诉讼法》规定，犯罪嫌疑人、被告人在取保候审期间未违反相关规定的，取保候审结束的时候，凭解除取保候审的通知或者有关法律文书到银行领取退还的保证金。

具体而言，在司法实践中，要明确几个关键时间点和步骤。取保候审的期限最长不得超过十二个月。当取保候审期限届满，或者发现不应当追究犯罪嫌疑人、被告人的刑事责任时，有关机关会作出解除取保候审的决定。

作出解除取保候审决定的主体，可能是公安机关、人民检察院或者人民法院。在作出解除决定后，会及时通知执行机关，也就是公安机关。公安机关在收到通知后，会制作退还保证金决定书。

然后，犯罪嫌疑人、被告人或者其法定代理人、近亲属、辩护人可以凭借解除取保候审的通知或者有关法律文书，到指定的银行领取退还的保证金。这里的有关法律文书，比如人民法院的判决书、裁定书等，只要能够证明取保候审已经结束即可。

需要强调的是，如果犯罪嫌疑人、被告人在取保候审期间违反了相关规定，如未经执行机关批准离开所居住的市、县，住址、工作单位和联系方式发生变动，在二十四小时以内未向执行机关报告等，已交纳的保证金可能会被部分或者全部没收。只有在遵守规定的情况下，才能顺利在取保候审结束时拿到退还的保证金。这一制度设计旨在保障刑事诉讼的顺利进行，同时也保护了被取保候审人的合法权益。

法律依据：

《中华人民共和国刑事诉讼法》 第七十二条

取保候审的决定机关应当综合考虑保证诉讼活动正常进行的需要，被取保候审人的社会危险性，案件的性质、情节，可能判处刑罚的轻重，被取保候审人的经济状况等情况，确定保证金的数额。

提供保证金的人应当将保证金存入执行机关指定银行的专门账户。

《中华人民共和国刑事诉讼法》 第七十三条

犯罪嫌疑人、被告人在取保候审期间未违反本法第七十一条规定的，取保候审结束的时候，凭解除取保候审的通知或者有关法律文书到银行领取退还的保证金。