离婚时三金是否要退还给男方父母，需要根据具体情况判断。一般来说，如果三金是作为彩礼的一部分，且符合法定情形，可能需要返还；若不属于彩礼性质或不符合法定返还情形，则通常无需退还。

在婚姻关系中，三金的性质和归属判定是解决是否退还问题的关键。

要明确三金是否属于彩礼范畴。在很多地区，三金往往是男方在订婚或结婚时给予女方的财物，具有彩礼的性质。根据最高人民法院关于适用《中华人民共和国民法典》婚姻家庭编的解释（一）第五条规定，当事人请求返还按照习俗给付的彩礼，如果查明属于以下情形，人民法院应当予以支持：（一）双方未办理结婚登记手续；（二）双方办理结婚登记手续但确未共同生活；（三）婚前给付并导致给付人生活困难。适用前款第二项、第三项的规定，应当以双方离婚为条件。

如果三金属于彩礼，且存在上述法定情形，那么女方可能需要将三金退还给男方。例如，双方虽然办理了结婚登记，但实际上并未共同生活，之后离婚，男方有权要求女方返还作为彩礼一部分的三金。而如果男方因给付三金等彩礼导致家庭生活陷入困境，离婚时也可请求女方返还。

如果三金不属于彩礼性质，而是男方在恋爱期间出于表达爱意等目的自愿赠与女方的，那么一般视为普通赠与。在这种情况下，赠与行为完成后，财产所有权已经转移给女方，离婚时女方通常无需退还。比如男方在情人节等特殊日子送给女方三金，这种赠与与缔结婚姻并无直接关联，离婚时女方可以不退还。

在实际处理中，还需要考虑双方的具体情况和证据。如果双方能够就三金的退还问题达成一致意见，那么可以按照协商结果处理。若无法协商一致，可通过诉讼等法律途径解决，由法院根据具体事实和法律规定作出判决。

法律依据：

《中华人民共和国民法典》 第一千零四十一条

婚姻家庭受国家保护。

实行婚姻自由、一夫一妻、男女平等的婚姻制度。

保护妇女、未成年人、老年人、残疾人的合法权益。

《中华人民共和国民法典》 第一千零四十二条

禁止包办、买卖婚姻和其他干涉婚姻自由的行为。禁止借婚姻索取财物。

禁止重婚。禁止有配偶者与他人同居。

禁止家庭暴力。禁止家庭成员间的虐待和遗弃。