离婚时男方借的钱处理方式需依据借款性质判断。若为夫妻共同债务，应由夫妻共同偿还；若为男方个人债务，则由男方独自承担。

首先要明确债务性质，这是处理男方借款问题的关键。判断债务是否属于夫妻共同债务，主要依据相关法律规定。根据《中华人民共和国民法典》，夫妻双方共同签名或者夫妻一方事后追认等共同意思表示所负的债务，以及夫妻一方在婚姻关系存续期间以个人名义为家庭日常生活需要所负的债务，属于夫妻共同债务。例如，男方借款用于家庭购买房产、支付子女教育费用、日常的生活开销等，这些都可认定为夫妻共同债务。

对于夫妻共同债务，离婚时应当共同偿还。共同财产不足清偿或者财产归各自所有的，由双方协议清偿；协议不成的，由人民法院判决。在实际操作中，双方可以协商如何分担债务，比如按照一定比例分担，或者由一方承担全部债务，但另一方给予相应的补偿。若协商不成，法院会根据具体情况进行判决，通常会综合考虑双方的经济状况、债务的形成原因等因素。

若男方所借的钱并非用于家庭共同生活，而是用于个人的不合理开支，如赌博、吸毒等，或者是以个人名义超出家庭日常生活需要所负的债务，且债权人不能证明该债务用于夫妻共同生活、共同生产经营或者基于夫妻双方共同意思表示的，则属于男方个人债务。个人债务应由男方独自承担还款责任，与女方无关。

在处理离婚时男方借的钱这一问题时，关键在于准确判断债务性质，然后根据不同情况进行合理的处理。同时，为了避免纠纷，双方应保留好相关的证据，如借款合同、转账记录、消费凭证等，以便在需要时证明债务的用途和性质。

法律依据：

《中华人民共和国民法典》 第五百七十七条

当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。

第五百八十四条

当事人一方不履行合同义务或者履行合同义务不符合约定，造成对方损失的，损失赔偿额应当相当于因违约所造成的损失，包括合同履行后可以获得的利益；但是，不得超过违约一方订立合同时预见到或者应当预见到的因违约可能造成的损失。