不退彩礼钱不一定是违法行为，需要结合具体情况判断。在符合法定情形下，女方拒不退还彩礼可能构成违法行为；若不符合法定退还情形，女方不退彩礼则不违法。

根据《最高人民法院关于适用《中华人民共和国民法典》婚姻家庭编的解释（一）》第五条规定，当事人请求返还按照习俗给付的彩礼，如果查明属于以下情形，人民法院应当予以支持：（一）双方未办理结婚登记手续；（二）双方办理结婚登记手续但确未共同生活；（三）婚前给付并导致给付人生活困难。适用前款第二项、第三项的规定，应当以双方离婚为条件。

当存在上述法定情形时，男方要求女方退还彩礼，女方拒绝退还，男方通过合法途径如向法院起诉，且法院判决女方退还彩礼，而女方在有能力执行的情况下拒不执行判决，这种行为就可能违法，情节严重的甚至可能构成拒不执行判决、裁定罪。

如果不存在上述法定情形，例如双方已经办理结婚登记且共同生活，或者虽然婚前给付彩礼，但并未导致给付人生活困难，那么女方不退彩礼是合理合法的。因为彩礼在一定程度上具有赠与性质，在婚姻关系正常存续且不符合法定退还条件时，女方对彩礼的占有是合法的。

在实际生活中，彩礼问题往往较为复杂，还可能涉及当地习俗、双方协商等多种因素。在处理彩礼纠纷时，建议双方首先进行友好协商，尽量达成一致意见。若协商不成，可以通过法律途径解决，以维护自身的合法权益。

法律依据：

《中华人民共和国民事诉讼法》 第一百二十三条

起诉应当向人民法院递交起诉状，并按照被告人数提出副本。

书写起诉状确有困难的，可以口头起诉，由人民法院记入笔录，并告知对方当事人。

《中华人民共和国民事诉讼法》 第一百二十八条

人民法院应当在立案之日起五日内将起诉状副本发送被告，被告应当在收到之日起十五日内提出答辩状。答辩状应当记明被告的姓名、性别、年龄、民族、职业、工作单位、住所、联系方式；法人或者其他组织的名称、住所和法定代表人或者主要负责人的姓名、职务、联系方式。人民法院应当在收到答辩状之日起五日内将答辩状副本发送原告。

被告不提出答辩状的，不影响人民法院审理。