男方不给女方钱一般不算家庭暴力罪。在我国刑法中并没有“家庭暴力罪”这一具体罪名，与之相关的可能涉及虐待罪等。单纯的不给钱通常不属于暴力行为的范畴，但如果这种不给钱的行为是控制女方生活、限制女方自由等虐待行为的一部分，且情节恶劣，可能构成虐待罪。

需要明确家庭暴力的定义。根据《中华人民共和国反家庭暴力法》，家庭暴力是指家庭成员之间以殴打、捆绑、残害、限制人身自由以及经常性谩骂、恐吓等方式实施的身体、精神等侵害行为。从这个定义来看，男方不给女方钱本身并不直接符合上述暴力行为的表现形式。

在婚姻关系中，如果男方通过不给女方钱的方式，达到控制女方的目的，使女方无法正常生活、就医、接受教育等，限制了女方的人身自由和发展权利，并且这种情况具有持续性、经常性，那么可能属于虐待行为。虐待家庭成员，情节恶劣的，可能构成虐待罪。这里的“情节恶劣”一般指虐待手段残忍、持续时间长、造成被害人重伤、死亡或者精神失常等严重后果。

在司法实践中，判断是否构成犯罪需要综合多方面因素。仅仅是偶尔一次或者短期不给女方钱，很难认定为犯罪行为。因为夫妻之间的经济管理模式多种多样，有些家庭可能是一方掌管经济大权，另一方按需支取。但如果女方长期处于经济被完全控制，基本生活需求无法满足的状态，女方可以通过法律途径维护自己的权益。女方可以要求分割夫妻共同财产，保障自己的经济权益。如果情况严重，符合虐待罪的构成要件，还可以向司法机关报案，追究男方的刑事责任。

男方不给女方钱不能简单地认定为犯罪行为，需要结合具体情况进行分析和判断。

法律依据：

《中华人民共和国刑法》 第二百三十二条

故意杀人的，处死刑、无期徒刑或者十年以上有期徒刑；情节较轻的，处三年以上十年以下有期徒刑。