撤销监护人资格由人民法院负责，有权向法院申请撤销监护人资格的主体包括其他依法具有监护资格的人，居民委员会、村民委员会、学校、医疗机构、妇女联合会、残疾人联合会、未成年人保护组织、依法设立的老年人组织、民政部门等。

在法律体系中，对于监护人资格的撤销有着明确的规定和程序。人民法院是撤销监护人资格的法定裁判部门。这是因为法院作为司法机关，具有中立性和权威性，能够依据法律和事实进行公正的裁决。

有权向法院提出撤销监护人资格申请的主体是多元化的。其他依法具有监护资格的人，比如未成年人的祖父母、外祖父母等近亲属，当他们发现监护人存在严重侵害被监护人权益等法定情形时，可以向法院提出申请。居民委员会、村民委员会作为基层群众性自治组织，他们熟悉辖区内居民的情况，当发现监护人不履行监护职责或者侵害被监护人合法权益时，有责任和义务维护被监护人的权益，可向法院申请撤销监护人资格。

学校、医疗机构等在日常工作中也可能接触到被监护人的情况，例如学校发现学生因监护人原因遭受虐待、忽视等，医疗机构发现患者因监护人的不当行为导致病情延误等，都可以向法院提出申请。妇女联合会、残疾人联合会等群团组织，它们的职责之一就是维护特定群体的合法权益，当涉及到妇女、残疾人等群体的监护问题时，若发现监护人存在问题，也可以申请撤销监护人资格。

未成年人保护组织、依法设立的老年人组织专注于保护未成年人和老年人的权益，当他们发现相关的监护问题时，同样可以成为申请主体。而民政部门作为政府负责社会事务管理的部门，在其他主体都不提起申请时，民政部门应当向法院申请撤销监护人资格，以保障被监护人的合法权益。

撤销监护人资格需要严格依据法律规定的情形和程序进行。《中华人民共和国民法典》规定了几种可以撤销监护人资格的情形，如实施严重损害被监护人身心健康的行为；怠于履行监护职责，或者无法履行监护职责且拒绝将监护职责部分或者全部委托给他人，导致被监护人处于危困状态等。只有在符合这些法定情形时，申请撤销监护人才会得到法院的支持。

法律依据：

《中华人民共和国治安管理处罚法》 第四十二条

有下列行为之一的，处五日以下拘留或者五百元以下罚款；情节较重的，处五日以上十日以下拘留，可以并处五百元以下罚款：

（一）写恐吓信或者以其他方法威胁他人人身安全的；

（二）公然侮辱他人或者捏造事实诽谤他人的；

（三）捏造事实诬告陷害他人，企图使他人受到刑事追究或者受到治安管理处罚的；

（四）对证人及其近亲属进行威胁、侮辱、殴打或者打击报复的；

（五）多次发送淫秽、侮辱、恐吓或者其他信息，干扰他人正常生活的；

（六）偷窥、偷拍、窃听、散布他人隐私的。