认定劳动关系通常由劳动争议仲裁委员会和人民法院负责。在一定情况下，劳动行政部门也可在工伤认定等过程中对劳动关系进行确认。

在我国，劳动关系认定的主要负责主体有以下几类。首先是劳动争议仲裁委员会。当劳动者与用人单位就劳动关系是否存在产生争议时，可向劳动争议仲裁委员会提出仲裁申请。劳动争议仲裁委员会是处理劳动争议的专门机构，其设立是为了公正及时解决劳动争议，保护当事人合法权益，促进劳动关系和谐稳定。它依据《中华人民共和国劳动争议调解仲裁法》等相关法律法规，按照法定程序对双方提供的证据进行审查和判断，从而认定劳动关系是否存在。

其次是人民法院。如果当事人对劳动争议仲裁委员会的仲裁结果不服，可以在规定时间内向人民法院提起诉讼。人民法院作为国家的审判机关，会依据相关法律和事实，对劳动关系进行重新审查和认定。人民法院的审判具有权威性和终局性，其判决结果对双方当事人具有强制执行力。

另外，劳动行政部门在特定情形下也会涉及劳动关系的认定。例如在工伤认定过程中，劳动行政部门需要确定劳动者与用人单位之间是否存在劳动关系。因为只有存在劳动关系，劳动者才有可能被认定为工伤。劳动行政部门在进行工伤认定时，会对劳动关系进行初步审查。若用人单位与劳动者对劳动关系存在争议，可能会要求当事人先通过劳动争议仲裁或诉讼来确定劳动关系。

总之，劳动争议仲裁委员会和人民法院是认定劳动关系的主要部门，劳动行政部门在工伤认定等特定工作中也会涉及劳动关系的判断。这些部门依据各自的职责和法定程序，确保劳动关系认定的公正、合法。

法律依据：

《中华人民共和国劳动合同法》 第十条

建立劳动关系，应当订立书面劳动合同。

已建立劳动关系，未同时订立书面劳动合同的，应当自用工之日起一个月内订立书面劳动合同。

用人单位与劳动者在用工前订立劳动合同的，劳动关系自用工之日起建立。