团伙斗殴并不单纯以人数来判定是否违法，一般二人及以上共同故意实施斗殴行为就可能涉及违法。但认定违法还需结合具体行为情节、造成的后果等多方面因素。

在法律层面，团伙斗殴通常可能涉及《中华人民共和国治安管理处罚法》和《中华人民共和国刑法》。从人数上来说，二人及以上共同故意实施斗殴行为，就具备了团伙的基本特征。是否构成违法不能仅仅依据人数来判断。

根据《中华人民共和国治安管理处罚法》，结伙斗殴的，处五日以上十日以下拘留，可以并处五百元以下罚款；情节较重的，处十日以上十五日以下拘留，可以并处一千元以下罚款。这里对于“结伙”并没有明确规定具体人数，但司法实践中，一般认为两人及以上共同实施斗殴行为就可能适用此条规定。不过，若斗殴情节显著轻微，比如只是轻微的推搡、口角引发的短暂肢体冲突，且未造成人身伤害和财产损失等后果，可能不被认定为违反治安管理处罚法。

如果情节更为严重，达到刑事犯罪的程度，可能构成聚众斗殴罪。依据《中华人民共和国刑法》规定，聚众斗殴的，对首要分子和其他积极参加的，处三年以下有期徒刑、拘役或者管制；有多次聚众斗殴等情形的，对首要分子和其他积极参加的，处三年以上十年以下有期徒刑。对于聚众斗殴罪中的“聚众”，通常理解为三人以上（包含三人）。但同样，不能仅看人数，还需考量行为的恶劣程度、是否持械、是否造成人员重伤或死亡等后果。例如，虽然人数未达到三人，但斗殴行为导致他人重伤，也可能按照故意伤害罪等其他罪名进行定罪处罚。

团伙斗殴是否违法是一个综合判断的过程，人数只是其中一个参考因素，关键还要看具体行为的性质、情节和后果等。

法律依据：

《中华人民共和国治安管理处罚法》 第二十六条

有下列行为之一的，处五日以上十日以下拘留，可以并处五百元以下罚款；情节较重的，处十日以上十五日以下拘留，可以并处一千元以下罚款：

（一）结伙斗殴的；

（二）追逐、拦截他人的；

（三）强拿硬要或者任意损毁、占用公私财物的；

（四）其他寻衅滋事行为。