并非所有参加聚众斗殴者均构成聚众斗殴罪。只有聚众斗殴的首要分子和其他积极参加者，才能构成聚众斗殴罪主体。
如果自己是属于还没打架之前就已经离开了的话，这个情况还是要根据实际的情况来进行判定：
1、如果是自己找来的人打架的话，自己不参与打架，照样会构成犯罪。
2、如果自己是被别人叫来的话，在斗殴前就已经离开了，这种情况可能不构成犯罪，但是会进行罚款等惩罚。
一、双方打架构成犯罪怎么处罚
双方打架构成犯罪的，对首要分子和其他积极参加人处三年以下有期徒刑、拘役或者管制；多次聚众斗殴的，对首要分子和其他积极参加的，处三年以上十年以下有期徒刑；聚众斗殴，致人重伤、死亡的，按照故意杀人罪、故意伤害罪定罪量刑。
二、相互约架构成什么罪名
相互约架构成的罪名需要根据动机、手段、情节等来判断。约架可能涉嫌构成聚众斗殴罪，聚众斗殴罪是指纠集众人成帮结伙地互相进行殴斗，破坏公共秩序的行为。根据相关法律规定，聚众斗殴的，对首要分子和其他积极参加，处三年以下有期徒刑、拘役或者管制，情节严重者，处三年以上十年以下有期徒刑。如果打架导致人员伤亡，构成其他罪名。
【本文关联的相关法律依据】
根据《治安管理处罚法》第26条规定，有下列行为的，处五日以上十日以下拘留，可以并处五百元以下罚款；情节较重的，处十日以上十五日以下拘留，可以并处一千元以下罚款：结伙斗殴的。
