как ограничить максимальное количество групп для одного пользователя

Уточните, для чего вы хотите использовать это ограничение?

Обычный гость и так не может назначать себе ни одну из групп. А иерархия прав выстраивается так, чтобы количество групп, возможных для присваивания пользователем, было не больше, чем максимальное количество доступных ему групп.

Имеется в виду, что например, есть несколько групп: VIP, Модератор, Администратор.

Администратор может назначать все группы (макс. 3 группы).

Модератор может назначать VIP и Модератора (макс. 2 группы).

VIP может назначать только VIP (макс. 1 группу).

Если вы хотите чтобы Модератор, при возможности устанавливать две группы, мог состоять одновременно только в одной из них, а для добавления второй сперва обязан снять с себя предыдущую - то так сделать не получится.