почему растет пинг

Пинг может меняться из-за многих факторов. Поскольку связь идет через множество сетевых узлов, то каждый из них увеличивает такую вероятность.

Сам пинг незначительно влияет на голосовую связь, если он постоянен. Если же он все время меняется, то, скорее всего, где-то возникают потери пакетов.
Чтобы выяснить где именно это возникает - во время ухудшения связи сделайте трассировку.