iproute2 + ssh

Есть два провайдера в интернет, один быстрый(fast) другой медленный(slow), есть две сети 192.168.0.0/24 и 192.168.1.0/24, задача первую сеть запустить через канал slow, нулевую через fast, предусмотреть переход нулевой сети на канал slow если fast отвалился. Итак имеем -

eth0 - 10.0.0.2 fast канал с маршрутом 10.0.0.1
eth1 - 10.10.10.2 slow канал с маршрутом 10.10.10.1
eth2 - 192.168.0.20
eth3 - 192.168.1.20

Создаю две таблицы в /etc/iproute2/rt_tables slow и fast, далее

ip route add 10.0.0.0/24 dev eth0 src 10.0.0.2 table fast
ip route add default via 10.0.0.1 table fast
ip route add 10.10.10.0/24 dev eth1 src 10.10.10.2 table slow
ip route add default via 10.10.10.1 table slow

ip route add 10.0.0.0/24 dev eth0 src 10.0.0.2
ip route add 10.10.10.0/24 dev eth1 src 10.10.10.2

создаем мультилучевой маршрут

ip route add default scope global nexthop via 10.0.0.1 dev eth0 weight 1 nexthop via 10.10.10.1 dev eth1 weight 1

маркируем пакеты

iptables -t mangle -A PREROUTING -s 192.168.0.0/24 -j MARK --set-mark 2
iptables -t mangle -A PREROUTING -s 192.168.1.0/24 -j MARK --set-mark 3

правила маршрутизации

ip rule add fwmark 2 table fast
ip rule add fwmark 3 table slow

проверяем
tcpdump -i eth0
tcpdump -i eth1
Все работает правильно, перескок на другого провайдера осуществляется простыми скриптами которые пингуют шлюзы провайдера и при отвале меняют маркеры пакетов, работает, но не так быстро как хотелось бы, но вот теперь о проблемах
1. ssh стал работать с жутким тормозом при заходе с внешних каналов, причем реконнект происходит примерно каждую минуту, до вышеизложенных настроек работал как часы, решения не нашел
2. Немного не к теме, на скоростном канале очень часто происходит сильное снижение скорости, это и раньше случалось, но сейчас чаще, я грешу на провайдера, но ругаться с ними уже надоело, причем не помогает даже перезагрузка, весь нет перерыл, нашел только что-то про то что iptables может грузить систему при большом количестве коннектов, но это не мой случай, при пиковых нагрузках top показывает использование проца 5%, памяти 60Mb, аппарат - Athlon64 3200+ 2Gb RAM, система собрана под amd64, может ли что нибудь снижать скорость интернета на linux-овом роутере, может кто сталкивался?
Спасибо.