MySQL Master Master

друзья, коллеги.
сегодня я допустил много ошибок, последствия которых стоило много нервов мне и другим людям.
нужен ваш совет для того чтобы такого больше не повторилось.

есть некий сайт который должен работать отказоустойчиво , у него есть для этого своя AS.
два сервера в разных концах москвы и через bgp выбирается ближайший сервер
есть у сайта MySQL база c репликацией Master Master
она отлично работало до сегодняшнего дня

но сегодня когда постоянно рвалась связь между сервером, из-за проблем на канале произошел сбой и получилось что в одном сервере были одни записи а в другом другие.

как правильно выходить из такой ситуации?

пример лога

091117 11:28:44 [Note] Slave I/O thread: connected to master 'replicator@10.0.0.112:3306',  replication started in log 'mysqld-bin.000001' at position 0
091117 11:28:44 [ERROR] Error reading packet from server: Client requested master to start replication from impossible position ( server_errno=1236)
091117 11:28:44 [ERROR] Got fatal error 1236: 'Client requested master to start replication from impossible position' from master when reading data from bina
ry log
091117 11:28:44 [Note] Slave I/O thread exiting, read up to log 'mysqld-bin.000001', position 0