[solved] Подсчет трафика на сервере в ЦОД.
Здравствуйте.
Пришел счетик по серавку, который стоит в ЦОД. Счет в 4 раза больше обычного.
Когда начали уточнять, то сказали трафика много..
Трафик платный только иностранный, написали что ~100ГБ (из суммы 3% входящий, 97% исходящий).
На сервере порядка 100 эл. магазинов, все наши.. т.е. никого не пускаем на сервер. Ничего не качали через сервер.
Реально ли такое?..
Ну и в ближайшее время (думаю в ближ. пару дней) станет вопрос установки системы подсчета трафика. Какой лучше системой воспользоваться для подсчета трафика?.. чтобы можно было делить как то иностранный и не иностранный.
Была как то надобность поставить анализатор трафика, но задача была локального характера, трафик адсл соединения нужно было пощитать. Пользовался NetAms, считало нормально.
На сервере нет X-ов.
Спасибо.
- Для комментирования войдите или зарегистрируйтесь
почитал на форуме информацию,
почитал на форуме информацию, решил пробовать netflow
нашел статейку - http://lug.ivanovo.ru/f/topic_show.pl?tid=529
тут рассказывается об установке и базовой настройке netflow.
сделал так как написано в статье, но В БД не записывается ничего :(
pstree выдал:
├─flow-capture ├─fprobe───4*[{fprobe}]в директории /var/flows/YYYY/YYYY-MM/ есть файлы типа ft-....
скрипт записи в БД в статье был:
но при запуске его в консоле
в чем может быть дело? ... читаю man flow-export, там есть пример, пробую его запускать он выдает ошибку (инфу к БД заменяю на свою):
:(
тут описался.. в имени бд, когда поправил инфа появилась в БД
а какой веб-интерфейс можно прикрутить к бд? чтобы могло помочь в моей задаче (описанной в первом посте)?
netflow dashboard ?
советую покурить
советую покурить http://nfsen.sourceforge.net/
вставляет =)
спасибо
буду пробовать курить в своб. время
из собственного опыта общения
из собственного опыта общения с netflow - он врет иногда безбожно
для "оспаривания" трафика - нужно нечто типа dcpdump с последующим разгребанием файла
поскольку у вас сервер и следить надо за небольшим количеством портов - 22, 25, 465, 80 + еще парочка может быть
я бы покопал в сторону логирования через iptables
тем более, что вас инересует в основном нероссийский трафик - в правилах прописать ACCEPT для известных рос.сетей и логировать только неизвестно-забугорное
это немного снизит нагрузку на проц и значительно уменьшит объем разребаемых логов
имхо.
что-то добрый я сегодня ....
пока пробую побыстрому
пока пробую побыстрому прикрутить netflow, а там дальше буду пробовать решение логирование через iptables,.. наверное будет правильнее всего..
пока на начальном этапе помогла статья - http://lug.ivanovo.ru/f/topic_show.pl?tid=529, правда вместо lanbiling - http://phpal.sourceforge.net/allanbilling (веб интерфейса), который предлагается в статье, я написал свой.. а то в том, запутался немного и решил что свой написать будет проще, чем разбираться в имеющемся.
кому нужен - http://rapidshare.com/files/377558067/aqua_lanflow.tar.gz.html
скрины -
в настройках скрпипта можно указать подключение к БД, код своей страны и диапазон для внутр. ресурсов (чтобы исключать трафик), можно указать кол-во МБ, после чего строчка подсвечивается.
Дальше планирую поставить NetAms 3.4 из этой статьи - http://www.lissyara.su/?id=2093
Чтобы трафик подсчитывался в двух местах, чтобы можно было при случае сравнить.. Думаю должно помочь.
...
как выяснилось, яндекс бот у меня сожрал за 2 дня почти 9Гб, надо посмотреть в сторону индексации страниц сайтов.. возможно там где нибудь оплошность допущена.
http://rapidshare.com/files/3
Гениально :(, это что бы никто не скачал ? Наверное варез :-S
Compute:
Bosch M2.8.1 -> custom Bosch M2.8.3 clone from Russia.
Speed about 260 km,Ram 2 pers.,HDD - 70 kg,210 FLOPS ;)
я туплю? slepnoga
я туплю?
а в чём фишка-то?
я скачал....
а юмора - не понял ;(
что-то добрый я сегодня ....
а что вам надо? beba
а что вам надо?
вы разделяете www/mail/ssh и прочее ?
если нужен "анализ" нагрузки веб-сайтов - может проще (и нагляднее) посмотреть куда-нить в сторону webalizer ?
красивше и нагрузки на сервак нет, имхо .....
что-то добрый я сегодня ....
спасибо
Мне нужно было для начала определить, куда все же трафик расходуется, и расходуется ли.. (была еще надежду на ошибку провайдера, в бил. системе, т.к. при звонке и разговором со специалистом ЦОД он первое что сказал, присылайте инфу, возможно ошибка в билинговой системе случилась, то разберемся)
Разделение по портам думаю сделать немного позже, т.к. в приципе думаю нащупал проблему.. откуда ветер (трафик) дует.
> если нужен "анализ" нагрузки веб-сайтов - может проще (и нагляднее) посмотреть куда-нить в сторону webalizer ?
спасиб, попробую.. не ползовался никогда..
думаю теперь это будет след. этапом в моих действиях..
как закончу, потом попробую все же попробовать через iptables сделать анализ трафика, т.к. Вы написали что netflow иногда оч. врет.. анализ трафика вещь нужная, нужно разобраться и положить в доку.. чтобы всегда если что было под рукой информация.
.... в продолжение
еще раз благодарствую за webalizer, прошелестел он логи.. и я увидел, что в этом месяце почти по трафику дошла отметка до предыдущего месяца.. уже 109ГБ, ... просмотрел статистику от netflow, яндекс 12Гб сьел...
пока того spider'а от yandex, который на данный момент меня 2.5дня сканирует и съел уже 12Гб, отрубил в iptables, пока не подумаю как оптимизровать.. причем скачек по трафику согласно webalizer вырос за месяц сарт в 3 раза..
хотел спросить.. счас у меня лог в один файл все собирае - access_log, раньше (несколько лет назад) когда у меня все висело на fedore, то в апаче каждому сайту делал свой отдельный лог. и я так понимаю, что в случае с отдельным логом, можно при помощи webalizer смотреть статистику по каждому сайту.. Так вот, это дело хорошее (видеть по каждому сайту), но хотелось бы и общую видеть.. Чтобы не не заходить на 100 страниц и не сумировать все самому.. можно ли сделать так, чтобы логи по отдельности и в общий файл слаживались сразу?
спасибо
beba написал(а): пока того
robots.txtВам в помощь :-)beba написал(а): Чтобы не не
настроить логи на каждый сайт в отдельности и по крону (раз в сутки) объединять в один ?
что-то добрый я сегодня ....
ух..
супер.. отличная мысль.
еще раз спасибо, не знаю что бы я делал без Вас(leryc)..
может кому все же полезно
может кому все же полезно будет..
в вебинтерфейсе сделал возможность просмотра по протокам (регулировать протоколы можно в файле в настройках)
http://rapidshare.com/files/377692194/aqua_lanflow_1_1.tar.gz.html
Без бумажки ты...
Я бы не стал утверждать достаточность
dcpdumpи/или логов iptables.С этой точки зрения категорически рекомендовано наличие сертификата (установленного образца) на используемую биллинговую систему.
:wq
--
Live free or die
/
+
Добавлю, что сертификата желательно типа ГОСТ Р ИСО 9001-2001 (ISO 9001:2000), иначе с самопалом-наколенкой у вас нет шансов что либо оспорить. Никаких. Нигде.
+++ ибо не далее как три дня
+++
ибо не далее как три дня взад занимался этим самым "оспариванием"
однако замечу....
"оспорить" и "иметь намерение (основание) для оспаривания" - это суть разные вещи, имхо
что-то добрый я сегодня ....
netflow идеальный
netflow идеальный вариант
попробуй ntop, может будет достаточно его
ну вроде в общем со всем
ну вроде в общем со всем определился, спасибо за помощь..
тему закрываю