виснет система
раз в несколько дней стал виснуть сервер
запустил top с другого компьютера и стал ждать что-б посмотреть что вешает
но что самое странное сервер повис а top нет. по ssh зайти нельзя но раньше зайденный не выбросил.
когда попытался нажать ps -ax - все повисло намертво.
что это может быть?
top
top - 14:10:08 up 8 days, 2:21, 1 user, load average: 76.06, 75.28, 75.07
Tasks: 166 total, 2 running, 164 sleeping, 0 stopped, 0 zombie
Cpu(s): 0.0% us, 0.3% sy, 0.0% ni, 99.7% id, 0.0% wa, 0.0% hi, 0.0% si
Mem: 482416k total, 477648k used, 4768k free, 131904k buffers
Swap: 506008k total, 112k used, 505896k free, 163216k cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
1 root 16 0 1448 500 436 D 0.0 0.1 0:00.25 init
2 root RT 0 0 0 0 S 0.0 0.0 0:00.00 migration/0
3 root 34 19 0 0 0 S 0.0 0.0 0:00.05 ksoftirqd/0
4 root 10 -5 0 0 0 S 0.0 0.0 0:00.00 events/0
5 root 10 -5 0 0 0 D 0.0 0.0 0:00.00 khelper
6 root 10 -5 0 0 0 S 0.0 0.0 0:00.00 kthread
8 root 10 -5 0 0 0 S 0.0 0.0 0:09.58 kblockd/0
9 root 20 -5 0 0 0 S 0.0 0.0 0:00.00 kacpid
102 root 10 -5 0 0 0 S 0.0 0.0 0:00.00 khubd
165 root 17 -5 0 0 0 S 0.0 0.0 0:00.00 aio/0
751 root 10 -5 0 0 0 S 0.0 0.0 0:00.00 kseriod
775 root 15 -5 0 0 0 S 0.0 0.0 0:00.00 kpsmoused
811 root 18 -5 0 0 0 S 0.0 0.0 0:00.00 ata/0
814 root 16 0 0 0 0 S 0.0 0.0 0:00.00 khpsbpkt
829 root 10 -5 0 0 0 S 0.0 0.0 0:01.00 reiserfs/0
941 root 18 -4 1680 512 332 S 0.0 0.1 0:00.33 udevd
6011 root 16 0 3376 936 652 S 0.0 0.2 0:00.00 sshd
6093 root 16 0 2524 540 412 S 0.0 0.1 0:00.40 metalog
6094 root 16 0 1628 208 132 S 0.0 0.0 0:00.00 metalog
6211 root 16 0 1704 644 528 D 0.0 0.1 0:00.26 cron
6266 root 16 0 1580 692 592 S 0.0 0.1 0:00.00 agetty
6267 root 16 0 1580 696 592 S 0.0 0.1 0:00.00 agetty
6268 root 16 0 1584 696 592 S 0.0 0.1 0:00.00 agetty
6269 root 16 0 1580 696 592 S 0.0 0.1 0:00.00 agetty
6278 root 17 0 1584 696 592 S 0.0 0.1 0:00.00 agetty
6279 root 16 0 1580 696 592 S 0.0 0.1 0:00.00 agetty
9871 proftpd 16 0 2788 896 456 S 0.0 0.2 0:00.37 proftpd
10089 mysql 16 0 144m 31m 4928 S 0.0 6.6 36:43.39 mysqld
11039 root 17 0 6200 1920 1532 S 0.0 0.4 0:00.44 sshd
11045 kiev1 16 0 6200 1432 1020 R 0.0 0.3 1:31.74 sshd
11046 kiev1 15 0 3984 1708 1396 S 0.0 0.4 0:00.00 bash
11049 root 16 0 3296 1116 892 S 0.0 0.2 0:00.00 su
11050 root 15 0 3864 1760 1420 S 0.0 0.4 0:00.03 bash
23843 root 15 0 0 0 0 S 0.0 0.0 0:00.56 pdflush
21619 root 16 0 18884 8188 4400 S 0.0 1.7 0:00.24 apache
21624 apache 16 0 21572 8908 2544 D 0.0 1.8 0:02.46 apache
21625 apache 16 0 21720 9536 2696 S 0.0 2.0 0:02.91 apache
21632 apache 17 0 21260 8520 2540 D 0.0 1.8 0:02.21 apache
21743 apache 16 0 21348 8532 2428 D 0.0 1.8 0:01.19 apache
21779 root 15 0 0 0 0 S 0.0 0.0 0:00.04 pdflush
21880 apache 16 0 18884 5332 1532 D 0.0 1.1 0:00.00 apache
21883 root 18 0 2008 744 588 S 0.0 0.2 0:00.00 cron
21884 root 18 0 2284 384 300 D 0.0 0.1 0:00.00 bash
21886 root 18 0 2008 744 588 S 0.0 0.2 0:00.00 cron
21887 root 18 0 2392 1056 908 S 0.0 0.2 0:00.00 bash
21888 root 17 0 2008 744 588 S 0.0 0.2 0:00.00 cron
- Для комментирования войдите или зарегистрируйтесь
Оборудование???
Глюки в физической памяти.
а есть-ли какая
а есть-ли какая утилитка что-б на живом сервере определить причину?
Как это так,
Как это так, сервер повис, а top нет?
И что значит повис?
А в логах что?
Дык линукс
Дык линукс живучий. У меня очень прикольно по очереди консоли зависали во врема компиляции, когда на P III кулер сдох и проц перегревался при нагрузке.
А что такое
А что такое страшное на этом сервере бегает что загрузка такая?
load average: 76.06, 75.28, 75.07
С такой загрузкой немудренно тормозить
_________________
Gentoo GNU/Linux 2.6.17 GCC 4.1.1 Dual Xeon
апач да mysql
а ничего не бегает - апач да mysql и то все зажато по количеству коннектов - а топ 8 суток крутился - может поэтому? и как посмотреть этот load average если по top %CPU везде почти нулевой?
Судя по первому
Судя по первому посту у тебя что то тяжелое бегает под nice
_________________
Gentoo GNU/Linux 2.6.17 GCC 4.1.1 Dual Xeon
.
да ничего и не бегает вовсе, а логи - в них ничего не успевает попасть - перед зависанием ничего подозрительного, ни нагрузки, ничего - хлоп и все, поменял память - пока не виснет.
# ps ax
PID TTY STAT TIME COMMAND
1 ? S 0:00 init [3]
2 ? S 0:00 [migration/0]
3 ? SN 0:00 [ksoftirqd/0]
4 ? S< 0:00 [events/0]
5 ? S< 0:00 [khelper]
6 ? S< 0:00 [kthread]
8 ? S< 0:02 [kblockd/0]
9 ? S< 0:00 [kacpid]
102 ? S< 0:00 [khubd]
165 ? S< 0:00 [aio/0]
164 ? S 0:06 [kswapd0]
751 ? S< 0:00 [kseriod]
775 ? S< 0:00 [kpsmoused]
811 ? S< 0:00 [ata/0]
814 ? S 0:00 [khpsbpkt]
829 ? S< 0:00 [reiserfs/0]
941 ? S
5921 ? Ssl 9:14 /usr/sbin/mysqld --defaults-file=/etc/mysql/my.cnf --basedir=/usr --datadir=/var/lib/mysql --pid-file=/var/run/mysqld/mysqld.pid5991 ? Ss 0:00 /usr/sbin/sshd
6117 ? Ss 0:00 /usr/sbin/cron
6179 tty1 Ss+ 0:00 /sbin/agetty 38400 tty1 linux
6180 tty2 Ss+ 0:00 /sbin/agetty 38400 tty2 linux
6181 tty3 Ss+ 0:00 /sbin/agetty 38400 tty3 linux
6182 tty4 Ss+ 0:00 /sbin/agetty 38400 tty4 linux
6191 tty5 Ss+ 0:00 /sbin/agetty 38400 tty5 linux
6192 tty6 Ss+ 0:00 /sbin/agetty 38400 tty6 linux
7893 ? S 0:01 [pdflush]
22484 ? Ss 0:00 proftpd: (accepting connections)
2705 ? S 0:00 [pdflush]
4196 ? Ss 0:00 /usr/sbin/apache -D PHP4 -d /usr/lib/apache -f /etc/apache/httpd.conf -d /usr/lib/apache -f /etc/apache/httpd.conf -d /usr/lib/a
5009 ? S 0:02 /usr/sbin/apache -D PHP4 -d /usr/lib/apache -f /etc/apache/httpd.conf -d /usr/lib/apache -f /etc/apache/httpd.conf -d /usr/lib/a
5040 ? S 0:02 /usr/sbin/apache -D PHP4 -d /usr/lib/apache -f /etc/apache/httpd.conf -d /usr/lib/apache -f /etc/apache/httpd.conf -d /usr/lib/a
5062 ? S 0:02 /usr/sbin/apache -D PHP4 -d /usr/lib/apache -f /etc/apache/httpd.conf -d /usr/lib/apache -f /etc/apache/httpd.conf -d /usr/lib/a
5238 ? S 0:00 /usr/sbin/apache -D PHP4 -d /usr/lib/apache -f /etc/apache/httpd.conf -d /usr/lib/apache -f /etc/apache/httpd.conf -d /usr/lib/a
5240 ? S 0:00 /usr/sbin/apache -D PHP4 -d /usr/lib/apache -f /etc/apache/httpd.conf -d /usr/lib/apache -f /etc/apache/httpd.conf -d /usr/lib/a
5243 ? S 0:00 /usr/sbin/apache -D PHP4 -d /usr/lib/apache -f /etc/apache/httpd.conf -d /usr/lib/apache -f /etc/apache/httpd.conf -d /usr/lib/a
5244 ? S 0:00 /usr/sbin/apache -D PHP4 -d /usr/lib/apache -f /etc/apache/httpd.conf -d /usr/lib/apache -f /etc/apache/httpd.conf -d /usr/lib/a
5269 ? Ss 0:00 sshd: kiev1 [priv]
5275 ? S 0:00 sshd: kiev1@pts/0
5276 pts/0 Ss 0:00 -bash
5279 pts/0 S 0:00 su
5280 pts/0 S 0:00 bash
5282 pts/0 R+ 0:00 ps ax
Наблюдаю
Наблюдаю абсолютно тоже самое. Раз в несколько дней все виснет из-за нагрузки на систему. Load average под сотню. Проц кушает апач. Можно его успеть перезапусть до того как все зависнет, тогда все нормализуестся. Иногда само проходит, но редко. Из-за чего не могу понять. Давно такая петрушка уже.
Хочу спросить, замена памяти помогла?
Очень странный глюк, в логах ничего нет. Что делать, куда копать, помогите!!!
*
помогла замена памяти, но до этого я тоже апач/mysql/php прижал по количеству макс запущенных процессов, использованию памяти и количеству коннектов, а то настройки по дефолту неправильные.
реально наблюдал на днях еще случай - старая рабочая DDR память становится в новую NF2 материнку, на одном хитром тесте вылетает одна ячейка - не разбирался - в другой работала - потом только заметил что память медленная - вероятно материнка ей выставляла слишком высокую частоту не смотря на SPD.
Эм...
Ну раз пошла такая пьянка, то хочу заметить, что top, эта, без сомнения, замечательная утилита относится к разряду программ "посмотрел и вырубил". Для регулярного мониторинга есть такая вещь как системное журналирование. Предлагаю покурить для начала вот это http://www.gentoo.org/doc/en/security/security-handbook.xml?part=1&chap=3
И еще раз. В таких делах, как отказ сервера, нужно читать логи, а не делать из народа телепатов.