サーバー障害

　3時から4時半にかけてサーバーが異常にディスクアクセスをしていた。SSHでのログイン不能。KDMからのログインも不能。コンソールへの切り替えはできたものの、メッセージが表示されるだけでログイン不能。ディスクアクセスが少し収まったところで強制リセット。
　軽くログを見立てカーネルのメモリーアクセスに異常があるようなメッセージが見受けられたので2.6.21での起動をやめ、2.6.20.7で起動し寝た。

　起きてログを見直したところ、以下のとおり(部分抜粋)

**syslog**
May 3 03:08:58 phonoscape kernel: e:169152kB present:373828kB pages_scanned:572208 all_unreclaimable? yes
May 3 03:09:12 phonoscape kernel: lowmem_reserve[]: 0 0
May 3 03:09:14 phonoscape kernel: DMA: 1*4kB 1*8kB 3*16kB 3*32kB 0*64kB 1*128kB 1*256kB 0*512kB 1*1024kB 0*2048kB 0*4
096kB = 1564kB
May 3 03:09:14 phonoscape kernel: Normal: 4*4kB 9*8kB 1*16kB 1*32kB 1*64kB 3*128kB 3*256kB 0*512kB 1*1024kB 0*2048kB
0*4096kB = 2376kB
May 3 03:09:28 phonoscape kernel: Swap cache: add 156616, delete 156455, find 5536/8527, race 0+54
May 3 03:09:28 phonoscape kernel: Free swap = 0kB
May 3 03:09:28 phonoscape kernel: Total swap = 522104kB
May 3 03:09:28 phonoscape kernel: Free swap: 0kB
May 3 03:09:28 phonoscape kernel: ntpd invoked oom-killer: gfp_mask=0x201d2, order=0, oomkilladj=0
May 3 03:09:28 phonoscape kernel: [] out_of_memory+0x69/0x197

May 3 03:16:10 phonoscape kernel: [] __alloc_pages+0x1fc/0x286
May 3 03:16:10 phonoscape kernel: [] __do_page_cache_readahead+0xbb/0x1fb
May 3 03:16:10 phonoscape kernel: [] ext3_get_block+0x0/0xd0
May 3 03:16:10 phonoscape kernel: [] io_schedule+0xe/0x16
May 3 03:16:10 phonoscape kernel: [] __wait_on_bit_lock+0x4a/0x51
May 3 03:16:10 phonoscape kernel: [] __lock_page+0x58/0x5e
May 3 03:16:10 phonoscape kernel: [] filemap_nopage+0x164/0x31c
May 3 03:16:10 phonoscape kernel: [] __handle_mm_fault+0x121/0x7a5
May 3 03:16:10 phonoscape kernel: [] do_page_fault+0x213/0x525
May 3 03:16:10 phonoscape kernel: [] do_page_fault+0x0/0x525

　メモリー不足による動作不良に見えるが、その根本的な原因がわからない。
　ログからはntpd（時刻同期デーモン)でメモリー不足でおかしくなったように見えるが、それ以前にSWAPを食いつぶしている。

　カーネルのバグか？