segmentation fault가 발생할 때 디버깅 방법

아파치 프로세스가 가끔씩 또는 자주 error log에 segmentation fault 메세지를 남기면서 죽는 경우는 보통 아파치 모듈에 에러가 있는 경우입니다.
보통 아파치는 여러 개의 모듈이 로딩되고 모듈 자체에서 다시 외부 모듈을 호출하는 경우도 있기 때문에 디버깅을 하기가 쉽지 않습니다.

아파치 프로세스가 죽으면서 error log에 아래와 같은 메세지를 남깁니다.
[Thu Jul 03 16:41:43 2008] [notice] child pid 26827 exit signal Segmentation fault (11)

core 파일 생성을 위해서 httpd.conf 에 아래 내용을 추가합니다.
CoreDumpDirectory /tmp # core 파일을 /tmp에 생성

이제 아파치 프로세스가 죽게되면 error log 메세지가 아래와 같이 바뀌고 /tmp 디렉토리에 core 파일이 생성됩니다.
[Thu Jul 03 17:09:05 2008] [notice] child pid 27723 exit signal Segmentation fault (11), possible coredump in /tmp

만약 core 파일이 생성되지 않을 경우에는 아파치 데몬 소유자의 core limit을 변경해 줍니다. (bash shell에서)
ulimit -c unlimited

이제 gdb를 실행합니다.
gdb /usr/local/httpd/bin/httpd /tmp/core

관련된 파일이 로딩되고 나면, back trace로 어디서 문제가 생겼는지 확인합니다.
(gdb) bt
#0  0x4019f6bf in chunk_free (ar_ptr=0x402537a0, p=0xffffffec) at malloc.c:3226
#1  0x4019f424 in __libc_free (mem=0x82320e4) at malloc.c:3155
#2  0x406b00c3 in zif_zend_aescryptstring () from /usr/local/libexec/api/libaesapi.so
#3  0x405947b3 in execute (op_array=0x825df24)
    at /usr/local/libexec/wwwsrc/php-4.4.4/Zend/zend_execute.c:1675
#4  0x40594957 in execute (op_array=0x825ddd4)
    at /usr/local/libexec/wwwsrc/php-4.4.4/Zend/zend_execute.c:1719
#5  0x40594957 in execute (op_array=0x825da0c)
    at /usr/local/libexec/wwwsrc/php-4.4.4/Zend/zend_execute.c:1719
...

여기서는 zend_aescryptstring 가 php 확장 모듈이기 때문에 3번 프레임의 내용을 확인합니다.

(gdb) frame 3
#3  0x405947b3 in execute (op_array=0x825df24)
    at /usr/local/libexec/wwwsrc/php-4.4.4/Zend/zend_execute.c:1675
1675    /usr/local/libexec/wwwsrc/php-4.4.4/Zend/zend_execute.c: No such file or directory.
        in /usr/local/libexec/wwwsrc/php-4.4.4/Zend/zend_execute.c
(gdb) print (char *)executor_globals.active_op_array->filename (해당 모듈을 호출한 php 파일을 출력합니다.)
$1 = 0x8252e8c "/usr/local/mainwww/webII/lib/class.CryptCookie2.php"
(gdb) print (char *)executor_globals.active_op_array->function_name
$2 = 0x8259c5c "_decrypt" (php 파일 내에서 모듈을 호출한 함수 이름)
(gdb) print (char *)(executor_globals.function_state_ptr->function)->common.function_name
$3 = 0x406b04c0 "zend_aescryptstring" (php 모듈의 함수 이름)

이제 문제가 된 zend_aescryptstring 함수를 찾아서 디버깅하면 됩니다 ^^

참고 자료:
http://bugs.php.net/bugs-generating-backtrace.php
http://httpd.apache.org/dev/debugging.html