나머지...

연말에도 기술지원은 쉬지 않는다.~!!

by janus posted Jan 21, 2010



2009 12, 누구나 그런 것처럼 12월말은 일이 손에 잡히지 않는게 사실이다. 송년회다 신년 사업계획에다 정신 없이 한 해를 마무리할 때쯤, 불길한 예감의 전화가 걸려왔다.

전화의 내용은 백업 본을 이용하여 DB를 복구하였는데 구동이 되지 않는 다는 것이다.

복구를 하게 된 이유는, DB size가 증가하여 DB를 백업한 후 삭제하고 파티션을 할당하여 여유공간을 확보하고 백업 본을 이용하여 복구를 하기 위해서였다고 하였다.

DB백업 본이 있으니 문제가 없을 거라는 안도의 한 숨을 쉬면서 원격을 요청하여 DB를 구동시켰으나 역시나 구동되지 않고 죽어버린다.

~!! 머리 속에서 제야의 종이 울리기 시작했다. 연말이라 종소리의 충격이 거세어 졌다….

다행히 core파일이 존재하여 코어를 분석하니 log recovery과정 중에 죽은 것으로 되어 있어 가볍게 “로그복구를 하면 되겠지” 라고 생각했었는데 뒤끝의 찜찜함은 무엇일까….

역시나 IT에서의 찜찜함은 그냥 넘어 갈리가 없다.

DB구동은 되었으나 어느 순간 오류 메시지를 출력하고 데이터입력이 되지 않는 것이다. 연말 왕건이 걸렸구나 흑흑….

에러의 메시지는 DB의 구성파일인 몇몇 볼륨들을 찾을 수 없다는 것이었다. DB를 복원하는 과정 중에서 DB구성파일들은 만들어 졌으나formatting이 수행되지 않은 것 같다.


복구가 도중 중단되었을 가능성이 있어 담당자에게 동일한 백업을 이용하여 복구를 요청하였다.

담당자가 3rd party백업 및 복구 솔루션을 이용하여 복구하는 과정을 원격으로 보고 있었는데 이상하게 복구가 금방 끝나는 것이다.

느린 테이프를 이용하여 로딩하는 것일 텐데 120Gbyte를 단 몇 분만에 복구를 했다는 메시지가 나오는 것이었다.

복구의 시간을 보았을 때 정상적인 백업 본이 아닐 것 같아 현재 복구한 백업 본 바로 이전의 백업을 이용하여 복구 하기로 하였다.

20~30분이 지난 후 복구가 완료되었다는 솔루션의 메시지가 출력하였다.

뭔가 믿음이 가는 복구 시간에 부푼 기대를 안고 DB및 시스템의 서비스를 구동시켰다.

한 시간 가량 모니터링을 한 후 정상적인 서비스가 됨을 확인하고 ~!! “안도의 한숨을 쉴 수 있었다.

몇일 안 되는 신정연휴에 장애지원을 하고 있을 뻔했는데 정말 다행이다….

 

3rd party의 솔루션이 파이프를 이용하는 방식이므로 언제든지 네트워크의 문제로 인해 백업이미지를 받아 들이지 못할 수도 있고 tape의 공간 부족 및 기타 문제로 정상적인 백업 본을 저장하지 못할 수도 있다.

이런 문제를 해결하기 위해서는 DB가 크다면 충분한 공간이 필요하겠지만 local서버 내에 일차적으로 백업한 후 그 백업을 백업서버 혹은 storage에 담아두면 될 듯….

이래서 주요시스템에 대하여 이중, 삼중으로 백업을 수행한다는 생각이 들기도 한다.