서버 수십 대의 이상 징후만 골라 보기
디스크 사용률, 인증서 만료, 서비스 상태를 서버마다 들어가 확인하지 않고, 한 번 실행해 정상이 아닌 서버만 따로 봅니다.
Pro0.10.0 판부터설정 5분
쓰는 기능일괄 실행결과 묶음지난 실행과 비교내보내기
이런 상황
아침마다 서버 스무 대의 디스크가 찼는지, 인증서가 곧 끝나는지, 서비스가 떠 있는지 확인합니다. 한 대씩 접속하면 삼십 분이 걸리고, 열여덟 번째쯤에서는 숫자를 대충 넘기게 됩니다.
일괄 실행은 출력이 같은 서버끼리 묶어서 보여 줍니다. 이 점을 이용해 정상이면 모든 서버가 같은 말을 하도록 명령을 짜면, 정상인 서버는 한 묶음으로 접히고 문제가 있는 서버만 따로 남습니다.
방법
- 레일의 일괄 실행을 열고 대상 그룹을 체크합니다.
env=prod나tag:web처럼 조건으로 고를 수도 있습니다. - 스크립트로 실행을 켜고 아래 세 줄을 넣습니다.
- 실행합니다. 결과는 대개 두세 묶음으로 나옵니다. 큰 묶음은 세 줄 모두 정상인 서버들이고, 작은 묶음은 디스크가 80%를 넘었거나 인증서가 곧 끝나거나 서비스가 죽은 서버입니다.
- 큰 묶음을 기준으로 정하고 작은 묶음을 누르면 어느 줄이 다른지 표시됩니다.
2번에 넣을 스크립트입니다.
df -P / | awk 'NR==2 { if ($5+0 >= 80) print "디스크 위험 " $5; else print "디스크 정상" }'
openssl x509 -checkend 2592000 -noout -in /etc/ssl/certs/site.pem >/dev/null && echo "인증서 정상" || echo "인증서 30일 안에 만료"
systemctl is-active nginx
쓰는 요령
- 숫자를 그대로 출력하면 서버마다 값이 달라 묶이지 않습니다. 기준을 넘었는지만 말하게 하고, 넘은 경우에만 숫자를 붙이세요.
- 대상 세트를 저장해 두면 다음 날은 세트를 고르고 실행만 누릅니다.
- 이력에서 어제 실행을 열어 오늘과 비교하면 새로 문제가 생긴 서버가 보입니다.
- 실패한 서버(접속 불가 등)는 따로 표시되고, 실패한 서버만 다시 실행할 수 있습니다.
- 결과는 CSV나 XLSX로 내보내 점검 기록으로 남깁니다.
알아 둘 점
- 일괄 실행은 비밀번호나 호스트 키를 묻지 않습니다. 계정이 저장돼 있지 않거나 처음 보는 호스트 키인 서버는 이유와 함께 건너뜁니다. 터미널로 한 번 접속해 두면 됩니다.
- 운영 서버가 대상에 있으면 실행 전에 대상 수를 입력해 확인합니다.
- 서버당 출력은 1 MiB까지 받습니다. 긴 로그를 통째로 가져오는 용도에는 맞지 않습니다.
일괄 실행의 결과 묶음, 실패만 다시 실행, 두 실행 비교는 자동 시험으로 확인했습니다.