Use broker_log_top by python(SampleCode)
소개: broker_log_top을 python프로그램을 이용하여 편리하게 사용할 수 있도록 간단한 sample code 작성
2009-03-31 기술컨설팅부 김범준, CUBRID
적용 대상: CUBRID 2008
Python을 이용한 간단한 sample code(1)
CUBRID와 python이 정상적으로 연결되어 사용되려면, python 2.4버전 이상이 필요하다. 사용환경을 위한 설정 확인 방법은 아래와 같다.
1. $cubrid_rel à CUBRID버전을 확인한다(CUBRID2008이상의 버전을 사용할 것을 권장함)
2. $python -v à python버전을 확인한다(python 2.4버전 이상에서 CUBRID에 연결 사용을 권장함)
3. 아래의 경로에서 cubrid-python을 다운로드 받아 설치한다(위키 참조)
http://dev.naver.com/projects/cubrid-python/download/shownote?release_id=110
Broker를 통하여 수행된 쿼리들의 집합인 <broker_name>_<number>.sql.log파일의 로그를 분석하여, 쿼리유형으로 분류하고, 빈도를 산출하게 하는 CUBRID2008에서 제공하는 utility다. broker_log_top의 수행 결과는 아래와 같이 두 가지 파일이 보여지게 된다. (CUBRID7.3 이하 버전은 ‘cas_log_top’이다.)
아래와 같이 쿼리를 유형별로 분류하여 보여준다.
[Q1]-------------------------------------------
broker1_1.sql.log:1492986
03/27 16:12:02.346 (1) execute srv_h_id 1 <-- SQL 쿼리 -->
03/27 16:12:02.346 (1) bind 1 : VARCHAR 6
03/27 16:12:02.346 (1) bind 2 : VARCHAR 1254779
03/27 16:12:02.346 (1) bind 3 : VARCHAR 8
03/27 16:12:02.346 (1) bind 4 : VARCHAR 8
03/27 16:12:02.346 (1) bind 5 : VARCHAR 1254779
03/27 16:12:03.244 (1) execute 0 tuple 1 time 0.898
[Q2]-------------------------------------------
broker1_1.sql.log:402116
03/26 18:46:50.607 (7848) execute srv_h_id 1 <-- SQL 쿼리 -->
03/26 18:46:50.607 (7848) bind 1 : VARCHAR 3
03/26 18:46:50.607 (7848) bind 2 : VARCHAR 1147879
03/26 18:46:50.607 (7848) bind 3 : VARCHAR 3
03/26 18:46:50.607 (7848) bind 4 : VARCHAR 1
03/26 18:46:50.607 (7848) bind 5 : VARCHAR 1147879
03/26 18:46:50.955 (7848) execute 0 tuple 1 time 0.348
위의 유형별로 해당 쿼리의 빈도와 수행시간의 최대, 최소 값을 보여준다. 이를 참조하여 위의 각 유형을 확인하여 해당 쿼리를 튜닝하는데 활용한다. [Q1], [Q2]... 각각은 log_top.q에 있는 각각의 유형을 표시하며 max, min값은 수행 시간의 최대, 최소값. avg는 해당 유형의 평균값이며 cnt는 수행 수의 합이며, (err)은 총 에러 발생 수이다.
max min avg cnt(err)
-----------------------------------------------------
[Q1] 0.898 0.000 0.003 30100 (0)
[Q2] 0.348 0.000 0.003 9237 (0)
[Q3] 0.294 0.000 0.003 9139 (0)
[Q4] 0.287 0.000 0.003 9138 (0)
...
여러 가지 함수들이 미리 정의되어 있어 사용이 간단하고 linux기반의 OS에 대부분 기본적으로 설치가 되어 있다. 현재 CUBRID2008과 연동 가능한 모듈이 제공되고 있으며 간단하고 사용하기 쉬한 python을 이용한 간단한 sample code를 순차적으로 제공하려 한다.
현재 broker_log_top의 경우 결과값을 하나의 log_top.q와 log_top.res로 나타내어 주게 되어 있다. broker log가 다량일 경우 그 작업의 시간이 오래 걸리고 한번 수행에 하나의 파일만 산출되기 때문에 효율적인 관리와 검색을 위해 각 log로 분리하여 저장하는 것이 유용하다.
import os,sys,commands
a=1
b=raw_input('Broker Name: ')
c=("ls "+"%s"%b+"*"+" | wc -l")
num=int(commands.getoutput(c))
name=raw_input('Directory name: ')
mk=("rm -rf "+"%s"%name+";"+"mkdir"+" "+"%s"%name)
og=os.system(mk)
while a <=num:
e=("broker_log_top broker1_"+"%d"%a+".sql.log*")
f=("mv"+" "+"log_top.q"+" "+"./log_top_result/"+"log_top.q_"+"broker1"+"_"+"%d"%a)
g=("mv"+" "+"log_top.res"+" "+"./log_top_result/"+"log_top.res_"+"broker1"+"_"+"%d"%a)
cmd=os.system(e); cmd1=os.system(f); cmd2=os.system(g)
a=a+1
print 'n!!!BROKER_LOG_TOP COMPLETE!!!'
$ python log_top.py
Broker Name: broker1 à broker_log_top으로 확인하길 원하는 broker의 이름
Directory name: log_top_result à broker_log_top 수행 결과 파일이 저장될 위치
broker1_1.sql.log
print results...
broker1_2.sql.log
print results...
broker1_3.sql.log
print results...
broker1_4.sql.log
print results...
broker1_5.sql.log
print results...
!!!BROKER_LOG_TOP COMPLETE!!! à 수행완료
해당 스크립트는 오류처리부분이 적용되지 않았다. 사이트 지원 시 사용 편의를 위해서 만들었으며 broker_log_top의 모든 기능을 사용하지는 못한다.
