본 문서는 NHN Internet Bulletin Board Application Database Benchmark(이후 NBD Benchmark)의 사양(Specification)을 간략히 기술하고 1차 시험 결과를 제공한다. NBD Benchmark는 인터넷 서비스에서 대표되는 응용 프로그램인 게시판 류의 서비스에 대한 데이터베이스 시스템(혹은 DBMS)의 성능 벤치마크를 정의한 것이다.

NBD Benchmark는 게시판 류의 웹 서비스를 구현하면서 사용되는 데이터베이스 시스템의 성능을 서비스 관점에서 측정하여 시스템들의 성능을 상호 비교하기 위한 것이다. NBD Benchmark는 데이터베이스 시스템의 성능에만 초점을 맞추며, 전체 서비스에 관여되는 웹 서버 등은 배제한 상태로 성능을 측정한다.

1.2. 인터넷 게시판 서비스 시스템 참조 모델

NBD Benchmark의 모델이 되는 인터넷 게시판 서비스에 대한 참조 시스템의 구조는 그림 1과 같다.

l 웹 서비스 클라이언트: 인터넷 게시판 서비스를 이용하는 웹 브라우저와 사용자를 의미한다.

l 인터넷 웹 어플리케이션 서버: 웹 브라우저가 접속하는 웹 서버와 서비스 로직을 수행하는 어플리케이션 서버를 합해서 지칭한다.

l 내부 네트워크: 웹 어플리케이션 서버와 데이터베이스 시스템 사이에 존재하는 네트워크이다. (NBD Benchmark 에서는 웹 어플리케이션 서버와 데이터베이스 시스템이 네트워크 연결 없이 하나의 서버에서 시스템 구성은 고려하지 않는다.)

l 데이터베이스 시스템: 인터넷 게시판 데이터베이스를 저장 관리하고 웹 어플리케이션의 데이터베이스 요청을 처리하는 시스템이다.

그림 1 서비스 시스템 참조 모델

1.3. NBD Benchmark 시스템 참조 구조

NBD Benchmark는 1.2 인터넷 게시판 서비스 시스템 참조 모델에서 웹 어플리케이션 서버가 웹 브라우저(사용자)의 서비스 요청을 처리하기 위해 데이터베이스 시스템에 요청을 보내고 결과를 얻는 과정에서 데이터베이스 시스템의 성능을 측정하기 위한 것으로, (1) 워크로드를 제공하는 테스트 드라이버 프로그램과 (2) 성능 측정 대상인 데이터베이스시스템, 그리고 (3) 데이터를 생성하는 데이터베이스 생성기로 구성된다. (그림 2)

테스트 드라이버는 서비스를 사용하는 웹 브라우저와 서비스를 제공하는 웹 어플리케이션 서버의 역할을 수행하는 프로그램으로 정의된 워크로드를 생성하며, 데이터베이스의 응답 결과를 서비스와 트랜잭션, 그리고 트랜잭션을 구성하는 SQL 쿼리 수준에서 측정한다.

데이터베이스 생성기는 대상 데이터베이스 시스템을 이용해 Database Design에 정의된 NBD 데이터베이스를 생성/구성하는 프로그램이다.

그림 2 NBD Benchmark 시스템 참조 구조

2. 시험 결과

2.1. 시험 환경

항목	소항목	CUBRID	MySQL
데이터베이스	버전	CUBRID Release 7.3.0.1085	5.0.40-nhn_standard_64-log MySQL NHN Standard 64bit Version
서버 정보	시스템 정보	시험에 사용된 모든 장비의 SPEC은 동일함. Linux d78741 2.6.18-8.el5 #1 SMP Thu Mar 15 19:46:53 EDT 2007 x86_64 x86_64 x86_64 GNU/Linux
	CPU	4 * ( model name: Intel(R) Xeon(R) CPU 5148 @ 2.33GHz cpu MHz : 2327.528 cache size : 4096 KB )
	MEM	8G
데이터 베이스 구성	스케일	small-scaled board (게시물 수 1000 ± 10%) 2개 medium-scaled board (게시물 수 100000 ± 10%) 6개
워크로드 유형		Hotspot read
워크로드 설정		각 DBMS 서버의 CPU 사용률을 극대화 하는 work load 생성. 다음 run을 20분간 3회 연속 순차 수행 CUBRID: 10(thread)7(process) SqlMap-DBCP MySQL: 10(thread)7(process) SqlMap-DBCP
테스트 드라이버	Font-end	NBench (2007/11/8일 버전)
	Backend 구성	SQL Map + DBCP, JDBC + DBCP
	Backend 구성 package	SQL Map : ibatis-2.3.0.677.jar DBCP : commons-dbcp-1.1.jar JDBC : cubrid_jdbc_1085.jar (CUBRID), mysql-connector-java-5.1.3-rc-bin.jar (MySQL)
기타 소프트웨어		없음

NOTICE:

서비스 적용 시에는 대부분 HA(High Availability) 구성이 필요하므로 복제 기능을 이용하여 Active ó Standby를 구성한다. 따라서 2대의 DB 서버를 구성하는 것을 목표 모델로 하여 시험한다.

2.2. 시험 결과

2.2.1. CUBRID 7.3 : 10(thread)*7(process) SqlMap-DBCP

항목	RUN1	RUN2	RUN3
수행 시간 (msec)	1,207,635	1,205,475	1,204,228
서비스 요청수	6,739,478	6,688,506	6,702,216
실패한 서비스 요청수	2	0	0
페이지 뷰 (PV/sec)	944	938	941
초당 트랜잭션 처리수(TPS/sec)	5,580	5,548	5,565

2.2.2. MySQL: 10(thread)*7(process) SqlMap-DBCP

항목	RUN1	RUN2	RUN3
수행 시간 (msec)	1,207,710	1,208,835	1,209,678
서비스 요청수	3,709,017	3,709,882	3,693,530
실패한 서비스 요청수	49	40	32
페이지 뷰 (PV/sec)	540	540	537
초당 트랜잭션 처리수(TPS/sec)	3,071	3,068	3,053

2.3. 시험 결과 분석

2.3.1. CUBRID vs MySQL TPS비교

구분	CUBRID 7.3	MySQL 5.0.40	CUBRID vs MySQL (TPS 기준)
수행 시간 (msec)	1,205,779	1,208,741	182%
서비스 요청수	6,710,067	3,704,143
실패한 서비스 요청수	1	40
페이지 뷰 (PV/sec)	941	539
초당 트랜잭션 처리수(TPS/sec)	5,564	3,064

2.3.2. CUBRID vs MySQL CPU 사용율 비교

NOTE:

m 수집 방식 : sar –r

m 수집 항목

① USER : Percentage of CPU utilization that occurred while executing at the user level

② SYSTEM: Percentage of CPU utilization that occurred while executing at the system level

③ TOTAL : USER + SYSTEM

2.3.3. CUBRID vs MySQL DISK사용율 비교

NOTE:

m 수집 방법: sar –B

m 수집 항목

① pgpgin/s : Total number of kilobytes the system paged in from disk per second

② pgpgout/s : Total number of kilobytes the system paged out to disk per second

③ faults/s : Number of page faults (major + minor) made by the system per second

3. 시험 시나리오

3.1. Database Design

3.1.1. Entities and Relationships

다음 그림은 NBD Benchmark의 데이터베이스에 대한 간단한 ER Diagram이다.

그림 3 NBD 데이터베이스 ER 다이어그램

3.1.2. Table Layout

범례: PK – Primary Key, FK – Foreign Key, NL – Not NULL constraint, U – Unique constraint

n NBD_BOARD_INFO

NBD_BOARD_INFO 테이블은 데이터베이스에 있는 게시판들의 정보를 포함한다.

표 1 NBD_BOARD_INFO 테이블

필드명	필드 정의 (데이터타입)	제약 조건	설명
BOARD_ID	Decimal digits (10)	PK	게시판 식별자,
BOARD_TITLE	Variable character (100)	NL	게시판 제목
BOARD_DESCRIPTION	Variable character (300)		게시판에 대한 설명
SERVICE_INFO	Variable character (30)	NL	게시판이 사용되는 서비스
BOARD_TYPE	Variable character (10)	NL	게시판의 종류 (예. UCC, Text, Picture)
BOARD_STATUS	Variable character (10)	NL	게시판의 상태 (예. Active, Closed)
AUTH_CONTROL	Variable character (200)		권한을 나타내는 스트링
ADMIN_ID	Variable character (20)		관리자의 ID
OPEN_DATE	Date		서비스 시작된 날짜
CLOSE_DATE	Date		서비스 중지된 날짜
EXTRA_1
EXTRA_2
EXTRA_3
EXTRA_4

n NBD_CATEGORY

NBD_CATEGORY 테이블은 게시판 내에서 게시물들의 주제 구분을 의미한다. 예를 들어, ‘세계 여행’ 게시판이라면 ‘여행 준비’, ‘맛집 소개’, ‘숙소 정보’, ‘여행기’, ‘기타’ 등으로 구분할 수 있다. 게시물을 작성할 때는 특정 주제를 선택할 수도 있고, 주제 선택 없이 ‘전체’가 될 수도 있다.

CATEGORY_ID는 데이터베이스 범위에서 유일해야 한다. BOARD_ID로 어떤 게시판에서 정의된 카테고리인지 나타낸다.

표 2 NBD_CATEGORY 테이블

필드명	필드 정의 (데이터타입)	제약 조건	설명
BOARD_ID	Decimal digits (10)	FK	게시판 식별자,
CATEGORY_ID	Decimal digits (10)	PK	카테고리 식별자
CATEGORY_NAME	Variable character (20)	NL	카테고리명
EXTRA_1
EXTRA_2
EXTRA_3
EXTRA_4

n NBD_ARTICLE_INFO

NBD_ARTICLE_INFO 테이블은 모든 게시물에 대한 상세 정보를 저장하고 있다. NBD Benchmark 데이터베이스 모델에서는 게시판 별로 테이블이 분리되지 않고 모든 게시물은 보드 식별자(BOARD_ID)를 가지고 있다.

ARTICLE_ID는 게시판 내에서가 아닌 데이터베이스 범위 내에서 유일해야 한다.

ARTICLE_NO는 게시판 내에서 등록되는 순서로 일련번호를 할당한다. 또한, 게시물이 답글인 경우는 원래 게시물과 동일한 ARTICLE_NO를 갖는다. 답글도 하나의 게시물이므로 ARTICLE_ID는 별도로 부여된다.

REPLY_NO_SEQ는 게시물이 답글인 경우 값을 가지며, 대상 게시물의 ARTICLE_NO에 답글 내에서의 순서 번호를 덧붙인 형태를 스트링으로 인코딩하여 만든다. 예를 들어, 10번 게시물에 대한 3번째 답글인 경우는 ARTICLE_NO는 10이며 REPLY_NO_SEQ는 “10,3”의 값을 가지며, 10번 게시물의 5번째 답글에 대한 첫번째 답글인 경우는 REPLY_NO_SEQ로 “10,5,1”의 값을 가진다.

REPLY_DEPTH는 답글인 경우 중첩 깊이를 표시한다. 예를 들어, 10번 게시물에 대한 3번째 답글인 경우는 REPLY_DEPTH가 1이며, REPLY_NO_SEQ가 “10,5,1”인 답글은 REPLY_DEPTH가 2이다. 답글이 아닌 게시물은 REPLY_DEPTH가 0이다.

READ_COUNTER, RECOMMENDED_COUNTER, COMMENT_COUNTER, SCRAP_COUNTER의 기본값은 0이다.

표 3 NBD_ARTICLE_INFO 테이블

필드명	필드 정의 (데이터타입)	제약 조건	설명
BOARD_ID	Decimal digits (10)	FK	게시물의 게시판 식별자
ARTICLE_ID	Decimal digits (20)	PK	게시물 식별자
ARTICLE_NO	Decimal digits (10)	NL	보드 내에서 게시물의 순서 번호
REPLY_NO_SEQ	Variable character (30)	U	답글 번호의 시퀀스 (예. ARTICLE_NO 10에 대한 두 번째 답글인 경우 10,2)
REPLY_DEPTH	Decimal digits (10)		답글 깊이 (예. REPLY_NO_SEQ가 10,2,1인 경우 2)
ARTICLE_TITLE	Variable character (300)	NL	게시물 제목
PREVIEW_TEXT	Variable character (500)		미리 보기 텍스트 내용
THUMBNAIL_IMAGE	Variable character (200)		썸네일 이미지의 URI
ARTICLE_TYPE	Variable character (10)	NL	게시물의 종류 (예. Text, Picture, UCC(Video Clip))
ARTICLE_CATEGORY	Decimal digits (10)	FK	게시물의 카테고리
ARTICLE_STATUS	Variable character (10)	NL	게시물의 상태 (예. Deleted, Restricted, …)
WRITER_ID