Background Image
제품 여행
2018.12.26 15:18

CUBRID 10의 새로운 기능 "문자열 압축"

조회 수 660 추천 수 0 댓글 0
?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 댓글로 가기 인쇄 첨부

CUBRID 10은 새로운 기능이 추가 되었습니다그 중에서 문자열 압축기능이 추가되었습니다.

지금부터 문자열 압축 기능에 대해서 알아보도록 하겠습니다.

 

문자열 압축 기능은 아래의 표와 같습니다.

블로그캡처_1.JPG


CUBRID 문자열 압축은 255byte 이상에서만 실행되고, 압축이 효율적이지 않으면 압축을 실행하지 않습니다.

문자열 압축률이 얼마나 좋은지 테스트하기 위해서 문자열 압축 기능이 없는 CUBRID 9.3 10.1에서 테스트 데이타 10만건을 입력하고, 테이블 크기를 확인하는 방법으로 진행하였습니다.  

케이스 #1”은 중복 되지 않는 문자열 데이타를 입력하고 압축률을 확인하였고, “케이스 #2”는 중복 된 데이타를 입력하고 압축률을 확인하였습니다.


블로그캡처_2.JPG


각 케이스별로 데이타 10만건을 생성한 방법은 아래 표와 같습니다.  

먼저 테스트 데이타 1건을 입력하고, “insert 테이블 select ...” 구문에서 카탈로그 테이블과 카테시안 곱(Cartesian Product)을 활용하여 테스트 데이타를 생성하였습니다.

블로그캡처_3.JPG


위 표의 SQL문으로 데이타 10만건을 입력하고 테이블 크기를 확인하였습다

테이블 크기는 “show heap capacity of 테이블명;” 명령을 실행하고 Num_pages 값을 확인하였고, 결과는 아래 표와 같습니다.

블로그캡처_4.JPG


케이스 #1”의 중복되지 않은 문자열의 데이타를 입력하고 확인 한 “Num_pages”의 결과는 동일하였습니다.  

이유는 입력되는 데이타의 압축결과가 원래값과 동일하기 때문에 압축을 실행하지 않았고, Data도 원본 데이타를 입력했기 때문에 동일한 것입니다.

케이스 #2” 에서는 중복 된 데이타가 입력되어 압축률이 938% 로 처리되었습니다.

 

CUBRID 10 문자열 압축기능에서 압축 된 문자열을 푸는 시점은 데이터베이스에서 읽을 때 압축된 문자열을 해제한다고 하였습니다.  

그러면 데이타 추출 하는 시간은 얼마나 차이가 날까?”라는 의문점이 생길 것입니다.

위 질문에 대한 결과를 얻기 위해서 아래와 같은 스크립트를 작성하고, 테스트를 진행하였습니다.


아래 스크립트는, 실행할 SQL문을 파라미터로 받아서 SQL문을 실행하고 결과를 resut_sql.txt에 기록하고, 실행 전 시간에서 완료시간을 뺀 값을 출력하는 스크립트입니다.

블로그캡처_5.JPG


스크립트는 아래와 같이 실행하였습니다.


블로그캡처_5_1.JPG


사내 테스트서버 장비에서의 50만건 추출에 대한 소요시간은 아래와 같이 측정되었습니다.  

아래의 측정시간은 절대적인 수치는 아니며 장비의 성능, OS설정, 스토리지 IO 성능 등에 따라서 변경 될 수 있습니다.


블로그캡처_6.JPG



CUBRID 9.3에서 10만건의 데이타를 추출하는데 소요된 시간은 1.04317초 였고, 10.10.848578초 였습니다.  

시간차이는 -0.194592초였습니다

, 압축된 501byte 데이타 10만건에 대해서 압축을 해제하여 추출하는데 처리속도가 -0.19초 빠르게 나타난 것입니다.

 

문자열 압축에 대한 테스트 결과를 정리하면, DISK에 저장 되는 용량은 9.3에서는 57 MB( 3,704 * 페이지크기 16K )였고

10.1에서는 5 MB( 357 * 페이지크기 16K )를 사용 하였습니다.  

처리시간은 0.19초 빨라졌습니다.

 

CUBRID 10에서 추가 된 문자열 압축기능은 디스크 사용량은 줄이고, 처리성능은 높아졌습니다.




  1. 데이터 베이스 접근 제어와 CUBRID

    데이터 베이스 서비스/운영 환경에서는 데이터의 손실을 근본적으로 차단하기 위한 여러가지 솔루션이 있습니다. 그 중 대표적인 솔루션인 데이터 베이스 접근 제어가 어떻게 CUBRID와 연동 되는지에 대해 기술하였습니다. CUBRID 접속 환경 CUBRID 데이터 베이스의 접근하는 기본적으로 2가지 형태 입니다. (환경에 따라 다를 수 있습니다.) 데이터 베이스 개발자 또는 관리자를 위한 경우 - IDE, Manager 툴을 사용하여, CUBRID 사용, 관리 CUBRID 데이터베이스를 활용하여, 애플리케이션을 서비스 하기 위한 경우 - 웹 서비스를 위한 WAS 사용, 별도의 애플리케이션 사용 CUBRID는 데이터베이스의 연결 전 BROKER 서버의 PORT로 접속 하여, 데이터베이스와 연결 됩니다. 브로커 포트 확인 하기 - 현재 설정 된 값은 기본 설정 값으로 환경 설명을 위한 정보 입니다. 구성 시 변경 가능 합니다. - query_editor(TCP_30000) 개발 및 관리자용 / broker1(TCP_33000) 서비스용 cubrid@host1$ cat $CUBRID/conf/cubrid_broker.conf [broker] MASTER_SHM_ID =30001 ADMIN_LOG_FILE =log/broker/cubrid_broker.log [%query_editor] -- 브로커 명 SERVICE =ON SSL =OFF BROKER_PORT...
    Date2020.08.23 Category제품 여행 By윤준수 Views2361 Votes0
    Read More
  2. 가벼운 웹 프레임워크 Flask위에 CUBRID 얹기

    Python 기반 Web Framework를 떠올리면 DJango를 떠올릴텐데요. Django 보다 가볍고 쉬운 Flask Web Framework와 CUBRID 데이터 베이스 연동 하는 방법을 기술 하였습니다. - Windows 환경에서의 구성과 Linux 환경에서의 구성 Spec.CUBRID 10.2 64bit Windows 10 64 bit - python 3.6.7 - Flask 1.1.2 - Werkzeug 1.0.1 Ubuntu 20.04.1 LTS (Linux) - python 3.8.2 - Flask 1.1.2 - Werkzeug 1.0.1 CUBRID Server# vi /etc/hosts - hostname과 IP 매칭 # ufw allow 33000/tcp # su - cubrid $ wget http://ftp.cubrid.org/CUBRID_Engine/10.2_latest/CUBRID-10.2-latest-Linux.x86_64.sh $ sh CUBRID-10.2-latest-Linux.x86_64.sh $ cubrid service start $ cubrid server start demodb Windows (Flask) WEB ServerPython Install python : https://www.python.org/ - 3.6.7 Release version 다운로드 및 설치 - 환경 변수 Path : C:\Users\<username>\AppData\Local\Programs\Python\Python36\Scripts 추가 Path : C:\Users\<username>\AppData\Local\Programs\Python\Python36 추가 flask Install cmd> pip3 install flask cmd> flask --version CUBRID Driver - CUBRID FTP...
    Date2020.08.12 Category제품 여행 By윤준수 Views2925 Votes1
    Read More
  3. DBeaver Database Tool 큐브리드 사용하기

    1, DBeaver 소개 DBeaver는 SQL 자동 완성과 구문 강조를 지원하는 편집기를 제공하며 이클립스 플러그인 구조 기반의 플러그인 아키텍처를 제공함으로써 데이터베이스에 특화된 기능이나 데이터베이스에 독립적인 기능들을 제공할 수 있게 한다, DBeaver와 CUBRID 사용은 JDBC 드라이버와 데이터베이스 Connection 정보를 설정해 사용할 수 있다. 2, DBeaver 다운로드(https://dbeaver.io/) 2, DBeaver 설치 - 언어선택 후 윈도우 프로그램 설치와 동일하게 “다음” 클릭해 설치를 완료한다. 3, DBeaver CUBRID 연결 3-1, 콘센트 모양 클릭 3-2, Select your database 매뉴에서 CUBRID 선택 3-3, JDBC Connection Setting* General 입력정보 - Host : CUBRID 서버 IP정보 입력 - Server & Database/Schema : 데이터베이스명(Oracle 기준 SID) * Authentication 입력정보 - Username : dba - Password : 비번 (참조: CUBRID는 설정 전 DBA 초기 패스워드 없음) 3-4, Edit Driver Setting* Edit Driver Settings + CUBRID - Url Template 기본에는 jdbc:CUBRID:{host}:{port}:{server}:{database}:: 등록되어 있으나 jdbc:CUBRID:{host}:{port}:{database}::: 로...
    Date2020.07.09 Category제품 여행 By정만영 Views8965 Votes0
    Read More
  4. named pipe를 활용한 압축 백업하기.

    작년 12월 18일에 CUBRID 10.2가 릴리즈 되었다. 자세한 링크는 다음과 같다. https://www.cubrid.com/3824761 이번 버전부터 backup 시 named pipe 를 활용 할 수 있다. Named Pipe | 파이프를 이용해 명령들을 연결하여 사용하거나 명령, 프로세스 치환을 사용하면 명령 실행 중에 자동으로 pipe 가 생성되어 사용된 후 사라지게 되는데요. 이때 생성되는 파이프를 이름이 없다고 해서 unnamed pipe 또는 anonymous pipe 라고 합니다. 이에 반해 named pipe 는 직접 파이프를 파일로 만들어 사용합니다. 자 이제 Named pipe를 생성해 보자. 1 2 3 $ mkfifo backup_pipe $ ls -al backup_pipe prw-rw-r--. 1 hiclass hiclass 0 May 25 10:40 backup_pipe 이렇게 생성해도 되고 1 2 3 $ mknod backup_pipe p $ ls -al backup_pipe prw-rw-r--. 1 hiclass hiclass 0 May 25 10:40 backup_pipe 이렇게 생성 할 수도 있다. 이제 생성한 파이프를 이용하여 백업을 해보자. 먼저 용량비교를 위해서 파이프를 사용하지 않은 일반 백업을 해 보겠다. $ cubrid backupdb demodb -S -l 0 -z -D . -o bk.out Backup Volume Label: Level: 0, Unit: 0, Database demodb, Backup Time: Mon ...
    Date2020.05.25 Category제품 여행 ByHiCLASS Views1344 Votes0
    Read More
  5. CUBRID Internal: 큐브리드의 저장공간관리 (DIsk Manager, File Manager)

    들어가며 데이터베이스는 결국 데이터를 저장해야 하고 데이터를 저장할 공간을 필요로 한다. 운영체제 위해서 동작하는 큐브리드는 운영체제로부터 필요한 만큼의 공간을 할당받고 이를 필요에 따라 효율적으로 사용한다. 이 글에서는 큐브리드가 영구저장장치에 데이터를 저장하기 위하여 내부적으로 어떻게 저장공간을 관리하는지에 대하여 이야기한다. 이를 통해 데이터베이스를 연구하고 개발하는 개발자들이 오픈소스 데이터베이스인 큐브리드에 좀 더 쉽게 접근할 수 있었으면 한다. - 이 글의 내용은 버전 10.2.0-7094ba을 기준으로 하나, 최신 develop branch의 11.0.0-c83e33 에서도 차이가 없는 것으로 보인다. 큐브리드의 저장공간 관리 큐브리드 서버는 여러 모듈들이 복합적이고 정교하게 동작하며 데이터를 관리한다. 이 중 저장공간을 관리해주는 모듈로는 디스크 매니저 (Disk Manager)와 파일 매니저 (File Manager)가 존재한다. 이들의 역할을 명확히 하기 위해서는 먼저 큐브리드에서 저장 공간을 어떠한 단위로 관리하는지를 알아야 한다. 페이지와 섹터 페이지(Page)는 큐브리드의 가장 기본적인 저장공간의 단위이다. 페이지는 연속적인 바이트의 연속...
    Date2020.03.31 Category제품 여행 By김재은 Views1616 Votes1
    Read More
  6. linux버전 CUBRID 기본 설치 디렉터리 바꾸기

    10.1 버전 부터 linux 용 버전인 CUBRID-10.x.x.xxxx-d56a158-Linux.x86_64.sh를 설치하면 기본 설치 디렉터리가 예전과 다르게 엄청 길어진다. 아래의 그림과 같이 보이게 된다. 유지관리나 해당 콘솔에서 작업을 할 때 디렉터리명이 길어지면 상당히 불편하다. 이전 버전과 같이 CUBRID로 설치 되게 설치 패키지를 수정해 보자. 일단 linux용 버전의 패키지.sh 파일의 구조는 다음과 같다. vi로 열어보면 상단 shell script + 하단 tar with gzip 으로 구성 되어 있다. 그래서 일단 스크립트 부분과 tar+gz 부분을 분리해 보자. 스크립트 소스 네에는 다음과 같은 힌트가 있다. 518 519 520 521 522 523 524 525 526 527 528 529 530 531 532 533 # take the archive portion of this file and pipe it to tar # the NUMERIC parameter in this command should be one more # than the number of lines in this header file # there are tails which don't understand the "-n" argument, e.g. on SunOS # OTOH there are tails which complain when not using the "-n" argument (e.g. GNU) # so at first try to tail some file to see if tail fails if used with "-n...
    Date2020.01.21 Category제품 여행 ByHiCLASS Views1348 Votes6
    Read More
  7. No Image

    LOB 데이터 경로 변경하기

    운영을 하다 보면 DB 데이터의 경로를 변경해야 하는 경우가 있는데요, CUBRID의 경우 DB 백업/복구를 통해 DB 데이터의 경로 변경을 지원하고 있습니다. 하지만 LOB 데이터는 DB 내부에 저장되지 않고, 외부 파일 시스템에 파일 형태로 저장되고 DB 내부에는 해당 파일의 위치정보만 저장되기 때문에 DB 백업/복구 시에는 LOB 데이터 파일에 대한 별도 관리가 필요합니다. 이 글에서는 DB 데이터 경로변경에 더불어 LOB 데이터의 경로를 변경할 수 있도록 가이드하려고 합니다.(9.3기준) 1. 테스트 정보 - DB 명 : testdb - 기존 경로 : /home/cubrid/CUBRID/databases/testdb - 변경 경로 : /disk/testdb 2. 경로 변경 절차 1) 서비스 종료 $ cubrid service stop @ cubrid server stop: testdb Server testdb notified of shutdown. This may take several minutes. Please wait. ++ cubrid server stop: success @ cubrid broker stop ++ cubrid broker stop: success @ cubrid manager server stop ++ cubrid manager server stop: success @ cubrid master stop ++ cubrid master stop: success 2) DB 백업 (백업 옵션은 매뉴얼 참조) $ cubrid backupdb -D /disk/BACKUP...
    Date2020.01.16 Category제품 여행 By허서진 Views2024 Votes0
    Read More
  8. No Image

    SSH 공개키 인증을 사용하여 암호 없이 편리하게 원격 호스트에 접속하기-!

    SSH 키는 공개 키 암호화 방식 및 인증 확인 응답 인증을 사용하는 SSH 서버에 대해 자체 식별하는 방식입니다. 비공개 서버에 접속하기 위해서는 인증절차를 거쳐야 하는데요, 기존에 비밀번호를 네트워크를 통해 보내는 비밀번호 인증은 네트워크 상에서 ID/비밀번호가 그대로 노출되는 문제가 있고, 접속할 때마다 입력해야 하는 번거로움이 있습니다. SSH 키는 이와 달리 공개키 암호 방식을 사용하여 서버에서 인증받을 수 있으며, 암호를 생략하고 원격 호스트로 접속할 수 있습니다. 과정은 아래와 같습니다. 1. 로컬 호스트에 키 생성(private key, public key) 2. 원격 호스트에 public key 복사(public key 만으로는 복호화할 수 없기 때문에 여러 서버에 복사해도 무관) 3. 로컬 호스트에서 원격 호스트로 ssh 접속 4. 원격 호스트에서 public key로 암호화 된 정보를 로컬 호스트에게 주고, 로컬 호스트는 private key와 원격 호스트의 public key를 이용하여 복호화 수행 5. 인증 완료 시 암호 입력 필요 없이 접속 가능 실제 명령어 수행 과정을 살펴보도록 하겠습니다. 1. 로컬 호스트에 키 생성 ssh-keygen 명령어를 이용해 private/public 키를 생성합니다. s...
    Date2020.01.03 Category나머지... By허서진 Views17362 Votes0
    Read More
  9. No Image

    LINUX 설정 값 nproc, nofile 과 큐브리드의 관계

    LINUX 설정 값 nproc, nofile 과 큐브리드의 관계 리눅스의 설정 값 중 nproc, nofile이 있습니다 [정의] 1. nproc : User당 사용할 수 있는 프로세스 최대 개수 2. nofile : User당 오픈할 수 있는 파일 개수 (리눅스에서는 모든 개체를 파일로 봅니다.) [문제 사항] 값이 적을경우 아래와 같은 문제가 발생할수 있습니다 큐브리드 계정으로 로그인이 안되는 오류 발생 cubrid server 에러에 shutdown a connection이 발생할수 있습니다 [설정 값 확인] < USER MAX 값 확인 > $ ulimit -aS |grep "max user processes" $ ulimit -aH |grep "max user processes" < open file MAX 값 확인 > $ ulimit -aS |grep "open files" $ ulimit -aH |grep "open files" [측정 방법] 1. nproc # ps h -Led -o user |sort |uniq -c |sort -n - nproc는 프로세스 외 LWP 또한 측정하며, 위와 같은 명령어로 확인할 수 있습니다. 2. nofile $ expr `lsof -u [User Name] |wc -l` - 1 [설정 방법] # vi /etc/security/limits.d/20-nproc.conf 수정 (RHEL 7 기준) limits.d디렉토리의 설정 값이 마지막 적용되는 값 입니다. (limis.conf의 값이 먼저 적용 되고, 마지막으로 limits.d 디렉토리...
    Date2020.01.03 Category제품 여행 By강주원 Views19015 Votes0
    Read More
  10. No Image

    큐브리드에서의 신입사원

    2019년 9월 1일 첫 직장으로 큐브리드에 입사하였다. 날이 그리 차갑지도 덥지도 않은 그저 그런 가을 날에, 걱정 반 기대 반을 가슴에 품고서 새로운 사무실에 들어가 새로운 사람들과 만나게 되었다. 새로운 만남, 새로운 생활을 한다는 기대감과, 무슨 일을 하게 될까, 과연 잘 할 수 있을까 하는 걱정이 공존되는 날이었다. 데이터베이스 보다는 운영체제, 커널, 시스템만 했던 사람이 잘 적응할 수 있을 까, 늦깎이 신입사원이 잘할 수 있을까 등 걱정이 많았지만, 하지만 이번 글에서는 새해가 오는 만큼 걱정 보다는 좋았던 점에 대해서만 다루겠다. 큐브리드에서의 생활은 기대했던 것과는 달리 늘 좋았다. 물론, 큐브리드 블로그에서 쓰는 글이라 믿지 못할 지도 모르겠지만 늘 좋았다. 내가 경험했던 직장생활은 '미생'이 유일했기에 하는 말일 수도 있겠지만, 생각했던 것과는 다른 생활이었다. 신입사원이 느꼈던 좋은 점에 대해 몇 가지 나열하자면, 우선, 대화가 자유롭다. 직급에 상관없이 서로 질문하고, 대답해주고, 대화하는 것에 아무런 거리낌이 없다. 오프라인으로 서로 질의응답을 하는 것은 물론, 온라인으로 서로 소통하는 것에 있어 자유롭다...
    Date2019.12.31 Category나머지... By김주호 Views586 Votes0
    Read More
Board Pagination Prev 1 2 3 4 5 6 7 8 9 10 ... 16 Next
/ 16

Contact Cubrid

대표전화 070-4077-2110 / 기술문의 070-4077-2113 / 영업문의 070-4077-2112 / Email. contact_at_cubrid.com
Contact Sales