Background Image
조회 수 6518 추천 수 0 댓글 0
?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 댓글로 가기 인쇄 첨부
Docker, Kubernetes 환경에서 CUBRID 컨테이너 서비스 해보기




  최근에 여러 기업에서 Docker, Kubernetes를 사용하여 컨테이너로 서비스 하는 사레들을 많이 보았습니다. CUBRID도 컨테이너로 만들어서 Docker, Kubernetes 환경에서 서비스 해보려고 합니다.

  Docker는 '가장 빨리 만나는 Docker: 클라우드 플랫폼 어디서나 빠르게 배포하고 실행할 수 있는 리눅스 기반 경량화 컨테이너'라는 책으로 처음 접하였습니다. 책을 구매해서 보는 것을 권장드리지만 'http://pyrasis.com/docker.html' 페이지에서 책의 내용을 공개하고 있습니다. 책이 너무 길다면 Slideshare, 'https://www.slideshare.net/pyrasis/docker-fordummies-44424016' 페이지에서 슬라이드로 요약된 내용을 볼 수 있습니다.

  Docker는 Docker라는 회사에서 OS에서 제공하는 가상화 기술을 사용하여 만든 오픈소스 Container 프로젝트의 결과물입니다. 컨테이너는 호스트에 게스트 환경을 구성한다는 점에서는 가상머신과 비슷하지만 OS를 별도로 설치해 줄 필요가 없고, 호스트와 동일한 성능을 낼 수 있다는 장점이 있습니다. 이외에도 여러가지 장점이 많지만 가장 큰 장점은 배포가 쉽다는 점이라고 생각합니다. 이 장점을 잘 활용하는 것이 Kubernetes 입니다.

  Kubernetes는 Google이 컨테이너의 배포를 자동화하고 관리하기 위해서 만든 오픈소스 컨테이너 오케스트레이션 도구입니다. 여러 대의 호스트에 컨테이너를 배포하고 관리하는 일은 호스트들의 리소스와 컨테이너를 포함하여 네트워크 연결 문제 등을 고려해야 하기 때문에 쉽지 않지만 Kubernetes가 이를 대신 해줍니다.

  Docker와 Kubernetes에 대한 개념적인 내용과 장,단점은 앞서 소개했던 사이트처럼 이해하기 쉽게 잘 정리되어 있는 글들이 많이 있습니다. 이 글들과 중복하여 개념정리 하는 것보다 Docker, Kubernetes 환경을 구성하고 CUBRID를 컨테이너로 만들어서 서비스를 해봤던 과정들에 대해서 자세히 다뤄보려고 합니다.




목차

 1. 노드 구성
 2. Docker 설치
 3. 방화벽 설정
 4. Kubernetes 설치
 5. pod network add-on 설치
 6. kubeadm join
 7. Kubernetes Dashboard 설치
 8. CUBRID 컨테이너 이미지 생성
 9. Docker Hub에 CUBRID 컨테이너 이미지 올리기
10. Kubernetes 환경에 CUBRID 컨테이너 배포




1. 노드 구성

  Kubernetes를 활용하여 컨테이너를 배포하고 서비스 하는 부분까지 다루려면 최소 2개(Master, Worker)의 노드가 필요합니다. 저는 각각 다른 노드에서 Container가 생성되는 것을 확인하기 위해서 3개의 노드로 테스트 하였습니다. 각 노드들의 OS는 'https://www.centos.org/download/' 페이지에서 CentOS 7.5.1804버전 ISO 파일을 다운로드 받아서 Minimal로 설치하였습니다.


1-1. Hostname 설정

# hostnamectl set-hostname master
# hostnamectl set-hostname worker1
# hostnamectl set-hostname worker2


1-2. /etc/hosts 설정

# cat << EOF >> /etc/hosts

192.168.37.131 master
192.168.37.132 worker1
192.168.37.133 worker2
EOF




2. Docker 설치

  Kubernetes는 컨테이너의 배포를 자동화하고 관리만 할 뿐이고 실제 컨테이너 서비스를 하는 것은 Docker 입니다. 그래서 Kubernetes 설치 전에 Docker가 먼저 설치되어 있어야 합니다. Docker는 Community Edition(CE)을 설치했습니다. Docker CE에 대한 설치는 'https://docs.docker.com/install/linux/docker-ce/centos/' 페이지를 참고했습니다.


2-1. Docker 설치에 필요한 YUM Package 설치

  YUM Repository를 추가할 때 사용하는 yum-config-manager 유틸리티가 포함되어 있는 yum-util 패키지와 devicemapper storage driver 사용에 필요한 device-mapper-persistent-data, lvm2 패키지 설치를 필요로 합니다.

# yum install -y yum-utils device-mapper-persistent-data lvm2


2-2. yum-config-manager 유틸리티를 사용해서 Docker CE Repository 추가



2-3. Docker CE Repository에서 docker-ce 설치

  kubernetes와 호환되기 위해서는 'https://kubernetes.io/docs/setup/release/notes/#external-dependencies' 참고하여 kubernetes가 지원하는 버전을 설치합니다.

# yum list docker-ce --showduplicates | sort -r

# yum install -y docker-ce-18.06.1.ce


2-4. OS 부팅 시 Docker 자동시작 설정

# systemctl enable docker


2-5. Docker 시작

# systemctl start docker


2-6. docker 명령어 확인

  기본적으로 non-root 사용자는 docker 명령어를 실행할 수 없습니다. root 사용자 또는 sudo 권한이 있는 사용자 계정으로 로그인해서 docker 명령어를 실행해야 합니다.

# docker


2-7. Docker 그룹에 non-root 사용자 추가

  root 사용자 또는 sudo 권한이 있는 사용자 계정으로 로그인하는 방법 외에 non-root 사용자가 docker 명령어를 실행하기 위해서는 Docker 그룹에 추가해야 합니다.

# usermod -aG docker your-user


2-8. Docker 삭제

# yum remove -y docker \
    docker-client \
    docker-client-latest \
    docker-common \
    docker-latest \
    docker-latest-logrotate \
    docker-logrotate \
    docker-selinux \
    docker-engine-selinux \
    docker-engine

# rm -rf /var/lib/docker




3. 방화벽 설정

  Kubernetes 환경에서 사용하는 포트는 'https://kubernetes.io/docs/setup/independent/install-kubeadm/#check-required-ports' 페이지에서 확인 할 수 있습니다. 노드 종류(Master, Worker)에 따라서 사용하는 포트들이 다릅니다.


3-1. Master 노드

 Protocol 

 Direction 

 Port Range 

 Purpose 

 Userd By 

 TCP

 Inbound

 6443

 Kubernetes API server

 All

 TCP

 Inbound

 2379~2380 

 etcd server client API

 kube-apiserver, etcd 

 TCP

 Inbound

 10250

 Kubelet API

 Self, Control plane

 TCP

 Inbound

 10251

 kube-scheduler

 Self

 TCP

 Inbound

 10252

 kube-controller-manager 

 Self

# firewall-cmd --permanent --zone=public --add-port=6443/tcp
# firewall-cmd --permanent --zone=public --add-port=2379-2380/tcp
# firewall-cmd --permanent --zone=public --add-port=10250/tcp
# firewall-cmd --permanent --zone=public --add-port=10251/tcp
# firewall-cmd --permanent --zone=public --add-port=10252/tcp
# firewall-cmd --reload


3-2. Worker 노드

 Protocol 

 Direction 

 Port Range 

 Purpose 

 Userd By 

 TCP

 Inbound

 10250

 Kubelet API

 Self, Control plane 

 TCP

 Inbound

 30000-32767 

 NodePort Services 

 All

# firewall-cmd --permanent --zone=public --add-port=10250/tcp
# firewall-cmd --permanent --zone=public --add-port=30000-32767/tcp
# firewall-cmd --reload


3-3. pod network add-on

  pod network add-on으로 설치할 Calico에서 사용하는 포트들도 열어주어야 합니다. Calico에서 사용하는 포트들은 'https://docs.projectcalico.org/v3.3/getting-started/kubernetes/requirements' 페이지에서 확인할 수 있습니다.

 Configuration 

 Host(s) 

 Connection type 

 Port/protocol 

 Calico networking (BGP) 

 All

 Bidirectional 

 TCP 179

# firewall-cmd --permanent --zone=public --add-port=179/tcp
# firewall-cmd --reload




4. Kubernetes 설치

  Kubernetes 설치는 'https://kubernetes.io/docs/setup/independent/install-kubeadm/' 페이지를 참고했습니다.


4-1. Kubernetes Repository 추가

# cat << EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
enabled=1
gpgcheck=1
repo_gpgcheck=1
exclude=kube*
EOF


4-2. SELinux Permissive Mode로 설정

# setenforce 0
# sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config

# sestatus

SELinux status:                 enabled
SELinuxfs mount:                /sys/fs/selinux
SELinux root directory:         /etc/selinux
Loaded policy name:             targeted
Current mode:                   permissive
Mode from config file:          permissive
Policy MLS status:              enabled
Policy deny_unknown status:     allowed
Max kernel policy version:      31


4-3. kubelet, kubeadm, kubectl 설치

  - kubeadm : the command to bootstrap the cluster. (클러스터를 부트스트랩하는 명령)
  - kubelet : the component that runs on all of the machines in your cluster and does things like starting pods and containers. (클러스터의 모든 시스템에서 Pod 및 Container를 시작하는 등의 작업을 수행하는 구성요소)
  - kubectl : the command line util to talk to your cluster. (클러스터와 통신하는 명령 줄 유틸리티)

# yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes


4-4. OS 부팅 시 kubelet 자동시작 설정

# systemctl enable kubelet


4-5. kubelet 시작

# systemctl start kubelet


4-6. net.bridge.bridge-nf-call-iptables 설정

# cat << EOF >  /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

# sysctl --system


4-7. swap off

  Kubernetes는 Master, Worker 노드 모두 swap을 off 해야 합니다. swap이 off 되어 있지 않으면 kubeadm init 단계에서 "[ERROR Swap]: running with swap on is not supported. Please disable swap"와 같은 에러 메시지가 출력 됩니다.

# swapoff -a
# sed s/\\/dev\\/mapper\\/centos-swap/#\ \\/dev\\/mapper\\/centos-swap/g -i /etc/fstab


4-8. kubeadm init

  초기화 작업은 'https://kubernetes.io/docs/setup/independent/create-cluster-kubeadm/' 페이지를 참고했습니다. pod network add-on의 종류에 따라서 --pod-network-cidr 설정 값을 다르게 해주어야 합니다. 여기서는 pod network add-on로 Calico를 사용해서 --pod-network-cidr 설정 값을 192.168.0.0/16으로 해야 하지만 가상머신 네트워크 대역인 192.168.37.0/24와 겹치기 때문에 172.16.0.0/16으로 변경하여 사용합니다.

# kubeadm init --pod-network-cidr=172.16.0.0/16 --apiserver-advertise-address=192.168.37.131

# mkdir -p $HOME/.kube
# cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
# chown $(id -u):$(id -g) $HOME/.kube/config




5. pod network add-on 설치

  Kubernetes 환경에서 Pod들이 통신하려면 pod network add-on이 있어야 합니다. pod network add-on이 설치되기 전에는 CoreDNS가 시작되지 않습니다. 'kubeadm init' 이후에 'kubectl get pods -n kube-system' 명령어로 확인해보면 CoreDNS가 아직 시작되지 않은 상태를 확인할 수 있습니다. pod network와 호스트 네트워크가 겹칠 경우 문제가 발생할 수 있습니다. 그래서 앞서 'kubeadm init' 단계에서 가상머신 네트워크 대역과 겹치는 192.168.0.0/16 네트워크를 사용하지 않고 172.16.0.0/16으로 변경하여 사용했습니다.

  kubeadm은 CNI(Container Network Interface) 기반 네트워크만 지원하며 kubenet은 지원하지 않습니다. CNI(Container Network Interface)는 CNCF(Cloud Native Computing Foundation)의 프로젝트 중 하나로 컨테이너 간의 네트워킹을 제어할 수 있는 플러그인을 만들기 위한 표준 인터페이스입니다. CNI(Container Network Interface)를 기반으로 만들어진 pod network add-on에는 여러 종류가 있고 'httpsx://kubernetes.io/docs/setup/independent/create-cluster-kubeadm/#pod-network' 페이지에서 각 pod network add-on 마다 설치법이 소개되어 있습니다. 여기서는 Calico를 사용하려고 합니다.

  Calico 설치 방법은 위에 소개했던 페이지에서도 확인할 수 있지만 'https://docs.projectcalico.org/v3.3/getting-started/kubernetes/installation/calico' 페이지에도 소개되어 있습니다. Calico는 OSI(Open System Interconnection) 모델의 3계층(네트워크 계층)을 기반으로 합니다. BGP(Border Gateway Protocol)를 사용하여 노드 간 통신을 용이하게 하는 라우팅 테이블을 작성하고, Flannel 기반 네트워크 시스템보다 우수한 성능 및 네트워크 격리를 제공 할 수 있습니다.


5-1. Calico 설치

  pod network add-on이 설치되어 있지 않은 상태에서는 CoreDNS가 아직 시작되지 않은 상태를 확인할 수 있습니다.

# kubectl get pods -n kube-system

NAME                             READY   STATUS    RESTARTS   AGE
coredns-576cbf47c7-2fkrr         0/1     Pending   0          71s
coredns-576cbf47c7-bmns4         0/1     Pending   0          71s
etcd-master                      1/1     Running   0          24s
kube-apiserver-master            1/1     Running   0          23s
kube-controller-manager-master   1/1     Running   0          15s
kube-proxy-xt66g                 1/1     Running   0          71s
kube-scheduler-master            1/1     Running   0          40s

  pod network add-on 설치는 Master 노드에서만 합니다. 'kubeadm init' 단계에서 --pod-network-cidr 설정 값을 172.16.0.0/16으로 변경하여 사용하기는 했지만 Calico YAML 파일에서도 값을 변경하여 설치해야 합니다.


  pod network add-on를 설치한 이후에 CoreDNS가 정상적으로 시작된 상태를 확인할 수 있습니다.

# kubectl get pods -n kube-system

NAME                             READY   STATUS    RESTARTS   AGE
calico-node-hdl24                2/2     Running   0          27s
coredns-576cbf47c7-2fkrr         1/1     Running   0          2m16s
coredns-576cbf47c7-bmns4         1/1     Running   0          2m16s
etcd-master                      1/1     Running   0          89s
kube-apiserver-master            1/1     Running   0          88s
kube-controller-manager-master   1/1     Running   0          80s
kube-proxy-xt66g                 1/1     Running   0          2m16s
kube-scheduler-master            1/1     Running   0          10




6. kubeadm join

  Worker 노드가 되기 위해서는 'kubeadm join' 명령어를 실행해서 Master 노드에 등록해야 합니다. 'kubeadm join' 명령어 실행에 필요한 옵션들은 Master 노드에서 아래 명령어를 실행해서 확인할 수 있습니다.

# kubeadm token create --print-join-command


6-1. Worker 노드 등록

$ kubeadm join 192.168.37.131:6443 --token hcfumm.jerovbeueijtcflc --discovery-token-ca-cert-hash sha256:5e895759b68976638acc2f8c3ba6b8d0577a7d57d7e81d9c51e418cb90b2108c




7. Kubernetes Dashboard 설치

  Dashboard 설치 방법은 'https://github.com/kubernetes/dashboard/wiki/Installation' 페이지에서 자세하게 확인할 수 있습니다. Kubernetes Dashboard 설치 방법에는 Recommended setup과 Alternative setup 등 두 가지가 있습니다. Alternative setup 설치 방법은 HTTPS를 사용하지 않고 HTTP를 사용하여 Dashboard에 접속하는 방법으로 권장하지 않습니다.


7-1. 인증서 생성

  'kubectl proxy' 없이 Dashboard에 직접 접속하려면 유효한 인증서를 사용하여 보안 HTTPS 연결을 설정해야합니다.

# mkdir ~/certs
# cd ~/certs

# openssl genrsa -des3 -passout pass:x -out dashboard.pass.key 2048
# openssl rsa -passin pass:x -in dashboard.pass.key -out dashboard.key
# openssl req -new -key dashboard.key -out dashboard.csr
# openssl x509 -req -sha256 -days 365 -in dashboard.csr -signkey dashboard.key -out dashboard.crt


7-2. Recommended setup

# kubectl create secret generic kubernetes-dashboard-certs --from-file=$HOME/certs -n kube-system


7-3. Dashboard 서비스를 NodePort 방식으로 변경

  Dashboard 서비스를 NodePort 방식으로 변경하면 'kubectl proxy' 없이 NodePort를 통해서 직접 접속할 수 있습니다.

# kubectl edit service kubernetes-dashboard -n kube-system

# Please edit the object below. Lines beginning with a '#' will be ignored,
# and an empty file will abort the edit. If an error occurs while saving this file will be
# reopened with the relevant failures.
#
apiVersion: v1
kind: Service
metadata:
annotations:
   kubectl.kubernetes.io/last-applied-configuration: |
     {"apiVersion":"v1","kind":"Service","metadata":{"annotations":{},"labels":{"k8s-app":"kubernetes-dashboard"},"name":"kubernetes-dashboard","namespace":"kube-system"},"spec":{"ports":[{"port":443,"targetPort":8443}],"selector":{"k8s-app":"kubernetes-dashboard"}}}
creationTimestamp: 2018-12-24T04:27:04Z
labels:
   k8s-app: kubernetes-dashboard
name: kubernetes-dashboard
namespace: kube-system
resourceVersion: "1748"
selfLink: /api/v1/namespaces/kube-system/services/kubernetes-dashboard
uid: 2a4888ce-0734-11e9-9162-000c296423b3
spec:
clusterIP: 10.100.194.126
externalTrafficPolicy: Cluster
ports:
- nodePort: 31055
   port: 443
   protocol: TCP
   targetPort: 8443
selector:
   k8s-app: kubernetes-dashboard
sessionAffinity: None
type: NodePort
status:
loadBalancer: {}


7-4. Dashboard 접속정보 확인

# kubectl get service -n kube-system

NAME                   TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)         AGE
calico-typha           ClusterIP   10.106.255.36   <none>        5473/TCP        83m
kube-dns               ClusterIP   10.96.0.10      <none>        53/UDP,53/TCP   84m
kubernetes-dashboard   NodePort    10.107.122.34   <none>        443:31660/TCP   43m


7-5. Dashboard 계정 생성

# kubectl create serviceaccount cluster-admin-dashboard-sa
# kubectl create clusterrolebinding cluster-admin-dashboard-sa --clusterrole=cluster-admin --serviceaccount=default:cluster-admin-dashboard-sa


7-6. Dashboard 접속 시 필요한 계정 토큰 정보 확인

  토큰 값의 내용은 'https://jwt.io/' 페이지에서 디코드해서 확인할 수 있습니다.

# kubectl get secret $(kubectl get serviceaccount cluster-admin-dashboard-sa -o jsonpath="{.secrets[0].name}") -o jsonpath="{.data.token}" | base64 --decode

eyJhbGciOiJSUzI1NiIsImtpZCI6IiJ9.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJkZWZhdWx0Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZWNyZXQubmFtZSI6ImNsdXN0ZXItYWRtaW4tZGFzaGJvYXJkLXNhLXRva2VuLTJoaHBoIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQubmFtZSI6ImNsdXN0ZXItYWRtaW4tZGFzaGJvYXJkLXNhIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQudWlkIjoiM2FmNzAwNzItMGMzZC0xMWU5LWE2NGUtMDAwYzI5NjQyM2IzIiwic3ViIjoic3lzdGVtOnNlcnZpY2VhY2NvdW50OmRlZmF1bHQ6Y2x1c3Rlci1hZG1pbi1kYXNoYm9hcmQtc2EifQ.d3PGfeMAbpUXPIDB-QLBbydrgTnkbv9Kf4WVGHmoGw0qW7MeQ2y8J0GmRe8IQDapo7rFMwMJRPHsBbPAlhwkrCLb_vCKYyFtdlbV66x7ZdBVRlhay-kKVsr2X-sO8qu6Vhv_PWrN8x0Maxhf1-sxB17--pmiH2Q6xcQp4T0SyNuJd-3pU6pttlVl7uh7ifypi7MXqz7rS7ZbuV3XpQkfNyhJrgAA_fyoiHbALymRW7j4NS0Xek5GbCrRM6owTXUYH5zkvTOZc0pSKSiFizr3g4JD7SY2V1DjgqGB5T4mIfZPdIHNoFZfKjhIgyRIsRXe0AMv3XUzcm_ta2sWBDBLPw


7-7. Dashboard 접속 확인

7-7. Dashboard 접속 확인_1.png


7-7. Dashboard 접속 확인_2.png





8. CUBRID 컨테이너 이미지 생성


8-1. Dockerfile

FROM centos:7

ENV CUBRID_VERSION 10.1.2
ENV CUBRID_BUILD_VERSION 10.1.2.7694-64632b2

RUN yum install -y epel-release; \
    yum update -y; \
    yum install -y sudo \
                   java-1.8.0-openjdk-devel; \
    yum clean all;

RUN mkdir /docker-entrypoint-initdb.d

RUN useradd cubrid; \
    sed 102s/#\ %wheel/%wheel/g -i /etc/sudoers; \
    sed s/wheel:x:10:/wheel:x:10:cubrid/g -i /etc/group; \
    sed -e '61 i\cubrid\t\t soft\t nofile\t\t 65536 \
    cubrid\t\t hard\t nofile\t\t 65536 \
    cubrid\t\t soft\t core\t\t 0 \
    cubrid\t\t hard\t core\t\t 0\n' -i /etc/security/limits.conf; \
    echo -e "\ncubrid     soft    nproc     16384\ncubrid     hard    nproc     16384" >> /etc/security/limits.d/20-nproc.conf

RUN curl -o /home/cubrid/CUBRID-$CUBRID_BUILD_VERSION-Linux.x86_64.tar.gz -O http://ftp.cubrid.org/CUBRID_Engine/$CUBRID_VERSION/CUBRID-$CUBRID_BUILD_VERSION-Linux.x86_64.tar.gz > /dev/null 2>&1 \
    && tar -zxf /home/cubrid/CUBRID-$CUBRID_BUILD_VERSION-Linux.x86_64.tar.gz -C /home/cubrid \
    && mkdir -p /home/cubrid/CUBRID/databases /home/cubrid/CUBRID/tmp /home/cubrid/CUBRID/var/CUBRID_SOCK

COPY cubrid.sh /home/cubrid/

RUN echo ''; \
    echo 'umask 077' >> /home/cubrid/.bash_profile; \
    echo ''; \
    echo '. /home/cubrid/cubrid.sh' >> /home/cubrid/.bash_profile; \
    chown -R cubrid:cubrid /home/cubrid

COPY docker-entrypoint.sh /usr/local/bin/
RUN chmod +x /usr/local/bin/docker-entrypoint.sh; \
    ln -s /usr/local/bin/docker-entrypoint.sh /entrypoint.sh

VOLUME /home/cubrid/CUBRID/databases

EXPOSE 1523 8001 30000 33000

ENTRYPOINT ["docker-entrypoint.sh"]


8-2. cubrid.sh

export CUBRID=/home/cubrid/CUBRID
export CUBRID_DATABASES=$CUBRID/databases
if [ ! -z $LD_LIBRARY_PATH ]; then
  export LD_LIBRARY_PATH=$CUBRID/lib:$LD_LIBRARY_PATH
else
  export LD_LIBRARY_PATH=$CUBRID/lib
fi
export SHLIB_PATH=$LD_LIBRARY_PATH
export LIBPATH=$LD_LIBRARY_PATH
export PATH=$CUBRID/bin:$PATH

export TMPDIR=$CUBRID/tmp
export CUBRID_TMP=$CUBRID/var/CUBRID_SOCK

export JAVA_HOME=/usr/lib/jvm/java
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.
export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64:$JAVA_HOME/jre/lib/amd64/server:$LD_LIBRARY_PATH


8-3. docker-entrypoint.sh

#!/bin/bash
set -eo pipefail
shopt -s nullglob

# 데이터베이스 기본 문자셋을 설정합니다.
# '$CUBRID_CHARSET' 환경변수를 설정하지 않으면 'ko_KR.utf8'을 기본 문자셋으로 설정합니다.
if [[ -z "$CUBRID_CHARSET" ]]; then
    CUBRID_CHARSET='ko_KR.utf8'
fi

# 컨테이너 시작 시 생성할 데이터베이스 이름을 설정합니다.
# '$CUBRID_DATABASE' 환경변수를 설정하지 않으면 'demodb'를 기본 데이터베이스로 설정합니다.
if [[ -z "$CUBRID_DATABASE" ]]; then
    CUBRID_DATABASE='demodb'
fi

# 데이터베이스에서 사용할 사용자 계정의 이름을 설정합니다.
# '$CUBRID_USER' 환경변수를 설정하지 않은면 'dba'를 기본 사용자로 설정합니다.
if [[ -z "$CUBRID_USER" ]]; then
    CUBRID_USER='dba'
fi

# 데이터베이스에서 사용할 'dba' 계정의 비밀번호와 사용자 계정의 비밀번호를 설정합니다.
# '$CUBRID_DBA_PASSWORD', '$CUBRID_PASSWORD' 환경변수를 확인하여 각각 설정합니다.
# 두 환경변수 중에 하나만 설정되어 있으면 두 환경변수 모두 동일한 값으로 설정합니다.
# 두 환경변수 모두 설정되어 있지 않으면 '$CUBRID_PASSWORD_EMPTY' 환경변수 값을 1로 설정합니다.
if [[ ! -z "$CUBRID_DBA_PASSWORD" || -z "$CUBRID_PASSWORD" ]]; then
    CUBRID_PASSWORD="$CUBRID_DBA_PASSWORD"
elif [[ -z "$CUBRID_DBA_PASSWORD" || ! -z "$CUBRID_PASSWORD" ]]; then
    CUBRID_DBA_PASSWORD="$CUBRID_PASSWORD"
elif [[ -z "$CUBRID_DBA_PASSWORD" || -z "$CUBRID_PASSWORD" ]]; then
    CUBRID_PASSWORD_EMPTY=1
fi

# 현재 CUBRID를 관리할 수 있는 계정으로 접속되어 있는지 확인합니다.
if [[ "$(id -un)" = 'root' ]]; then
    su - cubrid -c  "mkdir -p \$CUBRID_DATABASES/$CUBRID_DATABASE"
elif [[ "$(id -un)" = 'cubrid' ]]; then
    . /home/cubrid/cubrid.sh
    mkdir -p "$CUBRID_DATABASES"/"$CUBRID_DATABASE"
else
    echo 'ERROR: Current account is not vaild.'; >&2
    echo "Account : $(id -un)" >&2

    exit 1
fi

# 컨테이너 시작 시 '$CUBRID_DATABASE' 환경변수에 설정된 이름으로 데이터베이스를 생성합니다.
su - cubrid -c "mkdir -p \$CUBRID_DATABASES/$CUBRID_DATABASE && cubrid createdb -F \$CUBRID_DATABASES/$CUBRID_DATABASE $CUBRID_DATABASE $CUBRID_CHARSET"
su - cubrid -c "sed s/#server=foo,bar/server=$CUBRID_DATABASE/g -i \$CUBRID/conf/cubrid.conf"

# 기본 사용자 계정이 'dba'기 아니면 '$CUBRID_USER' 환경변수 값으로 사용자 계정을 생성합니다.
if [[ ! "$CUBRID_USER" = 'dba' ]]; then
    su - cubrid -c "csql -u dba $CUBRID_DATABASE -S -c \"create user $CUBRID_USER\""
fi

# 기본 데이터베이스가 'demodb'이면 '$CUBRID_USER' 환경변수로 설정한 계정에 DEMO 데이터를 생성합니다.
if [[ "$CUBRID_DATABASE" = 'demodb' ]]; then
    su - cubrid -c "cubrid loaddb -u $CUBRID_USER -s \$CUBRID/demo/demodb_schema -d \$CUBRID/demo/demodb_objects -v $CUBRID_DATABASE"
fi

# '$CUBRID_PASSWORD_EMPTY' 환경변수 값이 1이 아니면 '$CUBRID_DBA_PASSWORD' 환경변수 값으로 DBA 계정의 비밀번호를 설정합니다.
if [[ ! "$CUBRID_PASSWORD_EMPTY" = 1 ]]; then
    su - cubrid -c "csql -u dba $CUBRID_DATABASE -S -c \"alter user dba password '$CUBRID_DBA_PASSWORD'\""
fi

# '$CUBRID_PASSWORD_EMPTY' 환경변수 값이 1이 아니면 '$CUBRID_PASSWORD' 환경변수 값으로 사용자 계정의 비밀번호를 설정합니다.
if [[ ! "$CUBRID_PASSWORD_EMPTY" = 1 ]]; then
    su - cubrid -c "csql -u dba -p '$CUBRID_DBA_PASSWORD' $CUBRID_DATABASE -S -c \"alter user $CUBRID_USER password '$CUBRID_PASSWORD'\""
fi

# '/docker-entrypoint-initdb.d' 디렉터리에 있는 '*.sql' 파일들을 csql 유틸리티로 실행합니다.
echo
for f in /docker-entrypoint-initdb.d/*; do
    case "$f" in
        *.sql)    echo "$0: running $f"; su - cubrid -c "csql -u $CUBRID_USER -p $CUBRID_PASSWORD $CUBRID_DATABASE -S -i \"$f\""; echo ;;
        *)        echo "$0: ignoring $f" ;;
    esac
    echo
done

# 'dba' 계정의 비밀번호와 사용자 계정의 비밀번호가 설정되어 있는 '$CUBRID_DBA_PASSWORD', '$CUBRID_PASSWORD' 두 환경변수를 제거합니다.
unset CUBRID_DBA_PASSWORD
unset CUBRID_PASSWORD

echo
echo 'CUBRID init process complete. Ready for start up.'
echo

su - cubrid -c "cubrid service start"

tail -f /dev/null


8-4. build.sh

docker build --rm -t cubridkr/cubrid-test:10.1.2.7694 .


8-5. 빌드하여 Docker 이미지 생성

# sh build.sh




9. Docker Hub에 CUBRID 컨테이너 이미지 올리기

  Docker Hub에 Docker 이미지를 올리기 위해서는 Docker Hub 계정과 Repository를 먼저 생성해야 합니다. 하지만 이 부분에 대한 내용은 간단하므로 생략하고 Docker Hub Repository까지 생성되어 있는 상태에서 Docker 이미지를 올리는 과정만 소개하겠습니다.


9-1. Docker Hub 로그인

# docker login


9-2. Docker Hub에 Docker 이미지 올리기

# docker push cubridkr/cubrid-test:10.1.2.7694


9-3. Docker Hub 확인

9-3. Docker Hub 확인.png





10. Kubernetes 환경에 CUBRID 컨테이너 배포

  Kubernetes YAML 형식을 작성하여 Kubernetes 환경 Docker 컨테이너를 배포할 수 있습니다.

# cat << EOF | kubectl create -f -
apiVersion: apps/v1
kind: Deployment
metadata:
  name: cubrid
spec:
  selector:
    matchLabels:
      app: cubrid
  replicas: 1
  template:
    metadata:
      labels:
        app: cubrid
    spec:
      containers:
      - name: cubrid
        image: cubridkr/cubrid-test:10.1.2.7694
        imagePullPolicy: Always
        ports:
        - name: manager
          containerPort: 8001
        - name: queryeditor
          containerPort: 30000
        - name: broker1
          containerPort: 33000
---
apiVersion: v1
kind: Service
metadata:
  name: cubrid
spec:
  type: NodePort
  ports:
  - name: manager
    port: 8001
  - name: queryeditor
    port: 30000
  - name: broker1
    port: 33000
  selector:
    app: cubrid
EOF


10-1. Dashboard에 접속하여 CUBRID 컨테이너 배포

10-1. Dashboard에 접속하여 CUBRID 컨테이너 배포.png



10-2. 접속정보 확인

# kubectl get service cubrid

NAME     TYPE       CLUSTER-IP     EXTERNAL-IP   PORT(S)                                          AGE
cubrid   NodePort   10.97.153.24   <none>        8001:31965/TCP,30000:30022/TCP,33000:30035/TCP   51s


10-3. CUBRID Manager 접속 확인

10-3 CUBRID Manager 접속 확인_1.png


10-3 CUBRID Manager 접속 확인_2.png






  1. No Image

    CUBRID를 사용하면서 하지 말아야 할 것 10가지

    오프라인 교육 안 받고 매뉴얼 안 보고 사용 "R-DBMS가 거기서 거기지", "DB많이 써 봐서 난 다 알아" 같은 R-DBMS이더라도 벤더사에 따라 그 Spec이나 syntax에서 차이가 발생하며, 사용하고자 하는 기능의 차이로 여러 이슈가 발생할 가능성이 있습니다. 이를 간과하고 개발하는 경우가 종종 발생하고 있습니다. (주)큐브리드에서 분기마다 온라인 교육을 온라인( http://www.cubrid.com/education )으로 신청받고 있으며, 매뉴얼도 제공하고( http://www.cubrid.org/documentation/manuals/) 있습니다. 차이점을 우선 인지하시고 운용이 되어야겠습니다. 잘못된 데이터 타입 선택 ​테이블 생성 시, 테이터 타입을 정하는 것은 무척 쉬워 보이나 데이터가 누적된 후에는 문제점을 발견해도 변경하기가 곤란할 때가 많습니다. 잘못된 테이터 타입은 성능과도 연관있으며, 모든 DBMS에 연관이 있습니다. CHAR VS VARCHAR : 고정길이와 가변길이이 차이로 공간낭비가 발생하며 컬럼 시 trim()같은 특정함수를 사용 할 필요가 발생할 수 있습니다. CHAR,VARCHAR VS DATE : 데이터 정합성이 깨어질 수 있습니다. VARCHAR VS NUMBER : 잘못된 데이터가 입력될 가능성이 있습니다. ...
    Date2019.12.27 Category제품 여행 By큐브리드_김주현 Views296 Votes0
    Read More
  2. 와탭(whatap)을 이용한 CUBRID 모니터링

    와탭과 큐브리드의 협력으로 출시된 Whatap for CUBRID를 통하여 모니터링 하기! 회원가입 후 데모 버전 사용이 가능하며, 큐브리드 설치가 되어있는 환경에서 에이전트와 연결하여 간략한 모니터링까지 해보겠습니다. 제가 사용한 큐브리드 버전은 9.3.6.0002 linux 버전 이고, 와탭 에이전트도 큐브리드를 설치한 OS에 같이 설치하였습니다. (자바설치 필수) 프로젝트 생성 와탭 홈페이지에서 데이터베이스 모니터링을 선택 후 해당 화면에서 프로젝트 생성 버튼을 클릭합니다. 큐브리드를 선택하고 원하는 프로젝트명과 서버 지역 등을 입력하고 저장합니다. 에이전트 추가생성된 프로젝트를 선택하여 에이전트를 추가해줍니다. 1.​ 라이선스 발급 버튼을 선택하여 라이선스 키를 생성해줍니다. 2. DB 에이전트 다운로드 보이는 주소를 통하여 wget 방식으로 에이전트를 tar파일을 다운받습니다. (저는 DB가 설치된 서버의 다른 계정에 다운받았습니다.) 다운받은 tar 파일을 풀면 whatap 디렉터리가 생성됩니다. 3. 모니터링용 계정 생성 모니터링을 하기 위해선 DBA 나 DBA 권한이 있는 계정이어야 합니다. 모니터링용 계정을 따로 생성하여 모니터링을 해보겠습니다. > c...
    Date2019.12.26 Category제품 여행 By황영진 Views125 Votes0
    Read More
  3. 리소스해커로 CUBRID 매니저 아이콘 변경하기

    언제 부터인가 CUBRID 매니저를 설치하면 바탕화면 및 시스템 트레이 아이콘이 이클립스 아이콘으로 나온다. 일단 큐브리드 매니저를 다운 받고 설치해 보자. https://www.cubrid.org/downloads/os-select/64-bit/tools/manager 다운을 받고 설치를 하고나면 바탕화면에 바로가기 아이콘이 생긴다. 사용자 최접점 인터페이스로 사용되는 툴이 이클립스 아이콘으로 나오는 것이 항상 신경이 쓰였다. 패치가 되기전에라도 아이콘을 정상 사용하고 싶은 사용자들에게 리소스 해커라는 툴을 소개하면서 아이콘 변경 방법도 공유하고자 한다. 좌측은 최초 설치 시의 모습이고 우측은 리소스 해커를 통해서 아이콘을 변경한 후의 모습니다. 이제 리소스 해커를 구해보도록하자. 구글 검색하면 나오는 아무 버전이나 수정 가능하다. 필자는 VenusGirl님의 블로그에서 한글 버전에 가장 최근에 수정된 버전으로 수정을 했다. 설치 없이 압축만 풀면 바로 수행이 가능해서 아래의 버전으로 선택 했다. 동일하게 진행하고자 하시는 분은 아래의 링크에서 받으시면 됩니다. 링크: Resource Hacker KR 버전 5.1.7 - 리소스 수정 다운 받은 파일을 풀고 ResourceHacker.exe 파일을 실행하면 ...
    Date2019.12.16 Category제품 여행 By성진 Views349 Votes1
    Read More
  4. SQLGate for CUBRID로 데이터베이스를 다뤄보자

    2019년 7월 30일, SQLGate for CUBRID 버전이 출시되었습니다. 아래 SQLGate 홈페이지에서 출시내용을 자세히 확인할 수 있습니다. https://support.sqlgate.com/hc/ko/articles/360033815393?utm_source=cubrid_com&utm_medium=main_slider&utm_campaign=cubrid_launch 지금부터 SQLGate for CUBRID로 CUBRID DB를 다뤄보고 활용해보겠습니다. 1. 설치 https://www.sqlgate.com/product/download 에 접속하여 SQLGate for CUBRID를 다운로드하고 실행하면 설치가 완료됩니다. 2. SQLGate for CUBRID 라이선스 CUBRID 또는 SQLGate 홈페이지에서 SQLGate for CUBRID 사용에 대한 라이선스를 확인할 수 있습니다. 라이선스 종류는 다음과 같으며 필요한 라이선스를 구입하여 사용하시기 바랍니다. - 기업용 라이선스 보기(https://www.sqlgate.com/pricing/perpetual) - 인디개발자 라이선스 보기(https://www.sqlgate.com/pricing/indieLicense) - 구독 서비스 보기(https://www.sqlgate.com/pricing/subscription) ※무료 버전을 다운로드 받으시면 14일 동안 전체 기능을 경험해 볼 수 있습니다. 3. SQLGate 실행하기 - 가입한 이메일 주소로 로그인 한 뒤 확인을 클...
    Date2019.12.10 Category제품 여행 By정훈 Views221 Votes0
    Read More
  5. CUBRID Network Diagram (CUBRID Version 9.3, 10.1)

    CUBRID Network Diagram 큐브리드를 사용하다 보면 네트워크 연결 구성에 대해 궁금할 수 있습니다. 이런 궁금증에 대해 간단한 이미지와 설명으로 큐브리드 네트워크 연결 구성에 쉽게 다가 올 수 있도록 기술 하였습니다. 들어가기에 앞서 큐브리드 네트워크 연결 구성에 대해 이해하기에 OS 환경 및 CUBRID 버전에 따른 약간의 차이점이 있습니다. 아래의 2가지 기능 차이에 대해서 숙지 하시면 큐브리드 네트워크 다이어그램에 대해 쉽게 이해하실 수 있습니다. - Windows 큐브리드 버전에서는 SHARD Broker 기능과 HA 환경을 제공 하지 않습니다. (SINGLE 구성만 제공) - Linux 큐브리드 버전 9.3에서는 SHARD Broker기능을 제공 하지만 10.1버전에서는 SHARD Broker 기능을 제공 하지 않습니다. 큐브리드 네트워크 다이어그램 세부 정보 < Master / Slave / Replica Node > HA 환경의 데이터 베이스를 구성하는 서버 - cub_master : 실제 데이터 베이스 프로세스와 연결을 담당하는 프로세스 - cub_manger : CUBRID Manger 프로그램의 관리모드 사용을 위한 프로세스 < SINGLE > HA환경이 아닌 싱글로 운영 되는 데이터 베이스 서버 - cub_master : 실제 데이터 베이스 ...
    Date2019.11.02 Category제품 여행 By윤준수 Views286 Votes1
    Read More
  6. Doxygen으로 소스코드 문서화 해보기

    오픈소스 프로젝트를 이용해서 개발을 해보신 분들은 소스코드를 문서화한 레퍼런스 문서(또는 개발자 매뉴얼)을 참고해서 개발해 본 경험이 있을 것 같습니다. 개발자를 위한 이러한 문서는 기본적으로 프로젝트 빌드 방법, 주요 아키텍쳐 설명 등의 내용들을 담기도 하고 소스코드에서 정의한 변수나 구조체와 함수 같은 것들이 소스 파일을 직접 열어서 찾아보지 않아도 보기 좋게 정리하거나 변수나 함수 간의 관계를 정리해서 보여주기도 합니다. 다음과 같은 프로젝트의 문서를 예시로 참고해 볼 수 있겠네요. CGAL : https://doc.cgal.org/4.2/CGAL.CGAL/html/index.html Eigen : http://eigen.tuxfamily.org/dox/ Xerces-C++ : http://xerces.apache.org/xerces-c/apiDocs-3/classes.html 공개 되어있는 코드를 한줄한줄 따라가보며 파악할 수도 있지만 프로젝트의 규모가 커지고, 코드의 복잡도가 증가할수록 개발자를 위한 문서는 중요해집니다. 왜냐하면 문서를 읽으면 소스코드를 훨씬 빠르게 파악할 수 있기 때문입니다. 이러한 문서 덕분에 다른 개발자가 조금 더 쉽게 내 프로젝트에 기여할 수 있게 된다면 내 프로젝트에 참여하고 기여해주는 사람들이 더 많아...
    Date2019.09.30 Category나머지... Byhgryoo Views2731 Votes0
    Read More
  7. No Image

    DB2, Informix, Sybase ASE, Postgres DBMS 데이터를 CUBRID로 이관하는 방안에 대하여...

    DBMS 보급과 관련하여 과거와는 달리 민간 및 공공기업에서 서비스 중요도 및 비용등을 고려하여 다양한 제품을 도입하여 사용하고 있다. 뿐만 아니라 시스템 사용연한 도래, 유지보수 비용절감, 클라우드 전환 및 차세대 시스템 도입을 통해서 기존 DBMS를 다른 DBMS로 변환하는 경우가 빈번하게 발생하고 있다. DBMS 변경으로 응용체계 전환 및 데이터 전환, 운영 및 사용자 기술전환등이 수행되는데 기술적 측면 및 비용적인 부분에서 예상보다 많은 리스크를 직면하게 되기도 한다. 성공과 실패는 면밀한 전환환경에 대한 분석 및 계획과 수행하는 기술자들의 자질에(기술 및 도전적 & 긍정적 마인드) 의해 결정된다. 이러한 여러 요소들 중에서 여기서 다루고자 하는 부분은 전환에 있어 기본이면서 중요한 데이터 전환에 대한 부분이다. 큐브리드는 국산을 제외한 외산 DBMS중에 민간 및 공공기간을 통틀어 점유율이 높다고 볼 수 있는 Oracle 및 MS-SQL, MySQL에 대해서 데이터 이관 툴을 제공하고 있다. 해당 제품명은 CMT(Cubrid Migration Toolkit)이며 Linux 및 Windows 버전을 기본으로 GUI 및 Terminal 방식을 지원하고 있다. 그 이외에도 비록 시장 점유율은...
    Date2019.07.15 Category제품 여행 By김창휘 Views457 Votes0
    Read More
  8. CUBRID GRANT ALL TABLES

    CUBRID GRANT.... 큐브리드에서는 GRANT ... ON ALL TABLES 구문을 아쉽게도 제공 하지 않습니다. 현재는 수동으로 GRANT 구문을 작성하여, 사용하여야 합니다. "이러한 불편함을 자동으로 작성해주면 어떨까" 라는 생각으로 스크립트를 작성하였습니다. HOW to do GRANT ... ON ALL TABLES .....? $ sh cub_grant.sh -------------------------------------------------------------------------------------------------------- CUBRID DBMS, auto-generator for grant all tables usage : sh cub_grant.sh <dbname> <grantee user> <grantor user> <grantor user password> <option> <option> -view : grantee user all grant view -dml : default SELECT, DELETE, UPDATE, INSERT -ddl : default ALTER, INDEX, EXECUTE -all : ALL PRIVILEGES(dml+ddl) <file creation info> default path : . -dml : ./GRANT_DML.sql -ddl : ./GRANT_DDL.sql -all : ./GRANT_ALL.sql -------------------------------------------------------------------------------------------------------- 1. Linux 환경에서만 사용 가능합니다. 2. bash 스크립트로 작성 되었습니다. 3. CUBRID 엔...
    Date2019.06.25 Category제품 여행 By윤준수 Views561 Votes0
    Read More
  9. CUBRID 슬랏 페이지(slotted page) 구조 살펴보기

    내가 INSERT한 레코드는 어떤 구조로 파일에 저장될까? 운전을 하다 보면 가끔 엔진이나 미션 등이 어떻게 동작하는지 궁금할 때가 있다. 연료가 어떻게 엔진에 전달되는지, 엔진은 어떻게 연료를 연소하여 동력을 얻는지, 또 이를 미션에 전달하여 어떻게 차를 움직이게 하는지 등에 대해 말이다. CUBRID를 사용하는 사용자들도 가끔 이런 호기심이 생기지 않을까? 이런 호기심 많은 사용자를 위한 첫번째로 "사용자가 INSERT한 레코드는 어떤 구조로 파일에 저장될까?"란 주제로 이야기 해보려고 한다. 티타임을 이용해 가벼운 마음으로 읽을 수 있도록 작성하였으니 여유 시간에 재미로 읽을 수 있길 바래본다. 슬랏 페이지(slotted page) 구조 CUBRID도 OS나 다른 DBMS와 같이 성능상의 이유로 페이지(page) 단위 디스크 I/O를 수행한다. CUBRID 페이지 크기는 최소 4KB ~ 최대 16KB 이며, 디폴트로 16KB 디스크 페이지 크기를 사용한다. 슬랏 페이지 구조란 이런 페이지에 데이터 저장을 구조화하는 하나의 방식을 말한다. CUBRID 사용자가 INSERT 구문을 사용하여 데이터(레코드)를 입력하게 되면, 여러 처리를 거친 후 결국 디스크 페이지에 입력된 데이터가 쓰여지게 ...
    Date2019.06.18 Category제품 여행 By민준 Views582 Votes0
    Read More
  10. Node.js 사용자들을 위한 CUBIRD 연동 방법 [4탄(최종)-CUBRID와 Node.js 커넥션 풀(Connection Pool)설정]

    1. 환경소개 OS CentOS7 64비트 Node.js 10.15.3 버전 Npm 6.4.1 버전 java 1.8.0_201 버전 Editer Eclipse DB CUBRID 10.1 (10.1.2.7694-64632b2)(64비트) 2. 커넥션 풀 (Connection Pool) 이란? 2-1) 개념 ● 데이터베이스와 연결된 커넥션을 미리 만들어서 풀(pool) 속에 저장해 두고 있다가 필요할 때 커넥션을 풀에서 쓰고 다시 풀에 반환하는 기법을 말합니다. ● 커넥션 풀을 사용하면 커넥션을 생성하고 닫는 시간이 소모되지 않기 때문에 애플리케이션의 실행 속도가 빨라지며, 또한 한 번에 생성될 수 있는 커넥션 수를 제어하기 때문에 동시 접속자 수가 몰려도 웹 애플리케이션이 쉽게 다운되지 않습니다. ● 웹 컨테이너가 실행되면 커넥션(Connection) 객체를 미리 풀(pool)에 생성해 둡니다. ● DB와 연결된 커넥션(Connection)을 미리 생성하고, 풀(pool) 속에 저장했다가 필요할 때에 가져다 쓰고 반환합니다. ● 미리 커넥션(Connection)을 생성했기 때문에 데이터베이스에 부하를 줄이고 유동적으로 연결을 관리할 수 있습니다. 3. 커넥션 풀 (Connection Pool) 환경 설정 ● node-cubrid는 자체적인 커넥션 풀(Connection Pool) 기능을 제공하고 있지는 않습니다...
    Date2019.06.13 Category제품 여행 By원종민 Views1362 Votes0
    Read More
Board Pagination Prev 1 2 3 4 5 6 7 8 9 10 ... 13 Next
/ 13

Contact Cubrid

대표전화 070-4077-2110 / 기술문의 070-4077-2147 / 영업문의 070-4077-2112 / Email. contact_at_cubrid.com
Contact Sales