Background Image
조회 수 42 추천 수 0 댓글 0
?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 댓글로 가기 인쇄 첨부
Docker, Kubernetes 환경에서 CUBRID 컨테이너 서비스 해보기




  최근에 여러 기업에서 Docker, Kubernetes를 사용하여 컨테이너로 서비스 하는 사레들을 많이 보았습니다. CUBRID도 컨테이너로 만들어서 Docker, Kubernetes 환경에서 서비스 해보려고 합니다.

  Docker는 '가장 빨리 만나는 Docker: 클라우드 플랫폼 어디서나 빠르게 배포하고 실행할 수 있는 리눅스 기반 경량화 컨테이너'라는 책으로 처음 접하였습니다. 책을 구매해서 보는 것을 권장드리지만 'http://pyrasis.com/docker.html' 페이지에서 책의 내용을 공개하고 있습니다. 책이 너무 길다면 Slideshare, 'https://www.slideshare.net/pyrasis/docker-fordummies-44424016' 페이지에서 슬라이드로 요약된 내용을 볼 수 있습니다.

  Docker는 Docker라는 회사에서 OS에서 제공하는 가상화 기술을 사용하여 만든 오픈소스 Container 프로젝트의 결과물입니다. 컨테이너는 호스트에 게스트 환경을 구성한다는 점에서는 가상머신과 비슷하지만 OS를 별도로 설치해 줄 필요가 없고, 호스트와 동일한 성능을 낼 수 있다는 장점이 있습니다. 이외에도 여러가지 장점이 많지만 가장 큰 장점은 배포가 쉽다는 점이라고 생각합니다. 이 장점을 잘 활용하는 것이 Kubernetes 입니다.

  Kubernetes는 Google이 컨테이너의 배포를 자동화하고 관리하기 위해서 만든 오픈소스 컨테이너 오케스트레이션 도구입니다. 여러 대의 호스트에 컨테이너를 배포하고 관리하는 일은 호스트들의 리소스와 컨테이너를 포함하여 네트워크 연결 문제 등을 고려해야 하기 때문에 쉽지 않지만 Kubernetes가 이를 대신 해줍니다.

  Docker와 Kubernetes에 대한 개념적인 내용과 장,단점은 앞서 소개했던 사이트처럼 이해하기 쉽게 잘 정리되어 있는 글들이 많이 있습니다. 이 글들과 중복하여 개념정리 하는 것보다 Docker, Kubernetes 환경을 구성하고 CUBRID를 컨테이너로 만들어서 서비스를 해봤던 과정들에 대해서 자세히 다뤄보려고 합니다.




목차

 1. 노드 구성
 2. Docker 설치
 3. 방화벽 설정
 4. Kubernetes 설치
 5. pod network add-on 설치
 6. kubeadm join
 7. Kubernetes Dashboard 설치
 8. CUBRID 컨테이너 이미지 생성
 9. Docker Hub에 CUBRID 컨테이너 이미지 올리기
10. Kubernetes 환경에 CUBRID 컨테이너 배포




1. 노드 구성

  Kubernetes를 활용하여 컨테이너를 배포하고 서비스 하는 부분까지 다루려면 최소 2개(Master, Worker)의 노드가 필요합니다. 저는 각각 다른 노드에서 Container가 생성되는 것을 확인하기 위해서 3개의 노드로 테스트 하였습니다. 각 노드들의 OS는 'https://www.centos.org/download/' 페이지에서 CentOS 7.5.1804버전 ISO 파일을 다운로드 받아서 Minimal로 설치하였습니다.


1-1. Hostname 설정

# hostnamectl set-hostname master
# hostnamectl set-hostname worker1
# hostnamectl set-hostname worker2


1-2. /etc/hosts 설정

# cat << EOF >> /etc/hosts

192.168.37.131 master
192.168.37.132 worker1
192.168.37.133 worker2
EOF




2. Docker 설치

  Kubernetes는 컨테이너의 배포를 자동화하고 관리만 할 뿐이고 실제 컨테이너 서비스를 하는 것은 Docker 입니다. 그래서 Kubernetes 설치 전에 Docker가 먼저 설치되어 있어야 합니다. Docker는 Community Edition(CE)을 설치했습니다. Docker CE에 대한 설치는 'https://docs.docker.com/install/linux/docker-ce/centos/' 페이지를 참고했습니다.


2-1. Docker 설치에 필요한 YUM Package 설치

  YUM Repository를 추가할 때 사용하는 yum-config-manager 유틸리티가 포함되어 있는 yum-util 패키지와 devicemapper storage driver 사용에 필요한 device-mapper-persistent-data, lvm2 패키지 설치를 필요로 합니다.

# yum install -y yum-utils device-mapper-persistent-data lvm2


2-2. yum-config-manager 유틸리티를 사용해서 Docker CE Repository 추가



2-3. Docker CE Repository에서 docker-ce 설치

  kubernetes와 호환되기 위해서는 'https://kubernetes.io/docs/setup/release/notes/#external-dependencies' 참고하여 kubernetes가 지원하는 버전을 설치합니다.

# yum list docker-ce --showduplicates | sort -r

# yum install -y docker-ce-18.06.1.ce


2-4. OS 부팅 시 Docker 자동시작 설정

# systemctl enable docker


2-5. Docker 시작

# systemctl start docker


2-6. docker 명령어 확인

  기본적으로 non-root 사용자는 docker 명령어를 실행할 수 없습니다. root 사용자 또는 sudo 권한이 있는 사용자 계정으로 로그인해서 docker 명령어를 실행해야 합니다.

# docker


2-7. Docker 그룹에 non-root 사용자 추가

  root 사용자 또는 sudo 권한이 있는 사용자 계정으로 로그인하는 방법 외에 non-root 사용자가 docker 명령어를 실행하기 위해서는 Docker 그룹에 추가해야 합니다.

# usermod -aG docker your-user


2-8. Docker 삭제

# yum remove -y docker \
    docker-client \
    docker-client-latest \
    docker-common \
    docker-latest \
    docker-latest-logrotate \
    docker-logrotate \
    docker-selinux \
    docker-engine-selinux \
    docker-engine

# rm -rf /var/lib/docker




3. 방화벽 설정

  Kubernetes 환경에서 사용하는 포트는 'https://kubernetes.io/docs/setup/independent/install-kubeadm/#check-required-ports' 페이지에서 확인 할 수 있습니다. 노드 종류(Master, Worker)에 따라서 사용하는 포트들이 다릅니다.


3-1. Master 노드

 Protocol 

 Direction 

 Port Range 

 Purpose 

 Userd By 

 TCP

 Inbound

 6443

 Kubernetes API server

 All

 TCP

 Inbound

 2379~2380 

 etcd server client API

 kube-apiserver, etcd 

 TCP

 Inbound

 10250

 Kubelet API

 Self, Control plane

 TCP

 Inbound

 10251

 kube-scheduler

 Self

 TCP

 Inbound

 10252

 kube-controller-manager 

 Self

# firewall-cmd --permanent --zone=public --add-port=6443/tcp
# firewall-cmd --permanent --zone=public --add-port=2379-2380/tcp
# firewall-cmd --permanent --zone=public --add-port=10250/tcp
# firewall-cmd --permanent --zone=public --add-port=10251/tcp
# firewall-cmd --permanent --zone=public --add-port=10252/tcp
# firewall-cmd --reload


3-2. Worker 노드

 Protocol 

 Direction 

 Port Range 

 Purpose 

 Userd By 

 TCP

 Inbound

 10250

 Kubelet API

 Self, Control plane 

 TCP

 Inbound

 30000-32767 

 NodePort Services 

 All

# firewall-cmd --permanent --zone=public --add-port=10250/tcp
# firewall-cmd --permanent --zone=public --add-port=30000-32767/tcp
# firewall-cmd --reload


3-3. pod network add-on

  pod network add-on으로 설치할 Calico에서 사용하는 포트들도 열어주어야 합니다. Calico에서 사용하는 포트들은 'https://docs.projectcalico.org/v3.3/getting-started/kubernetes/requirements' 페이지에서 확인할 수 있습니다.

 Configuration 

 Host(s) 

 Connection type 

 Port/protocol 

 Calico networking (BGP) 

 All

 Bidirectional 

 TCP 179

# firewall-cmd --permanent --zone=public --add-port=179/tcp
# firewall-cmd --reload




4. Kubernetes 설치

  Kubernetes 설치는 'https://kubernetes.io/docs/setup/independent/install-kubeadm/' 페이지를 참고했습니다.


4-1. Kubernetes Repository 추가

# cat << EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
enabled=1
gpgcheck=1
repo_gpgcheck=1
exclude=kube*
EOF


4-2. SELinux Permissive Mode로 설정

# setenforce 0
# sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config

# sestatus

SELinux status:                 enabled
SELinuxfs mount:                /sys/fs/selinux
SELinux root directory:         /etc/selinux
Loaded policy name:             targeted
Current mode:                   permissive
Mode from config file:          permissive
Policy MLS status:              enabled
Policy deny_unknown status:     allowed
Max kernel policy version:      31


4-3. kubelet, kubeadm, kubectl 설치

  - kubeadm : the command to bootstrap the cluster. (클러스터를 부트스트랩하는 명령)
  - kubelet : the component that runs on all of the machines in your cluster and does things like starting pods and containers. (클러스터의 모든 시스템에서 Pod 및 Container를 시작하는 등의 작업을 수행하는 구성요소)
  - kubectl : the command line util to talk to your cluster. (클러스터와 통신하는 명령 줄 유틸리티)

# yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes


4-4. OS 부팅 시 kubelet 자동시작 설정

# systemctl enable kubelet


4-5. kubelet 시작

# systemctl start kubelet


4-6. net.bridge.bridge-nf-call-iptables 설정

# cat << EOF >  /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

# sysctl --system


4-7. swap off

  Kubernetes는 Master, Worker 노드 모두 swap을 off 해야 합니다. swap이 off 되어 있지 않으면 kubeadm init 단계에서 "[ERROR Swap]: running with swap on is not supported. Please disable swap"와 같은 에러 메시지가 출력 됩니다.

# swapoff -a
# sed s/\\/dev\\/mapper\\/centos-swap/#\ \\/dev\\/mapper\\/centos-swap/g -i /etc/fstab


4-8. kubeadm init

  초기화 작업은 'https://kubernetes.io/docs/setup/independent/create-cluster-kubeadm/' 페이지를 참고했습니다. pod network add-on의 종류에 따라서 --pod-network-cidr 설정 값을 다르게 해주어야 합니다. 여기서는 pod network add-on로 Calico를 사용해서 --pod-network-cidr 설정 값을 192.168.0.0/16으로 해야 하지만 가상머신 네트워크 대역인 192.168.37.0/24와 겹치기 때문에 172.16.0.0/16으로 변경하여 사용합니다.

# kubeadm init --pod-network-cidr=172.16.0.0/16 --apiserver-advertise-address=192.168.37.131

# mkdir -p $HOME/.kube
# cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
# chown $(id -u):$(id -g) $HOME/.kube/config




5. pod network add-on 설치

  Kubernetes 환경에서 Pod들이 통신하려면 pod network add-on이 있어야 합니다. pod network add-on이 설치되기 전에는 CoreDNS가 시작되지 않습니다. 'kubeadm init' 이후에 'kubectl get pods -n kube-system' 명령어로 확인해보면 CoreDNS가 아직 시작되지 않은 상태를 확인할 수 있습니다. pod network와 호스트 네트워크가 겹칠 경우 문제가 발생할 수 있습니다. 그래서 앞서 'kubeadm init' 단계에서 가상머신 네트워크 대역과 겹치는 192.168.0.0/16 네트워크를 사용하지 않고 172.16.0.0/16으로 변경하여 사용했습니다.

  kubeadm은 CNI(Container Network Interface) 기반 네트워크만 지원하며 kubenet은 지원하지 않습니다. CNI(Container Network Interface)는 CNCF(Cloud Native Computing Foundation)의 프로젝트 중 하나로 컨테이너 간의 네트워킹을 제어할 수 있는 플러그인을 만들기 위한 표준 인터페이스입니다. CNI(Container Network Interface)를 기반으로 만들어진 pod network add-on에는 여러 종류가 있고 'httpsx://kubernetes.io/docs/setup/independent/create-cluster-kubeadm/#pod-network' 페이지에서 각 pod network add-on 마다 설치법이 소개되어 있습니다. 여기서는 Calico를 사용하려고 합니다.

  Calico 설치 방법은 위에 소개했던 페이지에서도 확인할 수 있지만 'https://docs.projectcalico.org/v3.3/getting-started/kubernetes/installation/calico' 페이지에도 소개되어 있습니다. Calico는 OSI(Open System Interconnection) 모델의 3계층(네트워크 계층)을 기반으로 합니다. BGP(Border Gateway Protocol)를 사용하여 노드 간 통신을 용이하게 하는 라우팅 테이블을 작성하고, Flannel 기반 네트워크 시스템보다 우수한 성능 및 네트워크 격리를 제공 할 수 있습니다.


5-1. Calico 설치

  pod network add-on이 설치되어 있지 않은 상태에서는 CoreDNS가 아직 시작되지 않은 상태를 확인할 수 있습니다.

# kubectl get pods -n kube-system

NAME                             READY   STATUS    RESTARTS   AGE
coredns-576cbf47c7-2fkrr         0/1     Pending   0          71s
coredns-576cbf47c7-bmns4         0/1     Pending   0          71s
etcd-master                      1/1     Running   0          24s
kube-apiserver-master            1/1     Running   0          23s
kube-controller-manager-master   1/1     Running   0          15s
kube-proxy-xt66g                 1/1     Running   0          71s
kube-scheduler-master            1/1     Running   0          40s

  pod network add-on 설치는 Master 노드에서만 합니다. 'kubeadm init' 단계에서 --pod-network-cidr 설정 값을 172.16.0.0/16으로 변경하여 사용하기는 했지만 Calico YAML 파일에서도 값을 변경하여 설치해야 합니다.


  pod network add-on를 설치한 이후에 CoreDNS가 정상적으로 시작된 상태를 확인할 수 있습니다.

# kubectl get pods -n kube-system

NAME                             READY   STATUS    RESTARTS   AGE
calico-node-hdl24                2/2     Running   0          27s
coredns-576cbf47c7-2fkrr         1/1     Running   0          2m16s
coredns-576cbf47c7-bmns4         1/1     Running   0          2m16s
etcd-master                      1/1     Running   0          89s
kube-apiserver-master            1/1     Running   0          88s
kube-controller-manager-master   1/1     Running   0          80s
kube-proxy-xt66g                 1/1     Running   0          2m16s
kube-scheduler-master            1/1     Running   0          10




6. kubeadm join

  Worker 노드가 되기 위해서는 'kubeadm join' 명령어를 실행해서 Master 노드에 등록해야 합니다. 'kubeadm join' 명령어 실행에 필요한 옵션들은 Master 노드에서 아래 명령어를 실행해서 확인할 수 있습니다.

# kubeadm token create --print-join-command


6-1. Worker 노드 등록

$ kubeadm join 192.168.37.131:6443 --token hcfumm.jerovbeueijtcflc --discovery-token-ca-cert-hash sha256:5e895759b68976638acc2f8c3ba6b8d0577a7d57d7e81d9c51e418cb90b2108c




7. Kubernetes Dashboard 설치

  Dashboard 설치 방법은 'https://github.com/kubernetes/dashboard/wiki/Installation' 페이지에서 자세하게 확인할 수 있습니다. Kubernetes Dashboard 설치 방법에는 Recommended setup과 Alternative setup 등 두 가지가 있습니다. Alternative setup 설치 방법은 HTTPS를 사용하지 않고 HTTP를 사용하여 Dashboard에 접속하는 방법으로 권장하지 않습니다.


7-1. 인증서 생성

  'kubectl proxy' 없이 Dashboard에 직접 접속하려면 유효한 인증서를 사용하여 보안 HTTPS 연결을 설정해야합니다.

# mkdir ~/certs
# cd ~/certs

# openssl genrsa -des3 -passout pass:x -out dashboard.pass.key 2048
# openssl rsa -passin pass:x -in dashboard.pass.key -out dashboard.key
# openssl req -new -key dashboard.key -out dashboard.csr
# openssl x509 -req -sha256 -days 365 -in dashboard.csr -signkey dashboard.key -out dashboard.crt


7-2. Recommended setup

# kubectl create secret generic kubernetes-dashboard-certs --from-file=$HOME/certs -n kube-system


7-3. Dashboard 서비스를 NodePort 방식으로 변경

  Dashboard 서비스를 NodePort 방식으로 변경하면 'kubectl proxy' 없이 NodePort를 통해서 직접 접속할 수 있습니다.

# kubectl edit service kubernetes-dashboard -n kube-system

# Please edit the object below. Lines beginning with a '#' will be ignored,
# and an empty file will abort the edit. If an error occurs while saving this file will be
# reopened with the relevant failures.
#
apiVersion: v1
kind: Service
metadata:
annotations:
   kubectl.kubernetes.io/last-applied-configuration: |
     {"apiVersion":"v1","kind":"Service","metadata":{"annotations":{},"labels":{"k8s-app":"kubernetes-dashboard"},"name":"kubernetes-dashboard","namespace":"kube-system"},"spec":{"ports":[{"port":443,"targetPort":8443}],"selector":{"k8s-app":"kubernetes-dashboard"}}}
creationTimestamp: 2018-12-24T04:27:04Z
labels:
   k8s-app: kubernetes-dashboard
name: kubernetes-dashboard
namespace: kube-system
resourceVersion: "1748"
selfLink: /api/v1/namespaces/kube-system/services/kubernetes-dashboard
uid: 2a4888ce-0734-11e9-9162-000c296423b3
spec:
clusterIP: 10.100.194.126
externalTrafficPolicy: Cluster
ports:
- nodePort: 31055
   port: 443
   protocol: TCP
   targetPort: 8443
selector:
   k8s-app: kubernetes-dashboard
sessionAffinity: None
type: NodePort
status:
loadBalancer: {}


7-4. Dashboard 접속정보 확인

# kubectl get service -n kube-system

NAME                   TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)         AGE
calico-typha           ClusterIP   10.106.255.36   <none>        5473/TCP        83m
kube-dns               ClusterIP   10.96.0.10      <none>        53/UDP,53/TCP   84m
kubernetes-dashboard   NodePort    10.107.122.34   <none>        443:31660/TCP   43m


7-5. Dashboard 계정 생성

# kubectl create serviceaccount cluster-admin-dashboard-sa
# kubectl create clusterrolebinding cluster-admin-dashboard-sa --clusterrole=cluster-admin --serviceaccount=default:cluster-admin-dashboard-sa


7-6. Dashboard 접속 시 필요한 계정 토큰 정보 확인

  토큰 값의 내용은 'https://jwt.io/' 페이지에서 디코드해서 확인할 수 있습니다.

# kubectl get secret $(kubectl get serviceaccount cluster-admin-dashboard-sa -o jsonpath="{.secrets[0].name}") -o jsonpath="{.data.token}" | base64 --decode

eyJhbGciOiJSUzI1NiIsImtpZCI6IiJ9.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJkZWZhdWx0Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZWNyZXQubmFtZSI6ImNsdXN0ZXItYWRtaW4tZGFzaGJvYXJkLXNhLXRva2VuLTJoaHBoIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQubmFtZSI6ImNsdXN0ZXItYWRtaW4tZGFzaGJvYXJkLXNhIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQudWlkIjoiM2FmNzAwNzItMGMzZC0xMWU5LWE2NGUtMDAwYzI5NjQyM2IzIiwic3ViIjoic3lzdGVtOnNlcnZpY2VhY2NvdW50OmRlZmF1bHQ6Y2x1c3Rlci1hZG1pbi1kYXNoYm9hcmQtc2EifQ.d3PGfeMAbpUXPIDB-QLBbydrgTnkbv9Kf4WVGHmoGw0qW7MeQ2y8J0GmRe8IQDapo7rFMwMJRPHsBbPAlhwkrCLb_vCKYyFtdlbV66x7ZdBVRlhay-kKVsr2X-sO8qu6Vhv_PWrN8x0Maxhf1-sxB17--pmiH2Q6xcQp4T0SyNuJd-3pU6pttlVl7uh7ifypi7MXqz7rS7ZbuV3XpQkfNyhJrgAA_fyoiHbALymRW7j4NS0Xek5GbCrRM6owTXUYH5zkvTOZc0pSKSiFizr3g4JD7SY2V1DjgqGB5T4mIfZPdIHNoFZfKjhIgyRIsRXe0AMv3XUzcm_ta2sWBDBLPw


7-7. Dashboard 접속 확인

7-7. Dashboard 접속 확인_1.png


7-7. Dashboard 접속 확인_2.png





8. CUBRID 컨테이너 이미지 생성


8-1. Dockerfile

FROM centos:7

ENV CUBRID_VERSION 10.1.2
ENV CUBRID_BUILD_VERSION 10.1.2.7694-64632b2

RUN yum install -y epel-release; \
    yum update -y; \
    yum install -y sudo \
                   java-1.8.0-openjdk-devel; \
    yum clean all;

RUN mkdir /docker-entrypoint-initdb.d

RUN useradd cubrid; \
    sed 102s/#\ %wheel/%wheel/g -i /etc/sudoers; \
    sed s/wheel:x:10:/wheel:x:10:cubrid/g -i /etc/group; \
    sed -e '61 i\cubrid\t\t soft\t nofile\t\t 65536 \
    cubrid\t\t hard\t nofile\t\t 65536 \
    cubrid\t\t soft\t core\t\t 0 \
    cubrid\t\t hard\t core\t\t 0\n' -i /etc/security/limits.conf; \
    echo -e "\ncubrid     soft    nproc     16384\ncubrid     hard    nproc     16384" >> /etc/security/limits.d/20-nproc.conf

RUN curl -o /home/cubrid/CUBRID-$CUBRID_BUILD_VERSION-Linux.x86_64.tar.gz -O http://ftp.cubrid.org/CUBRID_Engine/$CUBRID_VERSION/CUBRID-$CUBRID_BUILD_VERSION-Linux.x86_64.tar.gz > /dev/null 2>&1 \
    && tar -zxf /home/cubrid/CUBRID-$CUBRID_BUILD_VERSION-Linux.x86_64.tar.gz -C /home/cubrid \
    && mkdir -p /home/cubrid/CUBRID/databases /home/cubrid/CUBRID/tmp /home/cubrid/CUBRID/var/CUBRID_SOCK

COPY cubrid.sh /home/cubrid/

RUN echo ''; \
    echo 'umask 077' >> /home/cubrid/.bash_profile; \
    echo ''; \
    echo '. /home/cubrid/cubrid.sh' >> /home/cubrid/.bash_profile; \
    chown -R cubrid:cubrid /home/cubrid

COPY docker-entrypoint.sh /usr/local/bin/
RUN chmod +x /usr/local/bin/docker-entrypoint.sh; \
    ln -s /usr/local/bin/docker-entrypoint.sh /entrypoint.sh

VOLUME /home/cubrid/CUBRID/databases

EXPOSE 1523 8001 30000 33000

ENTRYPOINT ["docker-entrypoint.sh"]


8-2. cubrid.sh

export CUBRID=/home/cubrid/CUBRID
export CUBRID_DATABASES=$CUBRID/databases
if [ ! -z $LD_LIBRARY_PATH ]; then
  export LD_LIBRARY_PATH=$CUBRID/lib:$LD_LIBRARY_PATH
else
  export LD_LIBRARY_PATH=$CUBRID/lib
fi
export SHLIB_PATH=$LD_LIBRARY_PATH
export LIBPATH=$LD_LIBRARY_PATH
export PATH=$CUBRID/bin:$PATH

export TMPDIR=$CUBRID/tmp
export CUBRID_TMP=$CUBRID/var/CUBRID_SOCK

export JAVA_HOME=/usr/lib/jvm/java
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.
export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64:$JAVA_HOME/jre/lib/amd64/server:$LD_LIBRARY_PATH


8-3. docker-entrypoint.sh

#!/bin/bash
set -eo pipefail
shopt -s nullglob

# 데이터베이스 기본 문자셋을 설정합니다.
# '$CUBRID_CHARSET' 환경변수를 설정하지 않으면 'ko_KR.utf8'을 기본 문자셋으로 설정합니다.
if [[ -z "$CUBRID_CHARSET" ]]; then
    CUBRID_CHARSET='ko_KR.utf8'
fi

# 컨테이너 시작 시 생성할 데이터베이스 이름을 설정합니다.
# '$CUBRID_DATABASE' 환경변수를 설정하지 않으면 'demodb'를 기본 데이터베이스로 설정합니다.
if [[ -z "$CUBRID_DATABASE" ]]; then
    CUBRID_DATABASE='demodb'
fi

# 데이터베이스에서 사용할 사용자 계정의 이름을 설정합니다.
# '$CUBRID_USER' 환경변수를 설정하지 않은면 'dba'를 기본 사용자로 설정합니다.
if [[ -z "$CUBRID_USER" ]]; then
    CUBRID_USER='dba'
fi

# 데이터베이스에서 사용할 'dba' 계정의 비밀번호와 사용자 계정의 비밀번호를 설정합니다.
# '$CUBRID_DBA_PASSWORD', '$CUBRID_PASSWORD' 환경변수를 확인하여 각각 설정합니다.
# 두 환경변수 중에 하나만 설정되어 있으면 두 환경변수 모두 동일한 값으로 설정합니다.
# 두 환경변수 모두 설정되어 있지 않으면 '$CUBRID_PASSWORD_EMPTY' 환경변수 값을 1로 설정합니다.
if [[ ! -z "$CUBRID_DBA_PASSWORD" || -z "$CUBRID_PASSWORD" ]]; then
    CUBRID_PASSWORD="$CUBRID_DBA_PASSWORD"
elif [[ -z "$CUBRID_DBA_PASSWORD" || ! -z "$CUBRID_PASSWORD" ]]; then
    CUBRID_DBA_PASSWORD="$CUBRID_PASSWORD"
elif [[ -z "$CUBRID_DBA_PASSWORD" || -z "$CUBRID_PASSWORD" ]]; then
    CUBRID_PASSWORD_EMPTY=1
fi

# 현재 CUBRID를 관리할 수 있는 계정으로 접속되어 있는지 확인합니다.
if [[ "$(id -un)" = 'root' ]]; then
    su - cubrid -c  "mkdir -p \$CUBRID_DATABASES/$CUBRID_DATABASE"
elif [[ "$(id -un)" = 'cubrid' ]]; then
    . /home/cubrid/cubrid.sh
    mkdir -p "$CUBRID_DATABASES"/"$CUBRID_DATABASE"
else
    echo 'ERROR: Current account is not vaild.'; >&2
    echo "Account : $(id -un)" >&2

    exit 1
fi

# 컨테이너 시작 시 '$CUBRID_DATABASE' 환경변수에 설정된 이름으로 데이터베이스를 생성합니다.
su - cubrid -c "mkdir -p \$CUBRID_DATABASES/$CUBRID_DATABASE && cubrid createdb -F \$CUBRID_DATABASES/$CUBRID_DATABASE $CUBRID_DATABASE $CUBRID_CHARSET"
su - cubrid -c "sed s/#server=foo,bar/server=$CUBRID_DATABASE/g -i \$CUBRID/conf/cubrid.conf"

# 기본 사용자 계정이 'dba'기 아니면 '$CUBRID_USER' 환경변수 값으로 사용자 계정을 생성합니다.
if [[ ! "$CUBRID_USER" = 'dba' ]]; then
    su - cubrid -c "csql -u dba $CUBRID_DATABASE -S -c \"create user $CUBRID_USER\""
fi

# 기본 데이터베이스가 'demodb'이면 '$CUBRID_USER' 환경변수로 설정한 계정에 DEMO 데이터를 생성합니다.
if [[ "$CUBRID_DATABASE" = 'demodb' ]]; then
    su - cubrid -c "cubrid loaddb -u $CUBRID_USER -s \$CUBRID/demo/demodb_schema -d \$CUBRID/demo/demodb_objects -v $CUBRID_DATABASE"
fi

# '$CUBRID_PASSWORD_EMPTY' 환경변수 값이 1이 아니면 '$CUBRID_DBA_PASSWORD' 환경변수 값으로 DBA 계정의 비밀번호를 설정합니다.
if [[ ! "$CUBRID_PASSWORD_EMPTY" = 1 ]]; then
    su - cubrid -c "csql -u dba $CUBRID_DATABASE -S -c \"alter user dba password '$CUBRID_DBA_PASSWORD'\""
fi

# '$CUBRID_PASSWORD_EMPTY' 환경변수 값이 1이 아니면 '$CUBRID_PASSWORD' 환경변수 값으로 사용자 계정의 비밀번호를 설정합니다.
if [[ ! "$CUBRID_PASSWORD_EMPTY" = 1 ]]; then
    su - cubrid -c "csql -u dba -p '$CUBRID_DBA_PASSWORD' $CUBRID_DATABASE -S -c \"alter user $CUBRID_USER password '$CUBRID_PASSWORD'\""
fi

# '/docker-entrypoint-initdb.d' 디렉터리에 있는 '*.sql' 파일들을 csql 유틸리티로 실행합니다.
echo
for f in /docker-entrypoint-initdb.d/*; do
    case "$f" in
        *.sql)    echo "$0: running $f"; su - cubrid -c "csql -u $CUBRID_USER -p $CUBRID_PASSWORD $CUBRID_DATABASE -S -i \"$f\""; echo ;;
        *)        echo "$0: ignoring $f" ;;
    esac
    echo
done

# 'dba' 계정의 비밀번호와 사용자 계정의 비밀번호가 설정되어 있는 '$CUBRID_DBA_PASSWORD', '$CUBRID_PASSWORD' 두 환경변수를 제거합니다.
unset CUBRID_DBA_PASSWORD
unset CUBRID_PASSWORD

echo
echo 'CUBRID init process complete. Ready for start up.'
echo

su - cubrid -c "cubrid service start"

tail -f /dev/null


8-4. build.sh

docker build --rm -t cubridkr/cubrid-test:10.1.2.7694 .


8-5. 빌드하여 Docker 이미지 생성

# sh build.sh




9. Docker Hub에 CUBRID 컨테이너 이미지 올리기

  Docker Hub에 Docker 이미지를 올리기 위해서는 Docker Hub 계정과 Repository를 먼저 생성해야 합니다. 하지만 이 부분에 대한 내용은 간단하므로 생략하고 Docker Hub Repository까지 생성되어 있는 상태에서 Docker 이미지를 올리는 과정만 소개하겠습니다.


9-1. Docker Hub 로그인

# docker login


9-2. Docker Hub에 Docker 이미지 올리기

# docker push cubridkr/cubrid-test:10.1.2.7694


9-3. Docker Hub 확인

9-3. Docker Hub 확인.png





10. Kubernetes 환경에 CUBRID 컨테이너 배포

  Kubernetes YAML 형식을 작성하여 Kubernetes 환경 Docker 컨테이너를 배포할 수 있습니다.

# cat << EOF | kubectl create -f -
apiVersion: apps/v1
kind: Deployment
metadata:
  name: cubrid
spec:
  selector:
    matchLabels:
      app: cubrid
  replicas: 1
  template:
    metadata:
      labels:
        app: cubrid
    spec:
      containers:
      - name: cubrid
        image: cubridkr/cubrid-test:10.1.2.7694
        imagePullPolicy: Always
        ports:
        - name: manager
          containerPort: 8001
        - name: queryeditor
          containerPort: 30000
        - name: broker1
          containerPort: 33000
---
apiVersion: v1
kind: Service
metadata:
  name: cubrid
spec:
  type: NodePort
  ports:
  - name: manager
    port: 8001
  - name: queryeditor
    port: 30000
  - name: broker1
    port: 33000
  selector:
    app: cubrid
EOF


10-1. Dashboard에 접속하여 CUBRID 컨테이너 배포

10-1. Dashboard에 접속하여 CUBRID 컨테이너 배포.png



10-2. 접속정보 확인

# kubectl get service cubrid

NAME     TYPE       CLUSTER-IP     EXTERNAL-IP   PORT(S)                                          AGE
cubrid   NodePort   10.97.153.24   <none>        8001:31965/TCP,30000:30022/TCP,33000:30035/TCP   51s


10-3. CUBRID Manager 접속 확인

10-3 CUBRID Manager 접속 확인_1.png


10-3 CUBRID Manager 접속 확인_2.png






  1. CM을 통해 SQL을 분석해보자.

    SQL을 수행하다 보면 SLOW SQL이 많이 발생합니다. 이럴때, 해당 SQL의 실행계획을 확인 함으로써, 지연을 발생시키는 부분을 쉽게 찾을 수 있습니다. 1. SQL 서식화. - 보통 SQL을 LOG에서 copy 할경우 가시적으로 보기 힘든경우 사용합니다. 2. 질의 실행 계획보기. - 질의편집기에 SQL을 작성 후, 질의 실행계획보기를 통하여 해당 SQL의 실행계획을 확인 할 수 있습니다. 2.1 질의실행계획보기 --계속 - 질의 실행 계획보기를 실행 시, 질의 계획의 원본, 트리출력, 그래픽출력 등으로 쉽게 확인이 가능합니다. - 이글에서 주로 다룰 내용은 트리출력이며, 보다 사용자가 보기 편리한 구조로 이루어져 있습니다. - 해당 내용을 분석하면, olympic 테이블과 record 테이블은 서로 inner join으로 조인이 이루어 집니다. - olympic 테이블은 FULL SCAN이 일어났으며, 모두 디스크 io가 발생하였습니다. - record 테이블은 primary key(host_year)을 사용하여 인덱스 범위검색을 하였습니다. - 이때, olympic 테이블에서 추출한 레코드는 총 25개 이며, record 테이블에서는 2000개의 레코드를 추출하였습니다. - olympic 테이블에서의 전체 row는 25건이며, 페이지로는 1게 ...
    Date2019.01.01 Category제품 여행 By박동윤 Views35
    Read More
  2. No Image

    실패하지 않는 마이그레이션을 위해서 고려해야 될 사항

    실패하지 않는 마이그레이션을 위해서 고려해야 될 사항 클라우드 전환에 따라 기존 유지보수 비용이 높은 UNIX 체계에서 Linux 체계로 전환하면서 오픈소스 유형의 SW로 전환하는 사례가 많아졌다. 도입단가, 비용문제로 고객과 SW밴더간의 이견을 좁히지 못해서 대체 SW로 전환하는 사례도 있다. 그 이외에도 노후장비 교체시기에 SW까지 함께 교체하는 경우도 있는데 OS 및 WAS, 그리고 Database System과 같은 기업 서비스의 근간이 되는 Package SW들이 주 대상이 된다. 위 3가지 중에 대체 SW로 변환하는데 있어 어려움이 발생하는 영역으로 WAS 및 Database System 부분이 될 수 있는데 그 중에서도 Database System이 난위도가 높으며 성공여부를 가늠하는 핵심적인 부분이기도 하다. 다른 대체 SW로 전환하는 작업을 Win-Back 마이그레이션이라는 용어를 사용하기도 하는데 성공적으로 수행하기 위해서 꼼꼼하게 대비해야하는 사항들이 있다. 다수의 DBMS 전환작업을 해오면서 성공과 실패를 통해 경험한 내용을 기반으로 Win-Back 마이그레이션 프로젝트를 수행하는데 고려되어야 할 사항들에 대해서 공유하고자 한다. 1. 제품선정(RDB) DBA또는 그에 준하는 역할을...
    Date2018.12.31 Category나머지... By김창휘 Views30
    Read More
  3. CMT(CUBRID Migration Tool) 활용

    CMT를 이용하여 데이터 마이그레이션 작업하면서 여러가지의 팁이 있겠지만 4단계에서 유용하게 사용할 수 있는 팁중 PK가 없는 테이블에 대해서 데이터 수행전에 PK 선택하거나 또는 테이블 생성 후 PK 컬럼을 추가하여 데이터 마이그레이션하면 되는 팁을 알려 드리겠습니다. 1) PK가 없는 테이블에 대해 이관전 PK 컬럼 선택 후 데이터를 이관하는 방법 2) PK가 없는 테이블 정보를 그대로 생성하고 데이터를 이관전에 seq 컬럼을 추가하여 그 컬럼에 대해 PK로 만들어 주므로 PK에 대한 재작업이 안해도 되는 방법 위 두가지를 병행하여 데이터 이관 작업을 진행하면 좀 더 쉽게 데이터 이관 작업을 할 수 있다. 1단계 - 원본과 대상 유형을 선택한다. - 다음버튼을 클릭한다. 2단계 - 편집버튼을 클릭하여 "원본 정보"를 등록하여 접속이 되는지 테스트버튼을 클릭하여 확인한다. (연결이름 : 임의로 작성, 호스트 주소 : IP주소, 연결 포트 : 사용하는 접속 포트, 데이터베이스 이름 : SERVICE_NAME, 사용자 이름 : 실제사용자ID, 비밀번호 : 실제비밀번호) - 테스트버튼을 클릭하여 접속이 안되는 경우는 연결포트 또는 데이터베이스 이름, 사용자이름, 비밀번호가 틀...
    Date2018.12.31 Category알려요~ By엄기호 Views33
    Read More
  4. No Image

    CUBRID 매니저 가져오기 마법사 유용한 팁!

    CUBRID 매니저 가져오기 마법사 유용한 팁! 다량의 데이터를 엑셀로 작성해서 넣는 경우가 많으실 텐데요 CUBRID 매니저에서 UI로 간단하고 쉽게 데이터를 넣을 수 있습니다. 바로 가져오기라는 기능인데요 가져오기는 스키마, 데이터를 파일로부터 데이터베이스 서버로 import를 하는 기능 입니다. (스키마는 SQL 파일만 지원하며, 데이터는 SQL, CSV, XLS, TXT를 지원합니다.) 가져오기 마법사는 아래의 3단계로 구성되어 있습니다. •가져오기 유형 선택 • 가져오기할 데이터 소스 및 옵션 선택 • 가져오기 옵션 확인 여기서 팁 한가지! XLSX 파일은 엑셀 2007부터 추가된 파일 포맷이며 CUBRID 매니저는 XLSX 파일을 지원하지 않으므로, XLSX 파일을 원본으로 하여 데이터 가져오기 작업을 수행하는 경우 정상적인 데이터 입력을 보장할 수 없습니다. 따라서, XLSX 파일은 "다른 이름으로 저장" 메뉴를 통해 반드시 XLS 파일로 변환한 후에 사용해야 합니다. 그리고 XLS 파일로 저장 시 파일 문자집합을 신경 써 주셔야 합니다. 엑셀 한글 버전에서는 따로 문자집합을 설정 안 할 경우 기본 인코딩이 EUC-KR로 되어 있어 파일의 문자집합 옵션을 맞지 않게 데이터를 가져오...
    Date2018.12.31 Category제품 여행 By강주원 Views22
    Read More
  5. Docker, Kubernetes 환경에서 CUBRID 컨테이너 서비스 해보기

    Docker, Kubernetes 환경에서 CUBRID 컨테이너 서비스 해보기 최근에 여러 기업에서 Docker, Kubernetes를 사용하여 컨테이너로 서비스 하는 사레들을 많이 보았습니다. CUBRID도 컨테이너로 만들어서 Docker, Kubernetes 환경에서 서비스 해보려고 합니다. Docker는 '가장 빨리 만나는 Docker: 클라우드 플랫폼 어디서나 빠르게 배포하고 실행할 수 있는 리눅스 기반 경량화 컨테이너'라는 책으로 처음 접하였습니다. 책을 구매해서 보는 것을 권장드리지만 'http://pyrasis.com/docker.html' 페이지에서 책의 내용을 공개하고 있습니다. 책이 너무 길다면 Slideshare, 'https://www.slideshare.net/pyrasis/docker-fordummies-44424016' 페이지에서 슬라이드로 요약된 내용을 볼 수 있습니다. Docker는 Docker라는 회사에서 OS에서 제공하는 가상화 기술을 사용하여 만든 오픈소스 Container 프로젝트의 결과물입니다. 컨테이너는 호스트에 게스트 환경을 구성한다는 점에서는 가상머신과 비슷하지만 OS를 별도로 설치해 줄 필요가 없고, 호스트와 동일한 성능을 낼 수 있다는 장점이 있습니다. 이외에도 여러가지 장점이 많지만 가장 큰 장점은 배포가 쉽다는 점이라고 생...
    Date2018.12.31 By주영진 Views42
    Read More
  6. No Image

    기술지원 중 자주받는 질문들을 살펴보자 !

    큐브리드 엔지니어로 기술지원을 수행하면서 자주 받는 질문들을 크게 10개 단락으로 나누어 모아 보았습니다. 큐브리드를 사용해주시는 많은 분들에게 작게나마 도움이 되기를 바라는 마음으로 작성해 보았습니다. 자세한 내용은 하단에 매뉴얼 링크를 달아 두었으니 참조 부탁 드립니다 1. DB 백업/복구 1) 백업 명령어를 알고 싶어요. ① $ cubrid backupdb -D <백업 경로> -z --no-check <DB명> 2) 증분 백업도 지원하나요? ① 큐브리드는 1차, 2차 증분 백업을 지원합니다. ② 증분 백업을 하기 위해서는 백업 옵션 중 -l 옵션을 사용하면 됩니다. 백업수준은 0,1,2 3가지로 나뉘어 지며 각각 전체 백업, 1차 증분 백업, 2차 증분 백업을 의미합니다. ③ 예시 : cubrid backupdb -D <백업 경로> -z --no-check -l 1 <DB명> 3) 복구는 어떻게 해야 하나요? ① $ cubrid restoredb -B <백업 파일 경로> <DB명> 4) 시점 복구도 지원하나요? ① 큐브리드는 어떠한 옵션도 지정되지 않은 경우 기본적으로 마지막 커밋 시점까지 데이터베이스가 복구됩니다. 시점 복구를 하기 위해서는 -d 옵션으로 시간을 지정할 수 있으나, 지정한 복구 시점까지 복구하기 위한 활성로그/보관 로그 ...
    Date2018.12.30 Category제품 여행 By허서진 Views37
    Read More
  7. DBMS? 힐끗 다른 쪽을 바라봤다

    시스템 소프트웨어 개발자로 딱 60살까지만 이런저런 시스템, 특히 대용량 데이터를 다루는 시스템을 직접 설계하고 만들어보고 싶은 마음은 지금도 여전하다. 그리고 그러한 미련에 들어온 DBMS 개발바닥이다. 원래 우직하니 한 우물만 파는 스타일은 아닌데.. 어찌어찌 하다보니 10년째 데이터 처리 엔진쪽으로만 일하고 있는 자신을 바라보며 기특하단 생각도 든다. 하지만 최신 유행하는 다른 분야로 발빠르게 움직이지 못한 것이 못내 아쉬울 때도 종종 있다. 이런 내 마음에는 아랑곳 없이 데이터환경이 휙휙 바뀌면서 하루가 멀다하고 새로운 모양의 시스템, DB들이 마구 쏟아져 나온다. 이런 추세속에서 여전한? 것들을 하고 있는 내 자신을 바라보고 있자면 old school에서 벗어나지 못하고 있는 듯 느껴져 왠지 마음이 급해진다. 이 글을 쓰고 있는 지금도 어디에선가는 새로운 DB(용어따지기 좋아하는 사람들을 위해 여기서 'DB'는 데이터베이스 자체가 아니라 DBMS혹은 DMS를 의미한다는 것을 밝힌다)가 글로벌 DB시장에 런칭하는 소리가 들리는 듯 하니 말이다. 그러나 이쪽 분야에서 일을 하면 할수록 데이터를 다루는 일에 신구라는 것이 없다는 생각이다. 다...
    Date2018.12.28 Category나머지... By조성룡 Views108
    Read More
  8. CUBRID 10의 새로운 기능 "문자열 압축"

    CUBRID 10은 새로운 기능이 추가 되었습니다. 그 중에서 문자열 압축기능이 추가되었습니다. 지금부터 문자열 압축 기능에 대해서 알아보도록 하겠습니다. 문자열 압축 기능은 아래의 표와 같습니다. CUBRID 문자열 압축은 255byte 이상에서만 실행되고, 압축이 효율적이지 않으면 압축을 실행하지 않습니다. 문자열 압축률이 얼마나 좋은지 테스트하기 위해서 문자열 압축 기능이 없는 CUBRID 9.3과 10.1에서 테스트 데이타 10만건을 입력하고, 테이블 크기를 확인하는 방법으로 진행하였습니다. “케이스 #1”은 중복 되지 않는 문자열 데이타를 입력하고 압축률을 확인하였고, “케이스 #2”는 중복 된 데이타를 입력하고 압축률을 확인하였습니다. 각 케이스별로 데이타 10만건을 생성한 방법은 아래 표와 같습니다. 먼저 테스트 데이타 1건을 입력하고, “insert 테이블 select ...” 구문에서 카탈로그 테이블과 카테시안 곱(Cartesian Product)을 활용하여 테스트 데이타를 생성하였습니다. 위 표의 SQL문으로 데이타 10만건을 입력하고 테이블 크기를 확인하였습다. 테이블 크기는 “show heap capacity of 테이블명;” 명령을 실행하고 Num_pages 값을 확인하였고, 결과는 아...
    Date2018.12.26 Category제품 여행 By권호일 Views28
    Read More
  9. GitHub Desktop을 활용한 소중한 소스 코드 관리

    1) 소중한 자신의 소스 코드가 손상 되거나 손실 되는 경우 2) 외부에서 자신의 소스 코드를 열람해야할 경우 3) 소스 코드의 변경 된 부분을 찾아야 하는 경우 소스 코드를 사용하다 보면 위와 같은 문제로 업무의 연속성이 끊어지는 경우가 발생 합니다. 이러한 문제를 GitHub Desktop을 통해 아주 간단하고 편리하게 사용 및 관리 하는 기능을 소개 하려 합니다. - 비용 : 무료 단, 소스 코드를 비공개하려면 과금 필요 - GUI 프로그램으로 git bash(커맨드 라인) 보다 편리하며, 손 쉽게 사용할 수 있습니다. [1 : GitHub 회원 가입] - 회원 가입 URL : https://github.com/ - IMAGE #1 GitHub 공식 홈페이지 접속 화면 사용할 정보 입력 : Username, Email, Password - IMAGE #2 STEP 1 : 계정 생성 동의 하기 - IMAGE #3 STEP 2 : 계정 유형 선택 - IMAGE #4 사용자 유형 선택 (Skip 해도 무관) - IMAGE #5, 6, 7 STEP 3단계 모두 마치면, Email 확인 후 계정 사용 가능 [2 : GitHub Desktop 설치] - 설치 URL : https://desktop.github.com/ - 지원 OS : Windows, OS X(MAC) - IMAGE #1 공식 홈페이지에서 GitHub Desktop 설치 파일을 받으 실 수 있습니다. (약 80MB) ...
    Date2018.12.03 Category나머지... By윤준수 Views108
    Read More
  10. 오픈소스 DBMS 10년의 여정

    10년 전인 2008년 11월 22일 NHN(현, 네이버)의 첫번째 개발자 행사인 DEVIEW 2008을 통해 CUBRID 오픈소스 버전이 첫 선을 보였습니다. 사용자 확산을 위해 2006년 5월 무료 라이선스를 선언을 한 이후 2008년 초부터 1년 가까이 오픈소스 전환을 위한 준비 과정을 거쳐 결국 오픈소스 DBMS로 변신을 한 것입니다.   -> CUBRID 2008 신제품이 출시되던 날…   오픈소스 DBMS 전환에 대한 사용자들의 인식을 제고하기 위해 버전 표기는 기존 숫자(CUBRID 6, 7) 중심에서 연도 체계 방식으로 변경하여 “CUBRID 2008”로 명칭을 했으며(2013년 3월 출시한 CUBRID 9부터 다시 숫자 표기로 변경), 라이선스의 경우 많은 논의 과정을 통해 엔진은 소스 코드 수정/배포 시 공개 의무가 있는 GPL v2 or higher, 인터페이스와 도구는 자유롭게 수정/배포가 가능한 BSD 라이선스를 채택했습니다.   CUBRID 2008 출시 후 초기 2년 동안의 미션은 개발자 및 사용자 확산이었습니다. CUBRID Inside라는 개발자 중심의 커뮤니티 행사를 통해 내부 개발자와 외부 개발자간에 만남의 장을 마련했고, 닉네임 Pcraft님 같은 경우에는 CUBRID Manager에 컨트리뷰션을 하시다가 추후 CUBRID 개발팀...
    Date2018.11.30 Category오픈소스 이야기 By정병주 Views251
    Read More
Board Pagination Prev 1 2 3 4 5 6 7 8 9 10 Next
/ 10

Contact Cubrid

Tel. 070-4077-2110 / Email. contact_at_cubrid.com
Contact Sales