Background Image

FORUM

조회 수 14378 추천 수 0 댓글 10
?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 댓글로 가기 인쇄

* 질문 등록 시 다음의 내용을 꼭 기입하여 주세요.
OS
CentOS 6.4 x64
CUBRID Ver.
8.4.3
CUBRID TOOL Ver.

응용 환경(API)
php

* CUBRID 응용 오류, SQL 오류 또는 SQL 튜닝 관련된 문의는 반드시 다음의 내용을 추가해 주세요. 비밀글이나 비밀 댓글도 가능합니다.
* 저희가 상황을 이해하고, 재현이 가능해야 알 수 있는 문제들이 많습니다. 가능한 정보/정황들을 부탁합니다.
에러 내용 및 재현 방법 재현 가능한 Source와 SQL
관련 테이블(인덱스, 키정보 포함) 정보 CUBRID 홈 디렉토리 아래 log 디렉토리 압축


-------------- 아래에 질문 사항을 기입해 주세요. ------------------------------------------------------------------------



HA 적용을 위해 테스트 중입니다.


Active : 1대

Stand-by : 1대 (sync)

Replica : 4대


총 6대 구성입니다.


기본 설정은 다 되있고 동기화 테스트 중인데,


]#  csql -u dba  db@127.0.0.1  -c "insert into testha values (25)"


메뉴얼에 나와있는 이 간단한 쿼리 결과의 동기화 시간이 들죽 날죽 합니다.


전체 서버에 모두 동기화 되는 시간이

짧으면 3초 내외,

길면 1분 30초 정도 걸리네요. (테스트를 반복할수록 시간이 늘어나는 경우가 발생하네요.)


보통  Replica 에 먼저 반영이 되고 그 후에 Stand-by 서버에 반영이 됩니다.

6개 서버 모두 cubrid 외 아무것도 설치 되지 않은 단독 서버들입니다.


사용자가 아무도 없는 서버에서 간단한 쿼리 조차 이렇게 오래 걸리는데,

사용자가 많아지고 쿼리가 복잡해지면 더욱 시간이 오래 걸릴 것은 당연하지 않을까 해서

실 서비스에 적용해도 될지 심히 걱정스럽습니다.


1. 동기화 속도가 이렇게 느리게 나오는 것이 정상인가요?

2. 아니라면 어느 부분을 손 봐야 할까요?

3. 9.1.0에서는 "HA 복제 반영 성능이 대폭 향상되었습니다." 라고 나오는데 어느 정도나 빨라졌을까요?


  • ?
    CUBRID_DEV 2013.04.18 01:37

    1. 매우 비정상적입니다. 여태까지 제보받지 못한 문제여서 저희도 연구 중입니다.

    2. 연구해보고 추후 댓글을 다시 달겠습니다.

    3. 응용 환경에 따라 다르겠지만 QA report 를 보면 9.1에서 상당히 많이 빨라졌습니다. NHN내에서 운영되는 CUBRID DB들은 거의 모두 HA 구성되어 운영 중이며, 거의 모두 4.x버전임에도 불구하고 큰 성능 문제는 없었습니다. 

  • ?
    reerror 2013.04.18 02:05

    비정상이라니 다행이군요.


    연구에 필요한 HA 설정파일이나 서버 환경 정보 말씀하시면 올려드리겠습니다.

  • ?
    CUBRID_DEV 2013.04.18 02:07

    위에 말씀드린대로 단건 INSERT에서 저런 지연이 있다는 것은 매우 비정상적인 상황입니다.

     

    * CUBRID HA 의 특성 상, 복제 로그 반영이 지연되고 있다고 하면 두 가지로 압축하여 원인을 파악해 볼 수 있습니다.


    A) 로그 복사가 느리다

    - replica 의 개수가 많은 경우, 약간의 저하는 있겠으나 일반적인 경우 병렬로 로그를 복사하기 때문에 크게 영향이 있기는 힘듭니다.

    - CUBRID HA 는 TCP/IP 프로토콜을 이용하여 원격 노드의 트랜잭션 로그를 복사하게 되므로, TCP/IP 관련된 네트워크 구성이나 성능에 영향을 받게 되며, 경험 상 아래의 이유로 로그 복사가 지연된 적이 있습니다.

    . 단순하게 네트워크 latency 가 큰 경우

    . 네트워크 구성 오류. A node --> B node 의 routing 테이블은 정상. B node --> A node routing 테이블 구성 오류. IP가 잘못 routing 되면서 패킷이 유실되어 재 전송이 빈번한 경우.

      이를 확인해보기 위해서는 각 호스트간 IP 네트워크 경로(tracert)가 정상인지/의도한대로 구성된 것인지를 확인해봐야 합니다.

     

    B) 복사한 로그를 반영하는 것이 느리다.

    - 이미 복사된 복제 로그를 반영하는데 지연이 발생하는 이유 역시 요약하면 다음 중 하나의 이유로 볼 수 있습니다.

    . 장비의 스펙

    . DB 서버 프로세스의 설정/능력

    ㄴ 복제 역시, 트랜잭션 로그를 서버로 다시 반영하는 형태이기 때문에, 서버의 설정이 성능에 불리하게 되어 있다면, 복제 역시 지연되어 처리됩니다.

    ㄴ 이를 위해서는 혹시 5대 장비 스펙이 유사한지, conf 파일들이 모두 동일한지를 검토해볼 필요가 있습니다.

     


    * 만일 위 내용을 확인해보시고 재시도 부탁 드리겠습니다. 답변 달아주세요~

     

  • ?
    reerror 2013.04.18 02:21

    확인 해보겠습니다.


    그전에,

    혹시 방화벽(iptables)에 의한 문제가 아닐까 싶어 6대 모두  iptables  종료 시키고 나서 계속 insert 테스트 중인데,

    iptables 종료 직후 부터 Replica 4번에 동기화가 안되는군요.


    iptables  종료 이후 나머지 전체적인 동기화 시간은 좀 빨라진것 같습니다.


    지금처럼 동기화가 중간에 멈춘 서버는 어떻게 처리해야 될까요?

    ha_make_slavedb.sh  실행해야 하나요?

  • ?
    reerror 2013.04.18 06:56
    Gigabit 구성이고 내부 망이라 지연 같은건 없습니다.
    traceroute 결과는 상호간 모두 1 hop으로 연결이 됩니다.
    장비도 쓸만한 장비들이고 2대는 새 제품입니다.

    네트워크나 장비 문제는 없는것 같네요.

    이런 저런 테스트를 하다가 방화벽을 끄고 해보니 매우 빠르게 동기화가 됩니다. (1초 내외)

    동기화 대상이 5대인데 (Stand-by 1, Replica 4) 
    휘리릭~ 되는군요.

    그리고 2대에만 방화벽을 켰습니다.

    나머지 3대는 순식간에 동기화가 되는데,
    방화벽 작동중인 2대는 하세월입니다.

    방화벽 키면 동기화가 않되는게 아니라 되기는 됩니다. 느려서 그렇지..

    그런데,
    방화벽이 문제라면 tcp 연결이 안될테니 아예 동기화가 안되야 하지 않나요?

    아래 iptables 설정 상태를 봐주십시요.

    아래는 Cubrid 사용에 필요한 포트로 알고 있습니다.
    1523:tcp
    8001:tcp
    8002:tcp
    30000:tcp
    33000:tcp
    59901:udp

    위 포트가 적용된 iptables 설정입니다.

    ]#  iptables  -L
    Chain INPUT (policy ACCEPT)
    target     prot opt source               destination
    ACCEPT     all  --  anywhere             anywhere            state RELATED,ESTABLISHED
    ACCEPT     icmp --  anywhere             anywhere
    ACCEPT     all  --  anywhere             anywhere
    ACCEPT     tcp  --  anywhere             anywhere            state NEW tcp dpt:ssh
    ACCEPT     tcp  --  anywhere             anywhere            state NEW tcp dpt:http
    ACCEPT     tcp  --  anywhere             anywhere            state NEW tcp dpt:ftp
    ACCEPT     tcp  --  anywhere             anywhere            state NEW tcp dpt:https
    ACCEPT     tcp  --  anywhere             anywhere            state NEW tcp dpts:8001:8002
    ACCEPT     tcp  --  anywhere             anywhere            state NEW tcp dpt:30000
    ACCEPT     tcp  --  anywhere             anywhere            state NEW tcp dpt:33000
    ACCEPT     udp  --  anywhere             anywhere            state NEW udp dpt:59901
    ACCEPT     tcp  --  anywhere             anywhere            state NEW tcp dpt:1523
    REJECT     all  --  anywhere             anywhere            reject-with icmp-host-prohibited

    Chain FORWARD (policy ACCEPT)
    target     prot opt source               destination
    REJECT     all  --  anywhere             anywhere            reject-with icmp-host-prohibited

    Chain OUTPUT (policy ACCEPT)
    target     prot opt source               destination
    ]#  
  • ?
    CUBRID_DEV 2013.04.18 21:46

    저도 네트워크는 잘 몰라서 도움이 될련지 잘 모르겠습니다만, 방화벽 설정이 원인인 것 같네요.


    * 방화벽을 켰다는게 어떤 설정인지, 그외 설정은 없는지 등등을 확인해봐야 할 것 같습니다. 

    http://stackoverflow.com/questions/614795/simulate-delayed-and-dropped-packets-on-linux  이글을 참고해보면, 아마도 시험이나 보안 등을 이유로.. 의도적으로 패킷을 버려서 지연을 만드는 설정이 가능하니까.. 이런 설정들이 있는지 확인이 필요해보여요. 



  • ?
    reerror 2013.04.18 23:03

    위 iptables 설정은 OS 설치 직후 해당 포트만 오픈하는 아주 단순한(보편적인) 설정입니다.


    제가 테스트 하는 5대 서버 모두에서 똑같은 문제가 나왔는데,

    그렇다면 저와 같은 환경(CentOS 6.4 x64 + Cubrid 8.4.3 HA)에서 똑같은 문제가 나올 가능성이 매우 높겠죠.


    단지 방화벽 작동시 문제가 있다는것만 갖고 방화벽 설정이 원인이라고 단정 지으면 아무런 해결 방법이 안나옵니다.

    제가 보기엔 방화벽 설정은 정상인것 같거든요.


    혹시 Cubrid에 다른 원인이 있을수 있지 않을까요?


    질문입니다.

    1. 위에 적어드린 Cubrid 포트가 전부인가요?

    2. CentOS 6.4 x64 + Cubrid 8.4.3 HA 환경에 적용된 iptables 설정을 얻을수 있을까요?

  • ?
    CUBRID_DEV 2013.04.19 01:50

    흠..

    매뉴얼/릴리스노트를 뒤져보니 ( http://www.cubrid.org/ko_manual43/entry/접속%20관련%20파라미터 )

     

    특히, ECHO(7) 포트가 방화벽(firewall) 설정으로 막혀있으면 서버 프로세스 또는 클라이언트 프로세스가 각각 서로의 상태를 확인할 때 상대방 프로세스가 종료된 것으로 오인한다~~ 는 내용이 있네요. 해당 파라미터에 의해 클라이언트가 keepalive한지 판단하기 위하여 ECHO(7) 포트에 주기적으로 접속하는데, 혹시 현재 방화벽 설정에서 이게 막혀 있어서 그런게 아닌지 추측해봅니다. ECHO(7) tcp 포트 열고 확인 부탁 드립니다.

     

  • ?
    reerror 2013.04.19 05:22

    적어주신 관련 내용은 아래 링크에 나와있습니다.

    http://www.cubrid.com/zbxe/bbs_developer_tutorial/560452


    하지만 제 경우와는 해당 없습니다.

    iptables 설정 보시면 해당 포트 차단된 설정이 없습니다.


    강제로 7번 포트 열고 해보면 오히려 오작동이 되는군요.


    질문 다시 적겠습니다.

    1. 위에 적어드린 Cubrid 포트가 전부인가요?

    2. CentOS 6.4 x64 + Cubrid 8.4.3 HA 환경에 적용된 iptables 설정을 얻을수 있을까요?

    3. 혹시 회사 내에 이 문제와 관련해서 답변 주실만한 분은 또 안계신가요?


  • ?
    brightest 2013.10.17 21:21

    잘은 모르지만, iptables 설정을 어떻게 하느냐에 따라 성능에 영향이 있는 것 같습니다.

    "iptables 성능"으로 구글링한 후 검색한 결과 중 아래 2건이 관련이 있지 않을까 싶어 링크해봅니다.


    http://blog.syszone.co.kr/56

    http://coffeenix.net/bbs/viewtopic.php?p=2011&sid=0bed574f1915b4429418408707cb817b


List of Articles
번호 제목 글쓴이 날짜 조회 수
공지 SQLGate for CUBRID 영구 무료 라이선스 제공 file admin 2020.04.09 4263
1476 HA 환경에서 백업 문의 3 reerror 2013.05.03 10833
1475 큐브리드 maven repository 관련 문의 3 StoneHouse 2013.04.30 61467
1474 테이블 파티션 관련 문의 1 전산 2013.04.30 7594
1473 집합형 데이터에 외부키 설정 1 소라게 2013.04.30 7605
1472 2013년 현재 CUBRID 9.1에 DBLink 같은 기능이 있는지 궁금합니다. 1 뒷태지존 2013.04.30 14198
1471 CUBRID 교육 일정 1 OASIS 2013.04.29 7022
1470 select 조회시 오류 발생 문의 2 제이씨씨 2013.04.26 11904
1469 8.4.3 32bit의 데이터를 9.1 64bit로 마이그레이션을 하려고 합니다만.. 1 살구맛 2013.04.26 7698
1468 마이그레이션 마법사 기능 오류인듯 합니다. 2 file 이용미 2013.04.26 7559
1467 CUBRID Exception에 대해서 1 해킹 2013.04.26 14160
1466 큐브리드 ORDER BY ? 1 신데렐라 2013.04.24 9581
1465 밑에 있는 HA 동기화 속도 관련 질문 글은 해결 못하고 조용히 넘어가는 건가요? 5 reerror 2013.04.23 7304
1464 윈도우 -> 리눅스 큐브리드 원격접속 문제 1 박대서 2013.04.21 12157
1463 외부에서 CUBRID접근 시 포트 포워딩 방법 2 하루야 2013.04.19 13394
1462 데이터 insert 시 DB 멈추는 현상 1 file 하루야 2013.04.18 12369
1461 큐브리드 쿼리 문법 1 신데렐라 2013.04.18 10629
1460 glibc detected : cub_admin: double free or corruption (fasttop): 0x00000000020b8f60 2 reerror 2013.04.18 12643
» iptables 작동중일때 HA 동기화 속도가 너무 느립니다. 10 reerror 2013.04.18 14378
1458 Cubird 9.1 버전 single_byte_compare 속성 1 하루야 2013.04.17 10006
1457 Cannot communicate with the broker 오류 2 미스터투 2013.04.16 16251
Board Pagination Prev 1 ... 121 122 123 124 125 126 127 128 129 130 ... 199 Next
/ 199

Contact Cubrid

대표전화 070-4077-2110 / 기술문의 070-4077-2113 / 영업문의 070-4077-2112 / Email. contact_at_cubrid.com
Contact Sales