Background Image

FORUM

?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 댓글로 가기 인쇄

Server 2대 HA 구성후에...

테이블까지 생성하고 대량 등록할 데이터를 xls, csv 파일로 작성합니다...

메니저에서 테이블 클릭 후에 데이터 올리기(대량등록)을 실행하면...

이게 Index 잡아놓은게 꼬이는건지... 데이터 올린게 제대로 반영이 안됩니다...

Index 잡아놓은거 삭제했다가 다시 잡아주면 다시 되긴하는데 불안불안하네요...

 

원래 HA에서 테이블 생성후에 Index 잡고...

Maneger에서 대량 등록하면 안되는건지 확인 부탁드립니다...

  • ?
    남재우 2011.05.20 06:50

    기본적으로 HA 구성시 대량의 데이터 입력은 권장하지 않고 있습니다.

    일단 아래 질문 내용에 대하여 같은 선상에서 개발팀에서 확인후에 알려드리도록 하겠습니다.

  • ?
    반짝이 2011.05.20 18:46

    밤 늦게 답변 달아주신 남재우님 감사드립니다...

     

    노가다로 확인 결과...(100만건 대량 등록)

    Manager 상의 대량등록을 이용할 경우 Table 자체에 INDEX가 걸려 있으면 안되더군요...

    INDEX가 있는 상태에서 대량 등록할 경우... INDEX 자체가 꼬여버려서... HA 절체 및 차후 입력한 데이터에 대하여 INDEX를 통한

    검색시 문제가 발생!

    Step 1 : Table 모든 INDEX 조건 삭제...

    대량 등록의 문제임을 확인하고..

    INSERT 문으로 등록... 이건 퍼포먼스 때문에 하다가 결국 포기...

    cmd : csql -C -u dba -p -i contentlog.sql test@master

    메니저 질의 편집기 열어놓고 INSERT 문 100만건 실행... 얘도 느림...

    Step 2: 결국은 다시 대량 등록 시도...

    동시 수행개수... 5... 10... 15... 80... 100... 200... 다 중간에 LOCK 걸려서 100만건중... 데이터가 랜덤하게 들어감...

    5개라면... 5개 클라이언트가 20만건씩... 입력하다가... 만약 중간에 3번 Client 10만건 정도 입력후에 LOCK 으로 인하여 입력 실패시

    총 90만건의 데이터가 입력되더군요...

    그래서 커밋주기를 길게도 줘보고 짧게도 줘봤지만 실패...

    시간은 대략 100만건 등록하는데 30분~1시간 걸렸습니다...

    Client 간에 LOCK 경쟁이 발생하는것으로 판단하고...

    어제 퇴근하면서 동시수행 개수 1개로 주고 수행하고 출근하니...

    이상없이 데이터가 들어갔습니다...

    결국은Manager에서 대량 등록을 하였습니다...

    이때 동시 수행 개수가가 1보다 클경우...

    Lock 걸려서 오류가 발생하더군요...

    결론 :

    1. 대량등록시 무조건 INDEX는 제거해준다...

    2. 적은 데이터는 1만건 정도 까지는 동시 수행으로 해도 LOCK이 안걸리고 데이터가 입력됨...(하지만 이것도 완전히 보장은 못함...)

    3. 100만건 이상 등록시...

    - csql 이용 너무 느려서 중간에 포기... 컴퓨터 사양에 따라 틀려지겠지만... 1초에 10건정도씩 들어가는거 같았습니다...

    - Manager 질의편집기에서 INSERT 문... csql 이나 피차일반...

    4, 결국 메니저상의 대량 등록 이용...(동시수행 개수 1로 해도... csql이나 질의 편집기에서 INSERT로 넣는거보다 빠름)

    - 반드시 동시 수행 개수는 1로 할것...

    5. 모든 데이터를 넣어준후에... INDEX 생성해주니 여태까지 생겼던 문제들은 발생하지 않았습니다...

  • ?
    샤롱스판 2011.05.21 04:31

    현재 4.0베타 버전으로 테스트하고 계신 것 같은데요..

    혹시 가능하시다면 위의 실데이터를 저희가 받을 수 있을까요? 파일 첨부나 대용량 메일로 주셔도 됩니다..(비밀글 처리하시고)

    정 안된다면 테이블 스키마+인덱스만이라도 알 수 있으면 저희가 재현하는데 많은 도움이 될 것 같습니다.

    1. 대량 인서트는 가급적, 스키마-데이터 인서트-인덱스 순서로 진행하시는 것이 좋습니다.

    2. LOCK -->이 부분을 저희가 재현하고 싶은데요. 꼭 부탁 드릴께요~

  • ?
    반짝이 2011.05.24 02:48

    이제야 확인했습니다...

    일단 내부적으로 협의후에 결정되면...

    메일로 연락드리도록 하겠습니다...

    연락가능한 메일주소 부탁드리겠습니다...

  • ?
    정일동 2011.05.26 01:02

    반짝이 님이 주신 환경으로 테스트를 해 보았습니다.

    CUBRID Manager R4.0 Beta는 PC에 설치하고, CUBRID 2008 R4.0 Beta는 Linux 에 설치하여서 테스트하였습니다.

     

    CUBRID Manager을 사용하여 전달해 주신 파일을 올려보니, 별 문제 없이 데이터가 입력됩니다.

     

    제가 실행한 환경이 좋아서 그런 건가요? 제가 실행하면 대략 600초 정도 걸립니다. 반짝이 님은 어떤 환경이신지 궁금합니다. 4000초가 넘게 걸린 것이 이해가 되지를 않는군요. Lock Timeout이 있었던 것일까요?

     

    제가 실행환 환경은

    1) CPU: L5520 * 16 Core (Nehalem)

    2) RAM: 24GB.

    3) DB에 할당한 버퍼: Default 설정

    4) HDD: SAS 700GB (RAID 1+0)

    입니다.

     

    참고로, 저는 시험을 3번 했는데, 모두 600초 정도 걸리더군요  


List of Articles
번호 제목 글쓴이 날짜 조회 수
공지 SQLGate for CUBRID 영구 무료 라이선스 제공 file admin 2020.04.09 4263
2996 CUBRID 2008 R4.0 Beta HA 관련 질문입니다. 6 file 반짝이 2011.05.16 25847
2995 Error extractiong support files 2 스카이 2011.05.17 8119
2994 DB 오류 1 천인 2011.05.17 9086
2993 jruby에서 jdbc 사용시 driver를 찾지못합니다 1 이니야 2011.05.17 13715
2992 4.0 beta CUBRID HA관련 문제... 1 반짝이 2011.05.18 21610
2991 CMT 사용 에러 관련 문의 드립니다. 2 file yym3364 2011.05.18 8657
» HA 구성에서 Manager로 대량등록(데이터 올리기) 확인 부탁드립니다... 5 반짝이 2011.05.19 25095
2989 php - cubird 연결 부분 오류 문제 문의 드립니다. 3 file 김우람 2011.05.19 34350
2988 SQL 에러 문의 드립니다. 1 호랑이새끼 2011.05.19 15388
2987 cubrid 7.3 -> 2008 r3.1 업그레이드 방법 1 스카이 2011.05.19 9513
2986 2008 R3.1 Connection 오류 3 file 스카이 2011.05.20 9416
2985 어떻게 해야하는건가요? 2 SoMa 2011.05.21 8231
2984 안녕하세요~ insert시 자동 증가값을 알고 싶어서 이렇게 글을 올립니다. 2 yongsu9 2011.05.21 13969
2983 테스트 한 결과 때문에 질문글 올립니다... 2 secret 반짝이 2011.05.24 17
2982 HA 문의 드립니다. 5 뽀로꾸 2011.05.26 20226
2981 트랙잭션이 시스템에 의해 중단됩니다. 1 김현성 2011.05.26 11016
2980 복제 DB가 생성이 되질 않습니다... 긴급!! 2 닉넴 2011.05.27 10661
2979 복제 지연 로그의 최대 라인수 지정 디폴트값?? 2 닉넴 2011.05.27 10322
2978 TIMESTAMP 형 data를 insert 하는 sql문이 궁금합니다. 1 yongsu9 2011.05.28 34835
2977 데이터베이스 클래스수와 성능과의 관계에 대한 질문 1 김현성 2011.06.01 9765
Board Pagination Prev 1 ... 45 46 47 48 49 50 51 52 53 54 ... 199 Next
/ 199

Contact Cubrid

대표전화 070-4077-2110 / 기술문의 070-4077-2113 / 영업문의 070-4077-2112 / Email. contact_at_cubrid.com
Contact Sales