Background Image

FORUM

?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 댓글로 가기 인쇄

Server 2대 HA 구성후에...

테이블까지 생성하고 대량 등록할 데이터를 xls, csv 파일로 작성합니다...

메니저에서 테이블 클릭 후에 데이터 올리기(대량등록)을 실행하면...

이게 Index 잡아놓은게 꼬이는건지... 데이터 올린게 제대로 반영이 안됩니다...

Index 잡아놓은거 삭제했다가 다시 잡아주면 다시 되긴하는데 불안불안하네요...

 

원래 HA에서 테이블 생성후에 Index 잡고...

Maneger에서 대량 등록하면 안되는건지 확인 부탁드립니다...

  • ?
    남재우 2011.05.20 06:50

    기본적으로 HA 구성시 대량의 데이터 입력은 권장하지 않고 있습니다.

    일단 아래 질문 내용에 대하여 같은 선상에서 개발팀에서 확인후에 알려드리도록 하겠습니다.

  • ?
    반짝이 2011.05.20 18:46

    밤 늦게 답변 달아주신 남재우님 감사드립니다...

     

    노가다로 확인 결과...(100만건 대량 등록)

    Manager 상의 대량등록을 이용할 경우 Table 자체에 INDEX가 걸려 있으면 안되더군요...

    INDEX가 있는 상태에서 대량 등록할 경우... INDEX 자체가 꼬여버려서... HA 절체 및 차후 입력한 데이터에 대하여 INDEX를 통한

    검색시 문제가 발생!

    Step 1 : Table 모든 INDEX 조건 삭제...

    대량 등록의 문제임을 확인하고..

    INSERT 문으로 등록... 이건 퍼포먼스 때문에 하다가 결국 포기...

    cmd : csql -C -u dba -p -i contentlog.sql test@master

    메니저 질의 편집기 열어놓고 INSERT 문 100만건 실행... 얘도 느림...

    Step 2: 결국은 다시 대량 등록 시도...

    동시 수행개수... 5... 10... 15... 80... 100... 200... 다 중간에 LOCK 걸려서 100만건중... 데이터가 랜덤하게 들어감...

    5개라면... 5개 클라이언트가 20만건씩... 입력하다가... 만약 중간에 3번 Client 10만건 정도 입력후에 LOCK 으로 인하여 입력 실패시

    총 90만건의 데이터가 입력되더군요...

    그래서 커밋주기를 길게도 줘보고 짧게도 줘봤지만 실패...

    시간은 대략 100만건 등록하는데 30분~1시간 걸렸습니다...

    Client 간에 LOCK 경쟁이 발생하는것으로 판단하고...

    어제 퇴근하면서 동시수행 개수 1개로 주고 수행하고 출근하니...

    이상없이 데이터가 들어갔습니다...

    결국은Manager에서 대량 등록을 하였습니다...

    이때 동시 수행 개수가가 1보다 클경우...

    Lock 걸려서 오류가 발생하더군요...

    결론 :

    1. 대량등록시 무조건 INDEX는 제거해준다...

    2. 적은 데이터는 1만건 정도 까지는 동시 수행으로 해도 LOCK이 안걸리고 데이터가 입력됨...(하지만 이것도 완전히 보장은 못함...)

    3. 100만건 이상 등록시...

    - csql 이용 너무 느려서 중간에 포기... 컴퓨터 사양에 따라 틀려지겠지만... 1초에 10건정도씩 들어가는거 같았습니다...

    - Manager 질의편집기에서 INSERT 문... csql 이나 피차일반...

    4, 결국 메니저상의 대량 등록 이용...(동시수행 개수 1로 해도... csql이나 질의 편집기에서 INSERT로 넣는거보다 빠름)

    - 반드시 동시 수행 개수는 1로 할것...

    5. 모든 데이터를 넣어준후에... INDEX 생성해주니 여태까지 생겼던 문제들은 발생하지 않았습니다...

  • ?
    샤롱스판 2011.05.21 04:31

    현재 4.0베타 버전으로 테스트하고 계신 것 같은데요..

    혹시 가능하시다면 위의 실데이터를 저희가 받을 수 있을까요? 파일 첨부나 대용량 메일로 주셔도 됩니다..(비밀글 처리하시고)

    정 안된다면 테이블 스키마+인덱스만이라도 알 수 있으면 저희가 재현하는데 많은 도움이 될 것 같습니다.

    1. 대량 인서트는 가급적, 스키마-데이터 인서트-인덱스 순서로 진행하시는 것이 좋습니다.

    2. LOCK -->이 부분을 저희가 재현하고 싶은데요. 꼭 부탁 드릴께요~

  • ?
    반짝이 2011.05.24 02:48

    이제야 확인했습니다...

    일단 내부적으로 협의후에 결정되면...

    메일로 연락드리도록 하겠습니다...

    연락가능한 메일주소 부탁드리겠습니다...

  • ?
    정일동 2011.05.26 01:02

    반짝이 님이 주신 환경으로 테스트를 해 보았습니다.

    CUBRID Manager R4.0 Beta는 PC에 설치하고, CUBRID 2008 R4.0 Beta는 Linux 에 설치하여서 테스트하였습니다.

     

    CUBRID Manager을 사용하여 전달해 주신 파일을 올려보니, 별 문제 없이 데이터가 입력됩니다.

     

    제가 실행한 환경이 좋아서 그런 건가요? 제가 실행하면 대략 600초 정도 걸립니다. 반짝이 님은 어떤 환경이신지 궁금합니다. 4000초가 넘게 걸린 것이 이해가 되지를 않는군요. Lock Timeout이 있었던 것일까요?

     

    제가 실행환 환경은

    1) CPU: L5520 * 16 Core (Nehalem)

    2) RAM: 24GB.

    3) DB에 할당한 버퍼: Default 설정

    4) HDD: SAS 700GB (RAID 1+0)

    입니다.

     

    참고로, 저는 시험을 3번 했는데, 모두 600초 정도 걸리더군요  


List of Articles
번호 제목 글쓴이 날짜 조회 수
공지 SQLGate for CUBRID 영구 무료 라이선스 제공 file admin 2020.04.09 4288
3916 프로세스 정상동작 문의 드립니다. 2 file 윤희서 2009.01.23 33632
3915 우분투에서 php + 큐브리드를 설치하고 있습니다. 2 희야 2009.01.25 21333
3914 우분투서버에서 php모듈 설치때 1 NoisyWalker 2009.01.28 14212
3913 혹시 MMDB 지원하나요? 1 tekkal 2009.01.31 17476
3912 Clob Type. 1 tekkal 2009.01.31 18578
3911 PHP 에서 cubrid_connect 실패. 1 별의목소리 2009.02.03 14378
3910 solaris와 hp-unix 지원 관련 2 tekkal 2009.02.03 16019
3909 C/C++ 지원하는 Connection Pool API 는 없나요? 2 tekkal 2009.02.03 21006
3908 DWMAPI.dll 관련 오류 2 file GGG특별대원 2009.02.04 33282
3907 OLEDB insert관련 질문입니다. 1 garfield39 2009.02.05 16332
3906 cubrid manager에서 DB 권한 2 2~40자? 2~40byte? 2009.02.07 13883
3905 [replication] 성능에 대한 질문입니다. 2 kkckc 2009.02.10 16665
3904 [질문]큐브리드 설치관련입니다. 2 file 야매코더 2009.02.12 13515
3903 cubrid 2008 windows버전에서의 CUBRID_Service_Tray 실행오류 2 마비토 2009.02.12 14155
3902 프로그램 개발 후 배포 관련 3 늘푸른거북이 2009.02.12 25363
3901 OLEDB 연결 시 에러 발생 4 늘푸른거북이 2009.02.12 22247
3900 큐브리드 메니져로 쿼리 결과 조회시 3 ApiClasser 2009.02.13 13543
3899 VB ADO 사용 관련 문의를 드립니다. 1 늘푸른거북이 2009.02.13 17374
3898 [질문]재설치 실패... 2 file 야매코더 2009.02.13 12775
3897 큐브리드 메니져로 쿼리 결과 조회시#2 1 file ApiClasser 2009.02.14 12851
Board Pagination Prev 1 2 3 4 5 6 7 8 9 10 ... 199 Next
/ 199

Contact Cubrid

대표전화 070-4077-2110 / 기술문의 070-4077-2113 / 영업문의 070-4077-2112 / Email. contact_at_cubrid.com
Contact Sales