Background Image

FORUM

?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 댓글로 가기 인쇄

Server 2대 HA 구성후에...

테이블까지 생성하고 대량 등록할 데이터를 xls, csv 파일로 작성합니다...

메니저에서 테이블 클릭 후에 데이터 올리기(대량등록)을 실행하면...

이게 Index 잡아놓은게 꼬이는건지... 데이터 올린게 제대로 반영이 안됩니다...

Index 잡아놓은거 삭제했다가 다시 잡아주면 다시 되긴하는데 불안불안하네요...

 

원래 HA에서 테이블 생성후에 Index 잡고...

Maneger에서 대량 등록하면 안되는건지 확인 부탁드립니다...

  • ?
    남재우 2011.05.20 06:50

    기본적으로 HA 구성시 대량의 데이터 입력은 권장하지 않고 있습니다.

    일단 아래 질문 내용에 대하여 같은 선상에서 개발팀에서 확인후에 알려드리도록 하겠습니다.

  • ?
    반짝이 2011.05.20 18:46

    밤 늦게 답변 달아주신 남재우님 감사드립니다...

     

    노가다로 확인 결과...(100만건 대량 등록)

    Manager 상의 대량등록을 이용할 경우 Table 자체에 INDEX가 걸려 있으면 안되더군요...

    INDEX가 있는 상태에서 대량 등록할 경우... INDEX 자체가 꼬여버려서... HA 절체 및 차후 입력한 데이터에 대하여 INDEX를 통한

    검색시 문제가 발생!

    Step 1 : Table 모든 INDEX 조건 삭제...

    대량 등록의 문제임을 확인하고..

    INSERT 문으로 등록... 이건 퍼포먼스 때문에 하다가 결국 포기...

    cmd : csql -C -u dba -p -i contentlog.sql test@master

    메니저 질의 편집기 열어놓고 INSERT 문 100만건 실행... 얘도 느림...

    Step 2: 결국은 다시 대량 등록 시도...

    동시 수행개수... 5... 10... 15... 80... 100... 200... 다 중간에 LOCK 걸려서 100만건중... 데이터가 랜덤하게 들어감...

    5개라면... 5개 클라이언트가 20만건씩... 입력하다가... 만약 중간에 3번 Client 10만건 정도 입력후에 LOCK 으로 인하여 입력 실패시

    총 90만건의 데이터가 입력되더군요...

    그래서 커밋주기를 길게도 줘보고 짧게도 줘봤지만 실패...

    시간은 대략 100만건 등록하는데 30분~1시간 걸렸습니다...

    Client 간에 LOCK 경쟁이 발생하는것으로 판단하고...

    어제 퇴근하면서 동시수행 개수 1개로 주고 수행하고 출근하니...

    이상없이 데이터가 들어갔습니다...

    결국은Manager에서 대량 등록을 하였습니다...

    이때 동시 수행 개수가가 1보다 클경우...

    Lock 걸려서 오류가 발생하더군요...

    결론 :

    1. 대량등록시 무조건 INDEX는 제거해준다...

    2. 적은 데이터는 1만건 정도 까지는 동시 수행으로 해도 LOCK이 안걸리고 데이터가 입력됨...(하지만 이것도 완전히 보장은 못함...)

    3. 100만건 이상 등록시...

    - csql 이용 너무 느려서 중간에 포기... 컴퓨터 사양에 따라 틀려지겠지만... 1초에 10건정도씩 들어가는거 같았습니다...

    - Manager 질의편집기에서 INSERT 문... csql 이나 피차일반...

    4, 결국 메니저상의 대량 등록 이용...(동시수행 개수 1로 해도... csql이나 질의 편집기에서 INSERT로 넣는거보다 빠름)

    - 반드시 동시 수행 개수는 1로 할것...

    5. 모든 데이터를 넣어준후에... INDEX 생성해주니 여태까지 생겼던 문제들은 발생하지 않았습니다...

  • ?
    샤롱스판 2011.05.21 04:31

    현재 4.0베타 버전으로 테스트하고 계신 것 같은데요..

    혹시 가능하시다면 위의 실데이터를 저희가 받을 수 있을까요? 파일 첨부나 대용량 메일로 주셔도 됩니다..(비밀글 처리하시고)

    정 안된다면 테이블 스키마+인덱스만이라도 알 수 있으면 저희가 재현하는데 많은 도움이 될 것 같습니다.

    1. 대량 인서트는 가급적, 스키마-데이터 인서트-인덱스 순서로 진행하시는 것이 좋습니다.

    2. LOCK -->이 부분을 저희가 재현하고 싶은데요. 꼭 부탁 드릴께요~

  • ?
    반짝이 2011.05.24 02:48

    이제야 확인했습니다...

    일단 내부적으로 협의후에 결정되면...

    메일로 연락드리도록 하겠습니다...

    연락가능한 메일주소 부탁드리겠습니다...

  • ?
    정일동 2011.05.26 01:02

    반짝이 님이 주신 환경으로 테스트를 해 보았습니다.

    CUBRID Manager R4.0 Beta는 PC에 설치하고, CUBRID 2008 R4.0 Beta는 Linux 에 설치하여서 테스트하였습니다.

     

    CUBRID Manager을 사용하여 전달해 주신 파일을 올려보니, 별 문제 없이 데이터가 입력됩니다.

     

    제가 실행한 환경이 좋아서 그런 건가요? 제가 실행하면 대략 600초 정도 걸립니다. 반짝이 님은 어떤 환경이신지 궁금합니다. 4000초가 넘게 걸린 것이 이해가 되지를 않는군요. Lock Timeout이 있었던 것일까요?

     

    제가 실행환 환경은

    1) CPU: L5520 * 16 Core (Nehalem)

    2) RAM: 24GB.

    3) DB에 할당한 버퍼: Default 설정

    4) HDD: SAS 700GB (RAID 1+0)

    입니다.

     

    참고로, 저는 시험을 3번 했는데, 모두 600초 정도 걸리더군요  


List of Articles
번호 제목 글쓴이 날짜 조회 수
공지 SQLGate for CUBRID를 사용해 보시기 바랍니다!!! file admin 2019.07.31 492
3031 Java sp에서 Sybase DB연결시 오류. 2 young 2010.01.12 25962
3030 오라클과의 호환성과 대용량 검색 속도 1 오004 2009.12.16 25932
3029 Cannot connect to a broker 1 sjnoh 2010.08.10 25922
3028 CUBRID 2008 R4.0 Beta HA 관련 질문입니다. 6 file 반짝이 2011.05.16 25770
3027 CUBRID 2008 데이터베이스 사용자 권한상속 에러. 6 윤희서 2009.01.17 25712
3026 HA관련 CUBRID Manager 에서 대시보드 문의드립니다... 2 file 반짝이 2011.07.13 25671
3025 VARCHAR 타입에 관한 질문. 2 김우람 2009.02.26 25505
3024 cubrid.jdbc.driver.CUBRIDException: 4 아르미 2009.04.03 25435
3023 프로그램 개발 후 배포 관련 3 늘푸른거북이 2009.02.12 25238
3022 중복데이터 제거 방법 좀 알려주세요. 11 김경아 2009.05.26 25155
» HA 구성에서 Manager로 대량등록(데이터 올리기) 확인 부탁드립니다... 5 반짝이 2011.05.19 24943
3020 ROW_NUMBER() OVER(PARTITION BY 어떻게..해야 할까요??? 5 초식곰 2011.09.09 24922
3019 datetime 값을 to_date 로 형변환 방법좀 알려주세요 1 황선욱 2013.08.20 24793
3018 mssql2005 --> cubrid 로 마이그레이션 오류 답변 부탁 드립니다. 2 Philip Park 2010.01.14 24686
3017 varchar의 최대길이가 어떻게 되나요? 2 미스트 2009.09.07 24675
3016 오라클의 Aggregation Function(집합 함수) 관련 문의 2 샤방석이 2013.11.14 24459
3015 HA구성에서 백업시 보관 로그 제거(lgar) 관련 문의드립니다. 2 반짝이 2012.01.09 24392
3014 4.0 HA ha_db_list 설정 관련 질문드립니다. 7 반짝이 2011.07.08 24265
3013 Cubrid에 iBATIS를 붙이고 있는중인데요... 2 미야프 2010.05.04 24160
3012 HA관련 추가 문제 답변부탁립니다... 3 file 반짝이 2011.12.29 24087
Board Pagination Prev 1 2 3 4 5 6 7 8 9 10 ... 155 Next
/ 155

Contact Cubrid

대표전화 070-4077-2110 / 기술문의 070-4077-2147 / 영업문의 070-4077-2112 / Email. contact_at_cubrid.com
Contact Sales