Server 2대 HA 구성후에...
테이블까지 생성하고 대량 등록할 데이터를 xls, csv 파일로 작성합니다...
메니저에서 테이블 클릭 후에 데이터 올리기(대량등록)을 실행하면...
이게 Index 잡아놓은게 꼬이는건지... 데이터 올린게 제대로 반영이 안됩니다...
Index 잡아놓은거 삭제했다가 다시 잡아주면 다시 되긴하는데 불안불안하네요...
원래 HA에서 테이블 생성후에 Index 잡고...
Maneger에서 대량 등록하면 안되는건지 확인 부탁드립니다...
밤 늦게 답변 달아주신 남재우님 감사드립니다...
노가다로 확인 결과...(100만건 대량 등록)
Manager 상의 대량등록을 이용할 경우 Table 자체에 INDEX가 걸려 있으면 안되더군요...
INDEX가 있는 상태에서 대량 등록할 경우... INDEX 자체가 꼬여버려서... HA 절체 및 차후 입력한 데이터에 대하여 INDEX를 통한
검색시 문제가 발생!
Step 1 : Table 모든 INDEX 조건 삭제...
대량 등록의 문제임을 확인하고..
INSERT 문으로 등록... 이건 퍼포먼스 때문에 하다가 결국 포기...
cmd : csql -C -u dba -p -i contentlog.sql test@master
메니저 질의 편집기 열어놓고 INSERT 문 100만건 실행... 얘도 느림...
Step 2: 결국은 다시 대량 등록 시도...
동시 수행개수... 5... 10... 15... 80... 100... 200... 다 중간에 LOCK 걸려서 100만건중... 데이터가 랜덤하게 들어감...
5개라면... 5개 클라이언트가 20만건씩... 입력하다가... 만약 중간에 3번 Client 10만건 정도 입력후에 LOCK 으로 인하여 입력 실패시
총 90만건의 데이터가 입력되더군요...
그래서 커밋주기를 길게도 줘보고 짧게도 줘봤지만 실패...
시간은 대략 100만건 등록하는데 30분~1시간 걸렸습니다...
Client 간에 LOCK 경쟁이 발생하는것으로 판단하고...
어제 퇴근하면서 동시수행 개수 1개로 주고 수행하고 출근하니...
이상없이 데이터가 들어갔습니다...
결국은Manager에서 대량 등록을 하였습니다...
이때 동시 수행 개수가가 1보다 클경우...
Lock 걸려서 오류가 발생하더군요...
결론 :
1. 대량등록시 무조건 INDEX는 제거해준다...
2. 적은 데이터는 1만건 정도 까지는 동시 수행으로 해도 LOCK이 안걸리고 데이터가 입력됨...(하지만 이것도 완전히 보장은 못함...)
3. 100만건 이상 등록시...
- csql 이용 너무 느려서 중간에 포기... 컴퓨터 사양에 따라 틀려지겠지만... 1초에 10건정도씩 들어가는거 같았습니다...
- Manager 질의편집기에서 INSERT 문... csql 이나 피차일반...
4, 결국 메니저상의 대량 등록 이용...(동시수행 개수 1로 해도... csql이나 질의 편집기에서 INSERT로 넣는거보다 빠름)
- 반드시 동시 수행 개수는 1로 할것...
5. 모든 데이터를 넣어준후에... INDEX 생성해주니 여태까지 생겼던 문제들은 발생하지 않았습니다...
현재 4.0베타 버전으로 테스트하고 계신 것 같은데요..
혹시 가능하시다면 위의 실데이터를 저희가 받을 수 있을까요? 파일 첨부나 대용량 메일로 주셔도 됩니다..(비밀글 처리하시고)
정 안된다면 테이블 스키마+인덱스만이라도 알 수 있으면 저희가 재현하는데 많은 도움이 될 것 같습니다.
1. 대량 인서트는 가급적, 스키마-데이터 인서트-인덱스 순서로 진행하시는 것이 좋습니다.
2. LOCK -->이 부분을 저희가 재현하고 싶은데요. 꼭 부탁 드릴께요~
이제야 확인했습니다...
일단 내부적으로 협의후에 결정되면...
메일로 연락드리도록 하겠습니다...
연락가능한 메일주소 부탁드리겠습니다...
반짝이 님이 주신 환경으로 테스트를 해 보았습니다.
CUBRID Manager R4.0 Beta는 PC에 설치하고, CUBRID 2008 R4.0 Beta는 Linux 에 설치하여서 테스트하였습니다.
CUBRID Manager을 사용하여 전달해 주신 파일을 올려보니, 별 문제 없이 데이터가 입력됩니다.
제가 실행한 환경이 좋아서 그런 건가요? 제가 실행하면 대략 600초 정도 걸립니다. 반짝이 님은 어떤 환경이신지 궁금합니다. 4000초가 넘게 걸린 것이 이해가 되지를 않는군요. Lock Timeout이 있었던 것일까요?
제가 실행환 환경은
1) CPU: L5520 * 16 Core (Nehalem)
2) RAM: 24GB.
3) DB에 할당한 버퍼: Default 설정
4) HDD: SAS 700GB (RAID 1+0)
입니다.
참고로, 저는 시험을 3번 했는데, 모두 600초 정도 걸리더군요
기본적으로 HA 구성시 대량의 데이터 입력은 권장하지 않고 있습니다.
일단 아래 질문 내용에 대하여 같은 선상에서 개발팀에서 확인후에 알려드리도록 하겠습니다.