Background Image

FORUM

조회 수 6861 추천 수 0 댓글 3
?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 댓글로 가기 인쇄

* 질문 등록 시 다음의 내용을 꼭 기입하여 주세요.
OS
Window7 32bit, Linux 64bit 등
CUBRID Ver.
[cubrid_rel] 수행 결과
CUBRID TOOL Ver.
[도움말]-[버전정보] 확인
응용 환경(API)
java, php, odbc 등 입력

* CUBRID 응용 오류, SQL 오류 또는 SQL 튜닝 관련된 문의는 반드시 다음의 내용을 추가해 주세요. 비밀글이나 비밀 댓글도 가능합니다.
* 저희가 상황을 이해하고, 재현이 가능해야 알 수 있는 문제들이 많습니다. 가능한 정보/정황들을 부탁합니다.
에러 내용 및 재현 방법 재현 가능한 Source와 SQL
관련 테이블(인덱스, 키정보 포함) 정보 CUBRID 홈 디렉토리 아래 log 디렉토리 압축


-------------- 아래에 질문 사항을 기입해 주세요. ------------------------------------------------------------------------
안녕하세요 큐브리드 샤드에 대해서 질문이 있습니다.

현재 자바로 샤드 데이터베이스 4개에 데이터를 insert하기 위해 prestatement를 사용하는데요

데이터를 1만개 넣는다고 가정을 하면

for( int i = 0 ; i < 10000; i++){
pstmt.setInt();

pstmt.setString();

등등 총 16개의 애트리뷰트가 있습니다.

pstmt.executeUpdate();

connection.commit();

}

이런식으로 매번 커밋을 해주는데요 이렇게 하니깐 insert시간이 상당히 많이 걸리더라구요.. 

1만개 넣는데 8분정도 10만개는 1시간이 넘개 걸립니다. 그래서 executeBatch를 사용하려고하니 릴리즈노트에 

샤드 데이터베이스에서는 사용이 안된다고 에러가 떠서 해결방법을 모르겠네요ㅜㅜ


for( int i = 0 ; i < 10000; i++){
pstmt.setInt();

pstmt.setString();

등등 총 16개의 애트리뷰트가 있습니다.

pstmt.executeUpdate();

}

connection.commit();

for문 밖에 커밋을 한번 하고싶은데 이렇게하면 Cannot communicate with the broker or received invalid packet 에러가 뜨구요...


insert 시간을 줄이는 다른 방법 없을까요?? 제발 도와주세요ㅜㅜ


  • ?
    이용미 2014.11.10 20:56

    안녕하세요.

    말씀하신 것처럼, 건건이 Commit 이외의 한꺼번에 Commit을 수행하거나, 특정 건수마다 Commit을 수행하는 것은 Shard 구조에서 불가능합니다.

    하나의 트랜잭션은 오진 하나의 shard DB에서만 수행이 가능한데, 위 같은 경우, 하나의 트랜잭션이 여러개의 shard DB에서 수행하려고 하는 것이기 때문입니다.(참고 : 매뉴얼의  SHARD 제약사항)

    추가로, 사내에서 10000건을 INSERT 하는 경우, 1분 이내에 종료되었습니다. 각 응용 및 서버 사양마다 차이는 있겠지만, 8분 소요는 너무 긴 것 같은데, SQL 로그를 확인하시어 원인 확인을 해보는 것도 도움이 될 것으로 보입니다.

    감사합니다.

  • ?
    석이 2014.11.11 01:29

    감사합니다 로그를 확인해보니 이렇게 나옵니다. 


    총 16개의 에트리뷰트 입니다.


    14-11-09 17:57:22.645 (2) bind 1 : INT 590

    14-11-09 17:57:22.645 (2) bind 2 : INT 6919

    14-11-09 17:57:22.645 (2) bind 3 : INT 0

    14-11-09 17:57:22.645 (2) bind 4 : INT 0

    14-11-09 17:57:22.645 (2) bind 5 : INT 0

    14-11-09 17:57:22.645 (2) bind 6 : INT 0

    14-11-09 17:57:22.645 (2) bind 7 : INT 0

    14-11-09 17:57:22.645 (2) bind 8 : INT 0

    14-11-09 17:57:22.645 (2) bind 9 : INT 0

    14-11-09 17:57:22.645 (2) bind 10 : INT 0

    14-11-09 17:57:22.645 (2) bind 11 : INT 0

    14-11-09 17:57:22.645 (2) bind 12 : INT 1

    14-11-09 17:57:22.645 (2) bind 13 : INT 2

    14-11-09 17:57:22.645 (2) bind 14 : VARCHAR (53)LxxxxxxxxxxxxxxxxxxxxxxxxxGxxxxxxxxxxxxxxxxxxxxxxxxO

    14-11-09 17:57:22.645 (2) bind 15 : VARCHAR (53)AxxxxxxxxxxxxxxxxxxxxxxxxxAxxxxxxxxxxxxxxxxxxxxxxxxA

    14-11-09 17:57:22.645 (2) bind 16 : VARCHAR (53)AxxxxxxxxxxxxxxxxxxxxxxxxxAxxxxxxxxxxxxxxxxxxxxxxxxA

    14-11-09 17:57:22.646 (2) execute 0 tuple 1 time 0.001

    14-11-09 17:57:22.648 (0) end_tran COMMIT

    14-11-09 17:57:22.667 (0) end_tran 0 time 0.020

    14-11-09 17:57:22.667 (0) *** elapsed time 0.023


    맨 마지막 부분에 commit됬다고 로그가 뜨는것도 있고

    14-11-09 18:54:33.648 (6) execute 0 tuple 1 time 0.000
    14-11-09 18:54:33.650 (0) COMMUNICATION ERROR net_read_header()
    14-11-09 18:54:33.651 (0) disconnect

    이렇게 COMMUNICATION ERROR net_read_header()뜨는 것도 있는데 이 에러는 어떻게 해결해야 하는지 알 수 있을까요??
    그리고 속도가 느린것이 이것 떄문일까요? 아니면 마지막에 String부분에서 53바이트를 사용하는데 혹시 스트링 바이트가 너무 많이서 느린걸까요??
  • ?
    이용미 2014.11.11 01:48

    [COMMUNICATION ERROR net_read_header()] 오류 발생 원인은 다음과 같습니다.

    해당 오류가 발생하기 전 까지는 A Shard DB에 데이터 입력이 되기 때문에 문제가 발생하지 않습니다. 

    그러나 지속적인 데이터 입력으로, Shard_key.txt 파일에서 지정한 해쉬값에 따라 특정 데이터부터 B Shard DB에 데이터가 입력되려고 하자, 위에서 말씀드린 Shard의 제약 조건으로 인하여 말씀하신 오류가 발생한 것입니다.(하나의 트랜잭션 내에서는 하나의 Shard DB에 대해서만 작업 가능)

    말씀하신, 스트링 길이, 속도는 위 오류가 발생하는데 영향을 미치지 않으니 참고해주세요.

    감사합니다.


List of Articles
번호 제목 글쓴이 날짜 조회 수
공지 SQLGate for CUBRID 영구 무료 라이선스 제공 file admin 2020.04.09 4444
1987 CLOB 포함 테이블 내보내기/가져오기 좀 도와주세요 ㅠㅠㅠ 1 유릉 2014.11.10 10687
» cubrid shard 질문있습니다 ㅜㅜ봐주세요!!! 3 석이 2014.11.10 6861
1985 [긴급] 캐릭터셋 관련 문의드립니다.. (답글 확인요망) 4 드팬디 2014.11.08 6416
1984 CLOB 내보내기 질문입니다ㅠ..ㅠ 2 유릉 2014.11.07 9312
1983 특정테이블 조회시 속도 저하문의 2 secret chocob 2014.11.07 13
1982 ORDERBY_NUM() 사용시 rownum 번호가 순서대로 출력이 안됩니다. 3 개발장 2014.11.06 19409
1981 디비 다운 로그 확인요청드립니다. 2 키위 2014.11.06 7049
1980 UPDATE 다중 테이블 질문드립니다. 2 유릉 2014.11.06 7232
1979 배포본 라이센스 관련 문의 드립니다~ 1 PurG 2014.11.06 5519
1978 저장프로시저 관련 문의 2 toy2508 2014.11.04 8197
1977 DemoDB 관련 문의 1 toy2508 2014.11.04 3902
1976 Cubrid Manager 사용문의 2 file 이웃집소년 2014.11.04 4343
1975 멀티스레드 환경에서 update 문의 3 발돋움 2014.11.03 6197
1974 ADO.NET에서 자바 저장함수 호출 2 kdknim21 2014.11.01 8420
1973 Java 저장 함수/프로시저에서 Select 결과 출력 5 secret kdknim21 2014.11.01 12
1972 Java Stored Procedure Classpath Setting 방법 문의 1 nagh 2014.10.30 7680
1971 java stored procedure Classpath Setting 1 nagh 2014.10.30 5796
1970 에러 메시지 문의드립니다. 4 file dashbell 2014.10.27 4065
1969 가져오기, 내보내기 질문 3 joke7 2014.10.24 8791
1968 모든 파일 결과를 내보내기 질문 1 joke7 2014.10.22 4103
Board Pagination Prev 1 ... 96 97 98 99 100 101 102 103 104 105 ... 200 Next
/ 200

Contact Cubrid

대표전화 070-4077-2110 / 기술문의 070-4077-2113 / 영업문의 070-4077-2112 / Email. contact_at_cubrid.com
Contact Sales