Background Image

FORUM

조회 수 6863 추천 수 0 댓글 3
?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 댓글로 가기 인쇄

* 질문 등록 시 다음의 내용을 꼭 기입하여 주세요.
OS
Window7 32bit, Linux 64bit 등
CUBRID Ver.
[cubrid_rel] 수행 결과
CUBRID TOOL Ver.
[도움말]-[버전정보] 확인
응용 환경(API)
java, php, odbc 등 입력

* CUBRID 응용 오류, SQL 오류 또는 SQL 튜닝 관련된 문의는 반드시 다음의 내용을 추가해 주세요. 비밀글이나 비밀 댓글도 가능합니다.
* 저희가 상황을 이해하고, 재현이 가능해야 알 수 있는 문제들이 많습니다. 가능한 정보/정황들을 부탁합니다.
에러 내용 및 재현 방법 재현 가능한 Source와 SQL
관련 테이블(인덱스, 키정보 포함) 정보 CUBRID 홈 디렉토리 아래 log 디렉토리 압축


-------------- 아래에 질문 사항을 기입해 주세요. ------------------------------------------------------------------------
안녕하세요 큐브리드 샤드에 대해서 질문이 있습니다.

현재 자바로 샤드 데이터베이스 4개에 데이터를 insert하기 위해 prestatement를 사용하는데요

데이터를 1만개 넣는다고 가정을 하면

for( int i = 0 ; i < 10000; i++){
pstmt.setInt();

pstmt.setString();

등등 총 16개의 애트리뷰트가 있습니다.

pstmt.executeUpdate();

connection.commit();

}

이런식으로 매번 커밋을 해주는데요 이렇게 하니깐 insert시간이 상당히 많이 걸리더라구요.. 

1만개 넣는데 8분정도 10만개는 1시간이 넘개 걸립니다. 그래서 executeBatch를 사용하려고하니 릴리즈노트에 

샤드 데이터베이스에서는 사용이 안된다고 에러가 떠서 해결방법을 모르겠네요ㅜㅜ


for( int i = 0 ; i < 10000; i++){
pstmt.setInt();

pstmt.setString();

등등 총 16개의 애트리뷰트가 있습니다.

pstmt.executeUpdate();

}

connection.commit();

for문 밖에 커밋을 한번 하고싶은데 이렇게하면 Cannot communicate with the broker or received invalid packet 에러가 뜨구요...


insert 시간을 줄이는 다른 방법 없을까요?? 제발 도와주세요ㅜㅜ


  • ?
    이용미 2014.11.10 20:56

    안녕하세요.

    말씀하신 것처럼, 건건이 Commit 이외의 한꺼번에 Commit을 수행하거나, 특정 건수마다 Commit을 수행하는 것은 Shard 구조에서 불가능합니다.

    하나의 트랜잭션은 오진 하나의 shard DB에서만 수행이 가능한데, 위 같은 경우, 하나의 트랜잭션이 여러개의 shard DB에서 수행하려고 하는 것이기 때문입니다.(참고 : 매뉴얼의  SHARD 제약사항)

    추가로, 사내에서 10000건을 INSERT 하는 경우, 1분 이내에 종료되었습니다. 각 응용 및 서버 사양마다 차이는 있겠지만, 8분 소요는 너무 긴 것 같은데, SQL 로그를 확인하시어 원인 확인을 해보는 것도 도움이 될 것으로 보입니다.

    감사합니다.

  • ?
    석이 2014.11.11 01:29

    감사합니다 로그를 확인해보니 이렇게 나옵니다. 


    총 16개의 에트리뷰트 입니다.


    14-11-09 17:57:22.645 (2) bind 1 : INT 590

    14-11-09 17:57:22.645 (2) bind 2 : INT 6919

    14-11-09 17:57:22.645 (2) bind 3 : INT 0

    14-11-09 17:57:22.645 (2) bind 4 : INT 0

    14-11-09 17:57:22.645 (2) bind 5 : INT 0

    14-11-09 17:57:22.645 (2) bind 6 : INT 0

    14-11-09 17:57:22.645 (2) bind 7 : INT 0

    14-11-09 17:57:22.645 (2) bind 8 : INT 0

    14-11-09 17:57:22.645 (2) bind 9 : INT 0

    14-11-09 17:57:22.645 (2) bind 10 : INT 0

    14-11-09 17:57:22.645 (2) bind 11 : INT 0

    14-11-09 17:57:22.645 (2) bind 12 : INT 1

    14-11-09 17:57:22.645 (2) bind 13 : INT 2

    14-11-09 17:57:22.645 (2) bind 14 : VARCHAR (53)LxxxxxxxxxxxxxxxxxxxxxxxxxGxxxxxxxxxxxxxxxxxxxxxxxxO

    14-11-09 17:57:22.645 (2) bind 15 : VARCHAR (53)AxxxxxxxxxxxxxxxxxxxxxxxxxAxxxxxxxxxxxxxxxxxxxxxxxxA

    14-11-09 17:57:22.645 (2) bind 16 : VARCHAR (53)AxxxxxxxxxxxxxxxxxxxxxxxxxAxxxxxxxxxxxxxxxxxxxxxxxxA

    14-11-09 17:57:22.646 (2) execute 0 tuple 1 time 0.001

    14-11-09 17:57:22.648 (0) end_tran COMMIT

    14-11-09 17:57:22.667 (0) end_tran 0 time 0.020

    14-11-09 17:57:22.667 (0) *** elapsed time 0.023


    맨 마지막 부분에 commit됬다고 로그가 뜨는것도 있고

    14-11-09 18:54:33.648 (6) execute 0 tuple 1 time 0.000
    14-11-09 18:54:33.650 (0) COMMUNICATION ERROR net_read_header()
    14-11-09 18:54:33.651 (0) disconnect

    이렇게 COMMUNICATION ERROR net_read_header()뜨는 것도 있는데 이 에러는 어떻게 해결해야 하는지 알 수 있을까요??
    그리고 속도가 느린것이 이것 떄문일까요? 아니면 마지막에 String부분에서 53바이트를 사용하는데 혹시 스트링 바이트가 너무 많이서 느린걸까요??
  • ?
    이용미 2014.11.11 01:48

    [COMMUNICATION ERROR net_read_header()] 오류 발생 원인은 다음과 같습니다.

    해당 오류가 발생하기 전 까지는 A Shard DB에 데이터 입력이 되기 때문에 문제가 발생하지 않습니다. 

    그러나 지속적인 데이터 입력으로, Shard_key.txt 파일에서 지정한 해쉬값에 따라 특정 데이터부터 B Shard DB에 데이터가 입력되려고 하자, 위에서 말씀드린 Shard의 제약 조건으로 인하여 말씀하신 오류가 발생한 것입니다.(하나의 트랜잭션 내에서는 하나의 Shard DB에 대해서만 작업 가능)

    말씀하신, 스트링 길이, 속도는 위 오류가 발생하는데 영향을 미치지 않으니 참고해주세요.

    감사합니다.


List of Articles
번호 제목 글쓴이 날짜 조회 수
공지 CUBRID 사용자를 위한 DBeaver 도구 출시 안내 admin 2024.04.23 49
공지 SQLGate for CUBRID 영구 무료 라이선스 제공 file admin 2020.04.09 4458
2014 데이터베이스 백업된 파일로 복구하기 1 오명일 2014.12.15 5213
2013 테이블 복구 문의합니다. 1 찌후맘 2014.12.11 6862
2012 쿼리수행시 Lock 관련 문의 2 nagh 2014.12.11 11172
2011 설치후 오류 메시지 3 moon 2014.12.10 5257
2010 여러개 데이터 한번에 insert 문 수행하는 방법 1 whwpdn 2014.12.10 12332
2009 하나의 노드에 여러개의 db가 있을때, ha 구성을 안한 db는 사용하지 못하는 문제. 1 깜장매2 2014.12.09 5713
2008 PreparedStatement 변수 바인딩 1 접때그넘 2014.12.06 7827
2007 CUBRID HA 구성시 6 깜장매2 2014.12.05 8178
2006 restored db 에러 1 secret 김수민 2014.12.03 8
2005 external Procedure 기능 문의드립니다. 1 secret dwpark 2014.12.03 5
2004 db다운 문제 1 secret chocob 2014.12.01 8
2003 order by 인덱스 관련 1 viny6 2014.11.29 4466
2002 쿼리 에러 1 secret 김수민 2014.11.27 11
2001 odbc접속 에러 확인 요청 1 secret nsp11 2014.11.25 75
2000 서버다운 문의 4 secret chocob 2014.11.24 13
1999 mssql데이터마이그레이션 관련 문의 수하나1 2014.11.21 7306
1998 cmt 이용시 테이블 새로 생성교체 옵션문의 1 chocob 2014.11.21 4858
1997 wp를 큐브리드에서 설치할수 없나요? 2 쿠키 2014.11.20 4043
1996 리눅스에서 cubrid 사용하는데 hosts 파일 권한 문제 1 QA 2014.11.20 9278
1995 replace함수 관련 문의 1 수하나1 2014.11.19 7617
Board Pagination Prev 1 ... 95 96 97 98 99 100 101 102 103 104 ... 200 Next
/ 200

Contact Cubrid

대표전화 070-4077-2110 / 기술문의 070-4077-2113 / 영업문의 070-4077-2112 / Email. contact_at_cubrid.com
Contact Sales