Background Image

FORUM

조회 수 1141 추천 수 0 댓글 2
?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 댓글로 가기 인쇄

* 질문 등록 시 다음의 내용을 꼭 기입하여 주세요.
OS
CENTOS7
CUBRID Ver.
CUBRID 10.1 (10.1.27694-63632b2) 64bit
CUBRID TOOL Ver.
CUBRID Manager 10.1.0.000
응용 환경(API)
java(jdk 1.8.0_212)

* CUBRID 응용 오류, SQL 오류 또는 SQL 튜닝 관련된 문의는 반드시 다음의 내용을 추가해 주세요. 비밀글이나 비밀 댓글도 가능합니다.
* 저희가 상황을 이해하고, 재현이 가능해야 알 수 있는 문제들이 많습니다. 가능한 정보/정황들을 부탁합니다.
에러 내용 및 재현 방법 재현 가능한 Source와 SQL
관련 테이블(인덱스, 키정보 포함) 정보 CUBRID 홈 디렉토리 아래 log 디렉토리 압축


-------------- 아래에 질문 사항을 기입해 주세요. ------------------------------------------------------------------------


안녕하세요.

현재 컨트롤러 단에서 dba 권한으로 큐브리드 데이터베이스에 접속 후, 

새로운 데이터베이스를 생성, 계정을 만들고 

새로 생성한 계정으로 Connection하여 특정 경로에 있는 xml문서의 데이터를 파싱, 테이블을 만들고 데이터를 insert 하는 과정을 처리중입니다. 

create table 과 insert data 를 반복하며, 잘 진행되다가 insert data 양이 약 10,000건 이상인 테이블을 생성할 경우,

Cannot communicate with the broker 에러가 발생합니다. 


찾아보니 cubrid_broker.conf 설정에서 session_timeout 을 바꿔주면 된다는 글을 확인하여

--------------------------------------------------------------------------------------------------------------------------------

[broker]

MASTER_SHM_ID           =30001

ADMIN_LOG_FILE          =log/broker/cubrid_broker.log


[%query_editor]

SERVICE                 =ON

BROKER_PORT             =30000

MIN_NUM_APPL_SERVER     =5

MAX_NUM_APPL_SERVER     =200

APPL_SERVER_SHM_ID      =30000

LOG_DIR                 =log/broker/sql_log

ERROR_LOG_DIR           =log/broker/error_log

SQL_LOG                 =ON

TIME_TO_KILL            =120

SESSION_TIMEOUT         =1h

KEEP_CONNECTION         =AUTO

CCI_DEFAULT_AUTOCOMMIT  =ON



[%BROKER1]

SERVICE                 =ON

BROKER_PORT             =33000

MIN_NUM_APPL_SERVER     =5

MAX_NUM_APPL_SERVER     =200

APPL_SERVER_SHM_ID      =33000

LOG_DIR                 =log/broker/sql_log

ERROR_LOG_DIR           =log/broker/error_log

SQL_LOG                 =ON

TIME_TO_KILL            =120

SESSION_TIMEOUT         =1h

KEEP_CONNECTION         =ON

--------------------------------------------------------------------------------------------------------------------------------

위와 같이 설정을 바꿔주었습니다. 
변경 후에는 만건 이상 데이터는 처리가 됩니다.
그런데 한 테이블에 데이터가 870만건인 테이블이 존재하여 설정한 session_timeout 의 1h 으로 부족할 것 같은데 
혹시 무한대로 설정할 수 있는 방법은 없나요? 아니면 최대 설정 시간을 알고싶습니다. 
-1  으로 설정하였더니 broker start fail 이 뜹니다. 

아니면 추가적으로 이렇게 많은 데이터의 마이그레이션 처리 시 활용할 수 있는 방법이 있을까요? 
현재 insert 는 배치를 사용 중입니다. 

stmt.addBatch(insertSql);       
if( count % 1000 == 0 ){
stmt.executeBatch(); // Batch execute
        stmt.clearBatch(); // Clear
        conn.commit();
}
        
if(count != 1){
    stmt.executeBatch();
    conn.commit();
}


  • ?
    오명환 2020.03.24 08:49
    session timeout은 주어진 시간동안 어떤 요청이 들어오지 않는 경우 발생하는 타임아웃입니다.
    즉, 설정값이전에 지속적으로 작업을 수행하면 timeout는 발생하지 않습니다.
    그리고, 무한대로 설정하는 방법은 제공되지 않습니다.

    Cannot communicate with the broker 에러는 timeout만 아닌 network 오류 또는 해당 broker down되어 있는 경우에 발생할 수 있습니다.
    DB서버의 $CUBRID/log/broker 아래의 로그들을 확인해보시는 에러의 원인을 찾는데 도움이 될 것 같네요.
    error_log는 오류발생한 내역,
    sql_log는 수행된 질의 로그가 connection별 시간별로 남겨져 있습니다.
  • ?
    박세훈 2020.03.24 10:58
    첨부해주신 addBatch관련 소스는 session timeout과는 관련이 없어 보입니다.

    위에 설명처럼 session timeout은 DB에 요청이 없는 순간부터 시간을 측정하여 그 시간이 넘게 되면 세션을 끊습니다.
    아마도 xml문서의 데이터를 파싱하는데 시간이 많이 걸리는 것으로 생각이됩니다.
    이 작업동안에 DB 요청이 없을 것으로 생각되는데, 가능하다면 작업 이전에 commit을 넣어보세요.
    select만 있더라도 트랜잭션의 시작으로 인식하기 때문에 commit을 넣어야 DB 작업 이외의 작업시간과 무관하게 작업 하실 수 있습니다.

  1. CUBRID 사용자를 위한 DBeaver 도구 출시 안내

    Date2024.04.23 Byadmin Views31
    read more
  2. SQLGate for CUBRID 영구 무료 라이선스 제공

    Date2020.04.09 Byadmin Views4457
    read more
  3. 홈경로 databases.txt 질문드립니다

    Date2023.07.17 By큐브리드드 Views92
    Read More
  4. Cubrid admin 접속 제한 문의드립니다.

    Date2023.07.13 By데굴v Views118
    Read More
  5. 특정단어 삭제

    Date2023.07.13 Byddmmdd Views165
    Read More
  6. error while loading shared libraries: libncurses.so.5 에러 문의 드립니다.

    Date2023.07.10 Bykikiki767 Views1457
    Read More
  7. 다운로드페이지에 CUBRIDManager 11.x windows-x64.exe 는 없는데 .. 다운로드 할 수 있을까요?

    Date2023.07.05 By최라이거 Views274
    Read More
  8. db_class에서 테이블 목록 조회시

    Date2023.07.03 Bycncn Views292
    Read More
  9. 조회쿼리 시간단축

    Date2023.06.30 Byleeee Views98
    Read More
  10. CUBRID 8.4.4 -> 11.0.3 로 업그레이드 시 발생할 문제가 있을까요?

    Date2023.06.29 BySDDC사업개발자 Views89
    Read More
  11. CUBRID to Tibero DBLink지원 가능한지 알고싶습니다.

    Date2023.06.28 By공공기관에서사용중1 Views137
    Read More
  12. ELO타입이 무엇인가요?

    Date2023.06.27 Bysobubble Views116
    Read More
  13. 백업파일 받았는데 복구하는 방법을 모르겠습니다.

    Date2023.06.20 ByGgyak Views185
    Read More
  14. UTF8 한글이 깨짐

    Date2023.06.19 Byyonggi Views271
    Read More
  15. 저장 프로스저에 있는 함수 상세보기 문의입니다.

    Date2023.06.12 By대출인생30년 Views82
    Read More
  16. MERGE INTO 속도 개선 문의

    Date2023.06.12 Byleeee Views129
    Read More
  17. NX_transcation

    Date2023.06.12 Byyoo Views79
    Read More
  18. cubrid cursor.close() 에러 관련질문

    Date2023.06.08 By힘내자화이팅 Views186
    Read More
  19. merge 쿼리 속도개선

    Date2023.06.08 Byleeee Views109
    Read More
  20. 브로커(CAS)수 질문드립니다!

    Date2023.06.05 By요시니 Views152
    Read More
  21. 데이터 이관 문의입니다.

    Date2023.05.30 Bykipo0821 Views129
    Read More
  22. 8.4.4 charset. Collation 확인 방법

    Date2023.05.24 By네오랜덤 Views186
    Read More
Board Pagination Prev 1 2 3 4 5 6 7 8 9 10 11 ... 200 Next
/ 200

Contact Cubrid

대표전화 070-4077-2110 / 기술문의 070-4077-2113 / 영업문의 070-4077-2112 / Email. contact_at_cubrid.com
Contact Sales