Background Image

FORUM

lhb
조회 수 7581 추천 수 0 댓글 2
?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 댓글로 가기 인쇄 첨부

* 질문 등록 시 다음의 내용을 꼭 기입하여 주세요.
OS
Windows Server 2012 R2 Standard(DB), Windows 7 pro(client)
CUBRID Ver.
CUBRID 9.2 (9.2.24.0002) (64bit release build for Windows_NT) (Jan 81 2016 06:36:18)
CUBRID TOOL Ver.
CUBRID Manager 9.3.1.704  (64bit)
응용 환경(API)
java

* CUBRID 응용 오류, SQL 오류 또는 SQL 튜닝 관련된 문의는 반드시 다음의 내용을 추가해 주세요. 비밀글이나 비밀 댓글도 가능합니다.
* 저희가 상황을 이해하고, 재현이 가능해야 알 수 있는 문제들이 많습니다. 가능한 정보/정황들을 부탁합니다.
에러 내용 및 재현 방법 재현 가능한 Source와 SQL
관련 테이블(인덱스, 키정보 포함) 정보 CUBRID 홈 디렉토리 아래 log 디렉토리 압축


-------------- 아래에 질문 사항을 기입해 주세요. ------------------------------------------------------------------------

안녕하세요. 고생이 많으십니다.


현재 자사 솔루션으로 큐브리드를 이용해서 데이터 구축을 하고 있습니다.

단순 txt 파일을 읽어서 디비에 인서트하고 있는데 총 건수가 996,261건입니다.

현재 680,000건이 입력되었습니다.

작업 시작시간은 2016-02-15 11:54:56.933 부터입니다. 약 2시간이 경과되었는데 너무 오래 걸리고 있습니다.


오라클과 mysql로도 해보았습니다. 작업시간은 10분이내에 모두 정상종료되었습니다.


솔루션에서 사용하는 hikari DB 커넥션 풀의 min, max=240개입니다.


또 가끔 아래와 같은 오류가 발생하기도 합니다.

[2016-02-15 14:04:46.232] [ERROR] [xxx.APooledDataSource returnConnection:?] [Access : Pool - returnConnection]
cubrid.jdbc.driver.CUBRIDException: Cannot communicate with the broker or received invalid packet[CAS INFO - ip:33000,3,17740],[SESSION-2098],[URL-jdbc:cubrid:ip:33000:db:id:********:].
 at cubrid.jdbc.jci.UConnection.createJciException(UConnection.java:2055)
 at cubrid.jdbc.jci.UInputBuffer.<init>(UInputBuffer.java:74)
 at cubrid.jdbc.jci.UConnection.send_recv_msg(UConnection.java:1667)
 at cubrid.jdbc.jci.UConnection.send_recv_msg(UConnection.java:1676)
 at cubrid.jdbc.jci.UConnection.setIsolationLevel(UConnection.java:1107)
 at cubrid.jdbc.driver.CUBRIDConnection.setTransactionIsolation(CUBRIDConnection.java:355)
 at com.zaxxer.hikari.proxy.ConnectionProxy.resetConnectionState(ConnectionProxy.java:155)
 at com.zaxxer.hikari.proxy.ConnectionProxy.close(ConnectionProxy.java:192)
 at xxx.APooledDataSource.returnConnection(Unknown Source)


구성은 java 1.7, hikari db pool, spring 입니다.


cub_js.access.log에는

2016/02/15 14:07:11 - - - user_token_info is null.

이게 종종 기록되고 있습니다.


혹시 몰라서 소스 일부 및 설정 파일도 같이 보내드립니다.


public synchronized void returnConnection(Connection conn) throws aException
 {
  try
  {
   if (conn != null)
    conn.close();
   conn = null;
  }
  catch (Exception e2)
  {
   logger.error("Access : Pool - returnConnection", e2);
  }
 }


@Override
 public boolean beginTransaction(String datahouse, ISOLATION_LEVEL level) throws aException
 {
  if (_transactionConn != null)
   return true;

  try
  {
   _transactionConn = _pool.getConnection();
   logger.debug("Access.Cubrid : transaction begin - " + _transactionConn.toString());

   _transactionConn.setAutoCommit(false);
   if (level == ISOLATION_LEVEL.SERIALIZABLE)
    _transactionConn.setTransactionIsolation(level.toInt());
   else
    _transactionConn.setTransactionIsolation(ISOLATION_LEVEL.READCOMMITTED.toInt());
  }
  catch (Exception e)
  {
   if (_transactionConn != null)
   {
    try
    {
     _pool.returnConnection(_transactionConn);
    }
    catch (Exception e1)
    {
     logger.error("Access.Cubrid : transaction begin error", e1);
    }
    _transactionConn = null;
   }

   logger.error("Access.Cubrid : transaction begin error", e);

   return false;
  }

  _level = level;
  return true;
 }


public boolean commit(String datahouse) throws aException
 {
  if (_transactionConn == null)
   return false;

  try
  {
   logger.debug("Access : commit - " + _transactionConn.toString());

   _transactionConn.commit();
   _transactionConn.setAutoCommit(true);
   _pool.returnConnection(_transactionConn);
   _transactionConn = null;
  }
  catch (Exception e)
  {
   logger.error("Access : transaction commit error", e);

   _transactionConn = null;
   _level = ISOLATION_LEVEL.NONE;
   return false;
  }

  _level = ISOLATION_LEVEL.NONE;
  return true;
 }


감사합니다.

  • ?
    엄기호 2016.02.17 02:39

    큐브리드를 사용해주셔서 감사합니다.


    위 내용으로는 정확하게 판단하기가 어렵습니다.


    1) 위 내용을 보면 txt 파일을 읽어서 DB에 Insert하신다고 하였는데 한건당 읽어서 DB에 Insert하시나요.

         아니면, txt파일을 모두 읽어서 한번에 Insert를 하시나요.

    2) 위 소스를 보면 ISOLATION_LEVEL를 변경하면서 작업이 수행되는 것 같습니다.

        트랜잭션 격리 수준(isolation_level)에 대한 내용은 아래 URL 정보를 참조 하셔서 개발 해주시면 감사하겠습니다.

        http://www.cubrid.org/manual/93/ko/sql/transaction.html#transaction-isolation-level

    3) CUBRID버전 과 cubrid jdbc 드라이버 버전이 동일하지 다시 한번 확인 부탁드립니다.

        그리고, 에러코드가 어떻게 되는지요.


  • ?
    lhb 2016.02.17 19:38

    1) txt 파일을 line 별로 읽어서 인서트 하며 5000건 단위로 commit을 수행합니다.

    2) ISOLATION_LEVEL 변경은 최초 DB Pool에서 설정한 ISOLATION_LEVEL에서 transaction 사용을 위해 ISOLATION_LEVEL 레벨을 변경하고 autocomit을 false로 변경한 내용이 전부 입니다.

    타사 디비 (oracle, mysql, mssql, db2, altibase, tibero, postgresql, 등등등) 모두 이상없는 코드입니다.

    3) CUBRID-JDBC-9.2.24.0002버전입니다. 정확한 버전 확인을 위해 cubrid_jdbc.jar 압축 해제 해서 확인 결과 메타파일에는 버전 정보가 없고 CUBRID-JDBC-9.2.24.0002 빈 파일이 있습니다.



List of Articles
번호 제목 글쓴이 날짜 조회 수
공지 CUBRID 사용자를 위한 DBeaver 도구 출시 안내 admin 2024.04.23 55
공지 SQLGate for CUBRID 영구 무료 라이선스 제공 file admin 2020.04.09 4461
1235 c++ builder 2006 explore 에서 큐브리드 사용법 알려주세요 2 강아지60 2009.05.02 19633
1234 c#과 cubrid2008 연동후 문자열 select 질문. 1 hyperhand 2009.12.21 18158
1233 c# 으로 DB생성하기.... 2 안드레세상 2012.07.20 9556
1232 c# 에서 개발 중인데 쿼리 처리속도가 느리네요(수정) 5 yak341 2012.12.20 22724
1231 c# cubrid -> mssql BLOB type 데이타 전환 1 알고싶다! 2022.05.09 220
1230 c# asp.net HA및 브로커 12 알칸펠 2014.01.07 11923
1229 busy 쿼리 자동 종료 문의 2 우동 2019.12.11 223
1228 broker에 대한 질문입니다. 1 secret 푸르팅팅 2014.02.25 11
1227 broker서버가 시작되지 않습니다.. 2 platanus 2009.03.21 23745
1226 broker가 5개 이상 접속이 되지 않습니다. 2 file 꾸찐 2022.07.06 214
1225 broker 접속 오류 1 단순미학 2009.09.16 11254
1224 broker 설정 시 서버 구동 오류 2 SJLEE 2012.11.17 9041
1223 broker 설정 관련 문의 드립니다. 4 키레이니 2018.08.02 1066
1222 broker 로그에 대해 여쭤봅니다. 1 유겸아빠 2010.12.29 6834
1221 broker 구동이 안되네요 3 히로 2010.10.28 9651
1220 broker status 결과에 질문 다시드립니다... 1 secret 오니오니 2014.08.28 9
1219 broker start fail 1 secret 아코 2015.06.05 6
1218 broker sql 로그 중에 사용자가 작업을 하지 않은 내용은듯한데. 1 특수요원 2015.11.03 4465
1217 broker shard 추가시 proxy오류 5 석이 2014.06.26 9452
1216 broker error 8 쪼로롱 2014.02.26 10502
Board Pagination Prev 1 ... 134 135 136 137 138 139 140 141 142 143 ... 200 Next
/ 200

Contact Cubrid

대표전화 070-4077-2110 / 기술문의 070-4077-2113 / 영업문의 070-4077-2112 / Email. contact_at_cubrid.com
Contact Sales