큐브리드 사용한 데이터 구축 시 시간이 너무 오래 걸립니다.

by lhb posted Feb 15, 2016

* 질문 등록 시 다음의 내용을 꼭 기입하여 주세요.
OS
Windows Server 2012 R2 Standard(DB), Windows 7 pro(client)
CUBRID Ver.
CUBRID 9.2 (9.2.24.0002) (64bit release build for Windows_NT) (Jan 81 2016 06:36:18)
CUBRID TOOL Ver.
CUBRID Manager 9.3.1.704  (64bit)
응용 환경(API)
java

* CUBRID 응용 오류, SQL 오류 또는 SQL 튜닝 관련된 문의는 반드시 다음의 내용을 추가해 주세요. 비밀글이나 비밀 댓글도 가능합니다.
* 저희가 상황을 이해하고, 재현이 가능해야 알 수 있는 문제들이 많습니다. 가능한 정보/정황들을 부탁합니다.
에러 내용 및 재현 방법 재현 가능한 Source와 SQL
관련 테이블(인덱스, 키정보 포함) 정보 CUBRID 홈 디렉토리 아래 log 디렉토리 압축


-------------- 아래에 질문 사항을 기입해 주세요. ------------------------------------------------------------------------

안녕하세요. 고생이 많으십니다.


현재 자사 솔루션으로 큐브리드를 이용해서 데이터 구축을 하고 있습니다.

단순 txt 파일을 읽어서 디비에 인서트하고 있는데 총 건수가 996,261건입니다.

현재 680,000건이 입력되었습니다.

작업 시작시간은 2016-02-15 11:54:56.933 부터입니다. 약 2시간이 경과되었는데 너무 오래 걸리고 있습니다.


오라클과 mysql로도 해보았습니다. 작업시간은 10분이내에 모두 정상종료되었습니다.


솔루션에서 사용하는 hikari DB 커넥션 풀의 min, max=240개입니다.


또 가끔 아래와 같은 오류가 발생하기도 합니다.

[2016-02-15 14:04:46.232] [ERROR] [xxx.APooledDataSource returnConnection:?] [Access : Pool - returnConnection]
cubrid.jdbc.driver.CUBRIDException: Cannot communicate with the broker or received invalid packet[CAS INFO - ip:33000,3,17740],[SESSION-2098],[URL-jdbc:cubrid:ip:33000:db:id:********:].
 at cubrid.jdbc.jci.UConnection.createJciException(UConnection.java:2055)
 at cubrid.jdbc.jci.UInputBuffer.<init>(UInputBuffer.java:74)
 at cubrid.jdbc.jci.UConnection.send_recv_msg(UConnection.java:1667)
 at cubrid.jdbc.jci.UConnection.send_recv_msg(UConnection.java:1676)
 at cubrid.jdbc.jci.UConnection.setIsolationLevel(UConnection.java:1107)
 at cubrid.jdbc.driver.CUBRIDConnection.setTransactionIsolation(CUBRIDConnection.java:355)
 at com.zaxxer.hikari.proxy.ConnectionProxy.resetConnectionState(ConnectionProxy.java:155)
 at com.zaxxer.hikari.proxy.ConnectionProxy.close(ConnectionProxy.java:192)
 at xxx.APooledDataSource.returnConnection(Unknown Source)


구성은 java 1.7, hikari db pool, spring 입니다.


cub_js.access.log에는

2016/02/15 14:07:11 - - - user_token_info is null.

이게 종종 기록되고 있습니다.


혹시 몰라서 소스 일부 및 설정 파일도 같이 보내드립니다.


public synchronized void returnConnection(Connection conn) throws aException
 {
  try
  {
   if (conn != null)
    conn.close();
   conn = null;
  }
  catch (Exception e2)
  {
   logger.error("Access : Pool - returnConnection", e2);
  }
 }


@Override
 public boolean beginTransaction(String datahouse, ISOLATION_LEVEL level) throws aException
 {
  if (_transactionConn != null)
   return true;

  try
  {
   _transactionConn = _pool.getConnection();
   logger.debug("Access.Cubrid : transaction begin - " + _transactionConn.toString());

   _transactionConn.setAutoCommit(false);
   if (level == ISOLATION_LEVEL.SERIALIZABLE)
    _transactionConn.setTransactionIsolation(level.toInt());
   else
    _transactionConn.setTransactionIsolation(ISOLATION_LEVEL.READCOMMITTED.toInt());
  }
  catch (Exception e)
  {
   if (_transactionConn != null)
   {
    try
    {
     _pool.returnConnection(_transactionConn);
    }
    catch (Exception e1)
    {
     logger.error("Access.Cubrid : transaction begin error", e1);
    }
    _transactionConn = null;
   }

   logger.error("Access.Cubrid : transaction begin error", e);

   return false;
  }

  _level = level;
  return true;
 }


public boolean commit(String datahouse) throws aException
 {
  if (_transactionConn == null)
   return false;

  try
  {
   logger.debug("Access : commit - " + _transactionConn.toString());

   _transactionConn.commit();
   _transactionConn.setAutoCommit(true);
   _pool.returnConnection(_transactionConn);
   _transactionConn = null;
  }
  catch (Exception e)
  {
   logger.error("Access : transaction commit error", e);

   _transactionConn = null;
   _level = ISOLATION_LEVEL.NONE;
   return false;
  }

  _level = ISOLATION_LEVEL.NONE;
  return true;
 }


감사합니다.


Articles

88 89 90 91 92 93 94 95 96 97