Background Image
제품 여행
2020.08.29 00:22

파일이 정상인가 ?

조회 수 105 추천 수 0 댓글 0
?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 댓글로 가기 인쇄 첨부

기술 지원 시 파일 변조 또는 손상 되어 골치 아픈 경우가 간혹 발생 합니다.

- 고객사 지원을 위해 파일을 반입하는 경우 CD 손상으로 인한 파일 손상

- 보안 프로그램(DRM,EFS)에 의한 파일 변조

- 네트워크를 통한 파일 전송 시 파일 손상

 

파일 변조 또는 손상이 발생하면, 파일 크기가 크게 변하지 않으며 정합성 여부를 명확하게 확인 할 수 없습니다.

이로 인해 기술 지원 시 뭐가 문제인지 당황스러울 때가 있는데요.

이와 같은 상황에서 불필요한 시간 발생을 최소화 할 수 있는 방법에 대해 기술 하였습니다.

 

무결성 검사


파일이 변조 되어 있지 않다는 검사를 하기 위해 여러가지 방법들이 있습니다만, 가장 효율적이고 쉬운 방법을 소개하겠습니다.

md5 (MD5 128비트 해쉬 암호화 함수)툴은 Windows, Linux, OS X 등 많은 시스템에서 기본적으로 설치 되어 있습니다.

 

참고 자료

사용 방법


Windows

* 실행 > cmd
certutil -hashfile <filename> <hash functuin>
 
* ex
cmd> certutil -hashfile CUBRID-10.2-latest-Linux.x86_64.sh MD5
MD5의 CUBRID-10.2-latest-Linux.x86_64.sh 해시:
f1fca41add6d3054dfb2a2f8a9e19617
CertUtil: -hashfile 명령이 성공적으로 완료되었습니다.

 

Linux, OS X

* 터미널
md5sum <filename>
 
* ex
$ md5sum CUBRID-10.2-latest-Linux.x86_64.sh
f1fca41add6d3054dfb2a2f8a9e19617  CUBRID-10.2-latest-Linux.x86_64.sh

 

 

정상적으로 다운 받은 파일의 MD5 해쉬 값은 f1fca41add6d3054dfb2a2f8a9e19617  CUBRID-10.2-latest-Linux.x86_64.sh

(파일 사이즈  : 86903517 byte)

원본 파일에 특정 문자 삭제 후 구한 MD5 해쉬 값은  aa06214176b8bb6c93ed7ecd72e5e561  CUBRID-10.2-latest-Linux.x86_64.sh

(파일 사이즈 : 86903519 byte)

 

위의 결과 값을 보면, 정상적인 파일에서 약간의 수정이 발생 하더라도 해쉬값이 크게 변화하게 됩니다.


어떤 경우 사용하면 될까 ?


 

 

스크린샷, 2020-08-28 23-15-31.png

 

 

[ 업무 고도화 진행에 따른 운영 서버 데이터 베이스를 개발 서버에 구축 ]

1. 운영 서버 데이터 베이스 백업을 수행하여, 사용자 PC에 파일을 내려 받아, 개발 서버에 전송 하였습니다.

2. 개발 서버에 전송 받은 백업 볼륨(demodb_bk0v000)을 통해 복구 수행.

3. 복구 수행 시 아래와 같은 에러가 발생하며, restoredb 에러 로그를 확인하니 백업 볼륨이 아니라는 로그가 기록(./demodb_bk0v000 is not a backup volume.) 됩니다.

 

스크린샷, 2020-08-28 23-11-42.png

 

스크린샷, 2020-08-28 23-21-21.png

 

4. 운영 서버에서 개발 서버까지 백업 볼륨을 이동하는데 어느 구간에서 손상이 됬는지 확인이 필요한 상황으로

파일 전송 오류로 판단하여, 파일을 재전송 하였습니다.

5. 재전송하였지만 동일한 문제가 발생하였고, 사용자 PC의 EFS 툴로 인하여, 백업 볼륨이 암호화 된 것으로 확인 되었습니다.

- 진행 당시 암호화 툴은 문서파일만 암호화 한다는 내용을 확인 했는데.....

6. 결국 사용자 PC의 암호화 툴 예외처리를 진행하고서 작업 완료가 되었습니다.

 

- 실제 작업 당시 총 12개의 백업 볼륨, 총 사이즈 3TB

- 운영 서버에서 개발 서버까지 백업 볼륨 12개를 옮기는데 약 15시간 소요.

- 백업 볼륨 손상이 3회 발생하였으며, 실제 복구 작업에 걸린 시간은 4일 소요.

- 작은 파일을 옮기는 경우 손상이 발생하더라도 재전송하며 문제를 찾으면 되지만, 대용량 파일을 다루는 상황에는 많은 시간이 소요 됩니다.

- 대용량 파일을 이용한 작업을 할 경우 원본 파일과 작업 파일의 정합성을 위해 checksum을 구하는 해쉬 함수를 사용하여 진행 하는 것이 불필요한 시간 소요가 발생 하지 않습니다.

 

 

 

 

 

스크린샷, 2020-08-28 23-55-53.png

 

[ 신규 CUBRID 설치 건으로 테스트용 설치 버전 반입 ]

1. 고객사에서 요청한 CUBRID 설치 버전을 CD에 담아 반입

2. 고객사 PC에 CD 마운트 후 설치 버전을 내려받아 설치 진행

3. 설치 진행 중 아래와 같은 오류 발생

스크린샷, 2020-08-29 00-00-28.png

4. 고객사 PC 설치 파일 checksum 해쉬 값 확인

5. 원본 파일과 CD의 파일의 해쉬값과 고객사 PC 설치 파일의 해쉬값이 다른 것을 확인

6. 고객사 PC EFS 암호화 툴의 정책 오류로 발생한 문제

7. 암호화 툴 예외처리 후 정상적으로 설치 진행 및 완료

 

- 설치 문제에 대해 CUBRID의 버그가 아니냐 라는 고객의 질문에 정확한 답을 내놓지 못할 수가 있습니다.

- 고객사 방문 전 원본 파일의 hash값, CD에 담은 파일의 hash값을 모두 확인해 놓은 상태로 고객사 PC에서 문제가 발생한 것에 대해 답을 했으며, 억울한... 누명?을 벗게 됬었네요.

 

해쉬값을 구하는데 소요되는 비용 ?


파일 사이즈가 수 GB 단위 까지는 해쉬 값이 금방 구해집니다. (싱글쓰레드로 수행 됩니다.)

파일 사이즈가 수십 GB 단위를 넘어가면 해쉬 값을 구하는 시간 소요가 수십분 발생 합니다.

해쉬 값을 구하는 시간을 불필요하지 않다 생각해야하며, 위 문제와 같은 상황이 발생할 여지가 있다면, 꼭 해쉬값을 구해 파일의 정합성을 확인하여 진행하는것이 좋습니다.

 

위와 같은 상황에서는 암호화를 위한 것이 아닌 파일의 정합성을 위한 것이므로 MD5 해쉬값 충돌을 보완한 sha1, sha2, sha3의 함수를 사용할 필요는 없습니다.

속도면에서 좋은 MD5를 활용하는것이 좋으며, OS에 기본적으로 탑재 되어 있어 별도의 설치가 필요 없습니다.

 

해쉬 알고리즘 속도 비교 - https://zetawiki.com/wiki/%ED%95%B4%EC%8B%9C_%EC%95%8C%EA%B3%A0%EB%A6%AC%EC%A6%98_%EC%86%8D%EB%8F%84_%EB%B9%84%EA%B5%90

 

마치며


많은 소프트웨어 미러사이트에서 업로드한 파일의 checksum 해쉬 값을 제공합니다.

(사이트 별로 MD5, sha1,sha2 해쉬 함수 방식이 다르며, MD5가 가장 많이 사용 됨)

 

미러 사이트에서 원본에 대한 checksum 해쉬 값을 확인하여, 불필요한 소요 시간 없는 작업이 되길 바랍니다.

 

 

스크린샷, 2020-08-29 00-20-53.png

 

스크린샷, 2020-08-29 00-20-59.png


  1. 파일이 정상인가 ?

    기술 지원 시 파일 변조 또는 손상 되어 골치 아픈 경우가 간혹 발생 합니다. - 고객사 지원을 위해 파일을 반입하는 경우 CD 손상으로 인한 파일 손상 - 보안 프로그램(DRM,EFS)에 의한 파일 변조 - 네트워크를 통한 파일 전송 시 파일 손상 파일 변조 또는 손상이 발생하면, 파일 크기가 크게 변하지 않으며 정합성 여부를 명확하게 확인 할 수 없습니다. 이로 인해 기술 지원 시 뭐가 문제인지 당황스러울 때가 있는데요. 이와 같은 상황에서 불필요한 시간 발생을 최소화 할 수 있는 방법에 대해 기술 하였습니다. 무결성 검사 파일이 변조 되어 있지 않다는 검사를 하기 위해 여러가지 방법들이 있습니다만, 가장 효율적이고 쉬운 방법을 소개하겠습니다. md5 (MD5 128비트 해쉬 암호화 함수)툴은 Windows, Linux, OS X 등 많은 시스템에서 기본적으로 설치 되어 있습니다. 참고 자료 MD5-위키백과 : https://ko.wikipedia.org/wiki/MD5 암호화 해쉬 함수-위키백과 : https://ko.wikipedia.org/wiki/%EC%95%94%ED%98%B8%ED%99%94_%ED%95%B4%EC%8B%9C_%ED%95%A8%EC%88%98 사용 방법 Windows * 실행 > cmd certutil -hashfile <filename> <hash functuin> * ex cmd> certut...
    Date2020.08.29 Category제품 여행 By윤준수 Views105 Votes0
    Read More
  2. 데이터 베이스 접근 제어와 CUBRID

    데이터 베이스 서비스/운영 환경에서는 데이터의 손실을 근본적으로 차단하기 위한 여러가지 솔루션이 있습니다. 그 중 대표적인 솔루션인 데이터 베이스 접근 제어가 어떻게 CUBRID와 연동 되는지에 대해 기술하였습니다. CUBRID 접속 환경 CUBRID 데이터 베이스의 접근하는 기본적으로 2가지 형태 입니다. (환경에 따라 다를 수 있습니다.) 데이터 베이스 개발자 또는 관리자를 위한 경우 - IDE, Manager 툴을 사용하여, CUBRID 사용, 관리 CUBRID 데이터베이스를 활용하여, 애플리케이션을 서비스 하기 위한 경우 - 웹 서비스를 위한 WAS 사용, 별도의 애플리케이션 사용 CUBRID는 데이터베이스의 연결 전 BROKER 서버의 PORT로 접속 하여, 데이터베이스와 연결 됩니다. 브로커 포트 확인 하기 - 현재 설정 된 값은 기본 설정 값으로 환경 설명을 위한 정보 입니다. 구성 시 변경 가능 합니다. - query_editor(TCP_30000) 개발 및 관리자용 / broker1(TCP_33000) 서비스용 cubrid@host1$ cat $CUBRID/conf/cubrid_broker.conf [broker] MASTER_SHM_ID =30001 ADMIN_LOG_FILE =log/broker/cubrid_broker.log [%query_editor] -- 브로커 명 SERVICE =ON SSL =OFF BROKER_PORT...
    Date2020.08.23 Category제품 여행 By윤준수 Views200 Votes0
    Read More
  3. 가벼운 웹 프레임워크 Flask위에 CUBRID 얹기

    Python 기반 Web Framework를 떠올리면 DJango를 떠올릴텐데요. Django 보다 가볍고 쉬운 Flask Web Framework와 CUBRID 데이터 베이스 연동 하는 방법을 기술 하였습니다. - Windows 환경에서의 구성과 Linux 환경에서의 구성 Spec. CUBRID 10.2 64bit Windows 10 64 bit - python 3.6.7 - Flask 1.1.2 - Werkzeug 1.0.1 Ubuntu 20.04.1 LTS (Linux) - python 3.8.2 - Flask 1.1.2 - Werkzeug 1.0.1 CUBRID Server # vi /etc/hosts - hostname과 IP 매칭 # ufw allow 33000/tcp # su - cubrid $ wget http://ftp.cubrid.org/CUBRID_Engine/10.2_latest/CUBRID-10.2-latest-Linux.x86_64.sh $ sh CUBRID-10.2-latest-Linux.x86_64.sh $ cubrid service start $ cubrid server start demodb Windows (Flask) WEB Server Python Install python : https://www.python.org/ - 3.6.7 Release version 다운로드 및 설치 - 환경 변수 Path : C:\Users\<username>\AppData\Local\Programs\Python\Python36\Scripts 추가 Path : C:\Users\<username>\AppData\Local\Programs\Python\Python36 추가 flask Install cmd> pip3 install flask cmd> flask --version CUBRID Driver - CUBRID...
    Date2020.08.12 Category제품 여행 By윤준수 Views488 Votes1
    Read More
  4. DBeaver Database Tool 큐브리드 사용하기

    1, DBeaver 소개 DBeaver는 SQL 자동 완성과 구문 강조를 지원하는 편집기를 제공하며 이클립스 플러그인 구조 기반의 플러그인 아키텍처를 제공함으로써 데이터베이스에 특화된 기능이나 데이터베이스에 독립적인 기능들을 제공할 수 있게 한다, DBeaver와 CUBRID 사용은 JDBC 드라이버와 데이터베이스 Connection 정보를 설정해 사용할 수 있다. 2, DBeaver 다운로드(https://dbeaver.io/) 2, DBeaver 설치 - 언어선택 후 윈도우 프로그램 설치와 동일하게 “다음” 클릭해 설치를 완료한다. 3, DBeaver CUBRID 연결 3-1, 콘센트 모양 클릭 3-2, Select your database 매뉴에서 CUBRID 선택 3-3, JDBC Connection Setting* General 입력정보 - Host : CUBRID 서버 IP정보 입력 - Server & Database/Schema : 데이터베이스명(Oracle 기준 SID) * Authentication 입력정보 - Username : dba - Password : 비번 (참조: CUBRID는 설정 전 DBA 초기 패스워드 없음) 3-4, Edit Driver Setting* Edit Driver Settings + CUBRID - Url Template 기본에는 jdbc:CUBRID:{host}:{port}:{server}:{database}:: 등록되어 있으나 jdbc:CUBRID:{host}:{port}:{database}::: 로...
    Date2020.07.09 Category제품 여행 By정만영 Views997 Votes0
    Read More
  5. named pipe를 활용한 압축 백업하기.

    작년 12월 18일에 CUBRID 10.2가 릴리즈 되었다. 자세한 링크는 다음과 같다. https://www.cubrid.com/3824761 이번 버전부터 backup 시 named pipe 를 활용 할 수 있다. Named Pipe | 파이프를 이용해 명령들을 연결하여 사용하거나 명령, 프로세스 치환을 사용하면 명령 실행 중에 자동으로 pipe 가 생성되어 사용된 후 사라지게 되는데요. 이때 생성되는 파이프를 이름이 없다고 해서 unnamed pipe 또는 anonymous pipe 라고 합니다. 이에 반해 named pipe 는 직접 파이프를 파일로 만들어 사용합니다. 자 이제 Named pipe를 생성해 보자. 1 2 3 $ mkfifo backup_pipe $ ls -al backup_pipe prw-rw-r--. 1 hiclass hiclass 0 May 25 10:40 backup_pipe 이렇게 생성해도 되고 1 2 3 $ mknod backup_pipe p $ ls -al backup_pipe prw-rw-r--. 1 hiclass hiclass 0 May 25 10:40 backup_pipe 이렇게 생성 할 수도 있다. 이제 생성한 파이프를 이용하여 백업을 해보자. 먼저 용량비교를 위해서 파이프를 사용하지 않은 일반 백업을 해 보겠다. $ cubrid backupdb demodb -S -l 0 -z -D . -o bk.out Backup Volume Label: Level: 0, Unit: 0, Database demodb, Backup Time: Mon ...
    Date2020.05.25 Category제품 여행 ByHiCLASS Views174 Votes0
    Read More
  6. CUBRID Internal: 큐브리드의 저장공간관리 (DIsk Manager, File Manager)

    들어가며 데이터베이스는 결국 데이터를 저장해야 하고 데이터를 저장할 공간을 필요로 한다. 운영체제 위해서 동작하는 큐브리드는 운영체제로부터 필요한 만큼의 공간을 할당받고 이를 필요에 따라 효율적으로 사용한다. 이 글에서는 큐브리드가 영구저장장치에 데이터를 저장하기 위하여 내부적으로 어떻게 저장공간을 관리하는지에 대하여 이야기한다. 이를 통해 데이터베이스를 연구하고 개발하는 개발자들이 오픈소스 데이터베이스인 큐브리드에 좀 더 쉽게 접근할 수 있었으면 한다. - 이 글의 내용은 버전 10.2.0-7094ba을 기준으로 하나, 최신 develop branch의 11.0.0-c83e33 에서도 차이가 없는 것으로 보인다. 큐브리드의 저장공간 관리 큐브리드 서버는 여러 모듈들이 복합적이고 정교하게 동작하며 데이터를 관리한다. 이 중 저장공간을 관리해주는 모듈로는 디스크 매니저 (Disk Manager)와 파일 매니저 (File Manager)가 존재한다. 이들의 역할을 명확히 하기 위해서는 먼저 큐브리드에서 저장 공간을 어떠한 단위로 관리하는지를 알아야 한다. 페이지와 섹터 페이지(Page)는 큐브리드의 가장 기본적인 저장공간의 단위이다. 페이지는 연속적인 바이트의 연속...
    Date2020.03.31 Category제품 여행 By김재은 Views389 Votes1
    Read More
  7. linux버전 CUBRID 기본 설치 디렉터리 바꾸기

    10.1 버전 부터 linux 용 버전인 CUBRID-10.x.x.xxxx-d56a158-Linux.x86_64.sh를 설치하면 기본 설치 디렉터리가 예전과 다르게 엄청 길어진다. 아래의 그림과 같이 보이게 된다. 유지관리나 해당 콘솔에서 작업을 할 때 디렉터리명이 길어지면 상당히 불편하다. 이전 버전과 같이 CUBRID로 설치 되게 설치 패키지를 수정해 보자. 일단 linux용 버전의 패키지.sh 파일의 구조는 다음과 같다. vi로 열어보면 상단 shell script + 하단 tar with gzip 으로 구성 되어 있다. 그래서 일단 스크립트 부분과 tar+gz 부분을 분리해 보자. 스크립트 소스 네에는 다음과 같은 힌트가 있다. 518 519 520 521 522 523 524 525 526 527 528 529 530 531 532 533 # take the archive portion of this file and pipe it to tar # the NUMERIC parameter in this command should be one more # than the number of lines in this header file # there are tails which don't understand the "-n" argument, e.g. on SunOS # OTOH there are tails which complain when not using the "-n" argument (e.g. GNU) # so at first try to tail some file to see if tail fails if used with "-n...
    Date2020.01.21 Category제품 여행 ByHiCLASS Views396 Votes6
    Read More
  8. No Image

    LOB 데이터 경로 변경하기

    운영을 하다 보면 DB 데이터의 경로를 변경해야 하는 경우가 있는데요, CUBRID의 경우 DB 백업/복구를 통해 DB 데이터의 경로 변경을 지원하고 있습니다. 하지만 LOB 데이터는 DB 내부에 저장되지 않고, 외부 파일 시스템에 파일 형태로 저장되고 DB 내부에는 해당 파일의 위치정보만 저장되기 때문에 DB 백업/복구 시에는 LOB 데이터 파일에 대한 별도 관리가 필요합니다. 이 글에서는 DB 데이터 경로변경에 더불어 LOB 데이터의 경로를 변경할 수 있도록 가이드하려고 합니다.(9.3기준) 1. 테스트 정보 - DB 명 : testdb - 기존 경로 : /home/cubrid/CUBRID/databases/testdb - 변경 경로 : /disk/testdb 2. 경로 변경 절차 1) 서비스 종료 $ cubrid service stop @ cubrid server stop: testdb Server testdb notified of shutdown. This may take several minutes. Please wait. ++ cubrid server stop: success @ cubrid broker stop ++ cubrid broker stop: success @ cubrid manager server stop ++ cubrid manager server stop: success @ cubrid master stop ++ cubrid master stop: success 2) DB 백업 (백업 옵션은 매뉴얼 참조) $ cubrid backupdb -D /disk/BACKUP...
    Date2020.01.16 Category제품 여행 By허서진 Views472 Votes0
    Read More
  9. No Image

    SSH 공개키 인증을 사용하여 암호 없이 편리하게 원격 호스트에 접속하기-!

    SSH 키는 공개 키 암호화 방식 및 인증 확인 응답 인증을 사용하는 SSH 서버에 대해 자체 식별하는 방식입니다. 비공개 서버에 접속하기 위해서는 인증절차를 거쳐야 하는데요, 기존에 비밀번호를 네트워크를 통해 보내는 비밀번호 인증은 네트워크 상에서 ID/비밀번호가 그대로 노출되는 문제가 있고, 접속할 때마다 입력해야 하는 번거로움이 있습니다. SSH 키는 이와 달리 공개키 암호 방식을 사용하여 서버에서 인증받을 수 있으며, 암호를 생략하고 원격 호스트로 접속할 수 있습니다. 과정은 아래와 같습니다. 1. 로컬 호스트에 키 생성(private key, public key) 2. 원격 호스트에 public key 복사(public key 만으로는 복호화할 수 없기 때문에 여러 서버에 복사해도 무관) 3. 로컬 호스트에서 원격 호스트로 ssh 접속 4. 원격 호스트에서 public key로 암호화 된 정보를 로컬 호스트에게 주고, 로컬 호스트는 private key와 원격 호스트의 public key를 이용하여 복호화 수행 5. 인증 완료 시 암호 입력 필요 없이 접속 가능 실제 명령어 수행 과정을 살펴보도록 하겠습니다. 1. 로컬 호스트에 키 생성 ssh-keygen 명령어를 이용해 private/public 키를 생성합니다. s...
    Date2020.01.03 Category나머지... By허서진 Views2834 Votes0
    Read More
  10. No Image

    LINUX 설정 값 nproc, nofile 과 큐브리드의 관계

    LINUX 설정 값 nproc, nofile 과 큐브리드의 관계 리눅스의 설정 값 중 nproc, nofile이 있습니다 [정의] 1. nproc : User당 사용할 수 있는 프로세스 최대 개수 2. nofile : User당 오픈할 수 있는 파일 개수 (리눅스에서는 모든 개체를 파일로 봅니다.) [문제 사항] 값이 적을경우 아래와 같은 문제가 발생할수 있습니다 큐브리드 계정으로 로그인이 안되는 오류 발생 cubrid server 에러에 shutdown a connection이 발생할수 있습니다 [설정 값 확인] < USER MAX 값 확인 > $ ulimit -aS |grep "max user processes" $ ulimit -aH |grep "max user processes" < open file MAX 값 확인 > $ ulimit -aS |grep "open files" $ ulimit -aH |grep "open files" [측정 방법] 1. nproc # ps h -Led -o user |sort |uniq -c |sort -n - nproc는 프로세스 외 LWP 또한 측정하며, 위와 같은 명령어로 확인할 수 있습니다. 2. nofile $ expr `lsof -u [User Name] |wc -l` - 1 [설정 방법] # vi /etc/security/limits.d/20-nproc.conf 수정 (RHEL 7 기준) limits.d디렉토리의 설정 값이 마지막 적용되는 값 입니다. (limis.conf의 값이 먼저 적용 되고, 마지막으로 limits.d 디렉토리...
    Date2020.01.03 Category제품 여행 By강주원 Views3754 Votes0
    Read More
Board Pagination Prev 1 2 3 4 5 6 7 8 9 10 ... 13 Next
/ 13

Contact Cubrid

대표전화 070-4077-2110 / 기술문의 070-4077-2147 / 영업문의 070-4077-2112 / Email. contact_at_cubrid.com
Contact Sales