Background Image
제품 여행
2020.08.29 00:22

파일이 정상인가 ?

조회 수 2394 추천 수 1 댓글 0
?

단축키

Prev이전 문서

Next다음 문서

크게 작게 위로 아래로 댓글로 가기 인쇄 첨부

기술 지원 시 파일 변조 또는 손상 되어 골치 아픈 경우가 간혹 발생 합니다.

- 고객사 지원을 위해 파일을 반입하는 경우 CD 손상으로 인한 파일 손상

- 보안 프로그램(DRM,EFS)에 의한 파일 변조

- 네트워크를 통한 파일 전송 시 파일 손상

 

파일 변조 또는 손상이 발생하면, 파일 크기가 크게 변하지 않으며 정합성 여부를 명확하게 확인 할 수 없습니다.

이로 인해 기술 지원 시 뭐가 문제인지 당황스러울 때가 있는데요.

이와 같은 상황에서 불필요한 시간 발생을 최소화 할 수 있는 방법에 대해 기술 하였습니다.

 

무결성 검사


파일이 변조 되어 있지 않다는 검사를 하기 위해 여러가지 방법들이 있습니다만, 가장 효율적이고 쉬운 방법을 소개하겠습니다.

md5 (MD5 128비트 해쉬 암호화 함수)툴은 Windows, Linux, OS X 등 많은 시스템에서 기본적으로 설치 되어 있습니다.

 

참고 자료

사용 방법


Windows

* 실행 > cmd
certutil -hashfile <filename> <hash functuin>
 
* ex
cmd> certutil -hashfile CUBRID-10.2-latest-Linux.x86_64.sh MD5
MD5의 CUBRID-10.2-latest-Linux.x86_64.sh 해시:
f1fca41add6d3054dfb2a2f8a9e19617
CertUtil: -hashfile 명령이 성공적으로 완료되었습니다.

 

Linux, OS X

* 터미널
md5sum <filename>
 
* ex
$ md5sum CUBRID-10.2-latest-Linux.x86_64.sh
f1fca41add6d3054dfb2a2f8a9e19617  CUBRID-10.2-latest-Linux.x86_64.sh

 

 

정상적으로 다운 받은 파일의 MD5 해쉬 값은 f1fca41add6d3054dfb2a2f8a9e19617  CUBRID-10.2-latest-Linux.x86_64.sh

(파일 사이즈  : 86903517 byte)

원본 파일에 특정 문자 삭제 후 구한 MD5 해쉬 값은  aa06214176b8bb6c93ed7ecd72e5e561  CUBRID-10.2-latest-Linux.x86_64.sh

(파일 사이즈 : 86903519 byte)

 

위의 결과 값을 보면, 정상적인 파일에서 약간의 수정이 발생 하더라도 해쉬값이 크게 변화하게 됩니다.


어떤 경우 사용하면 될까 ?


 

 

스크린샷, 2020-08-28 23-15-31.png

 

 

[ 업무 고도화 진행에 따른 운영 서버 데이터 베이스를 개발 서버에 구축 ]

1. 운영 서버 데이터 베이스 백업을 수행하여, 사용자 PC에 파일을 내려 받아, 개발 서버에 전송 하였습니다.

2. 개발 서버에 전송 받은 백업 볼륨(demodb_bk0v000)을 통해 복구 수행.

3. 복구 수행 시 아래와 같은 에러가 발생하며, restoredb 에러 로그를 확인하니 백업 볼륨이 아니라는 로그가 기록(./demodb_bk0v000 is not a backup volume.) 됩니다.

 

스크린샷, 2020-08-28 23-11-42.png

 

스크린샷, 2020-08-28 23-21-21.png

 

4. 운영 서버에서 개발 서버까지 백업 볼륨을 이동하는데 어느 구간에서 손상이 됬는지 확인이 필요한 상황으로

파일 전송 오류로 판단하여, 파일을 재전송 하였습니다.

5. 재전송하였지만 동일한 문제가 발생하였고, 사용자 PC의 EFS 툴로 인하여, 백업 볼륨이 암호화 된 것으로 확인 되었습니다.

- 진행 당시 암호화 툴은 문서파일만 암호화 한다는 내용을 확인 했는데.....

6. 결국 사용자 PC의 암호화 툴 예외처리를 진행하고서 작업 완료가 되었습니다.

 

- 실제 작업 당시 총 12개의 백업 볼륨, 총 사이즈 3TB

- 운영 서버에서 개발 서버까지 백업 볼륨 12개를 옮기는데 약 15시간 소요.

- 백업 볼륨 손상이 3회 발생하였으며, 실제 복구 작업에 걸린 시간은 4일 소요.

- 작은 파일을 옮기는 경우 손상이 발생하더라도 재전송하며 문제를 찾으면 되지만, 대용량 파일을 다루는 상황에는 많은 시간이 소요 됩니다.

- 대용량 파일을 이용한 작업을 할 경우 원본 파일과 작업 파일의 정합성을 위해 checksum을 구하는 해쉬 함수를 사용하여 진행 하는 것이 불필요한 시간 소요가 발생 하지 않습니다.

 

 

 

 

 

스크린샷, 2020-08-28 23-55-53.png

 

[ 신규 CUBRID 설치 건으로 테스트용 설치 버전 반입 ]

1. 고객사에서 요청한 CUBRID 설치 버전을 CD에 담아 반입

2. 고객사 PC에 CD 마운트 후 설치 버전을 내려받아 설치 진행

3. 설치 진행 중 아래와 같은 오류 발생

스크린샷, 2020-08-29 00-00-28.png

4. 고객사 PC 설치 파일 checksum 해쉬 값 확인

5. 원본 파일과 CD의 파일의 해쉬값과 고객사 PC 설치 파일의 해쉬값이 다른 것을 확인

6. 고객사 PC EFS 암호화 툴의 정책 오류로 발생한 문제

7. 암호화 툴 예외처리 후 정상적으로 설치 진행 및 완료

 

- 설치 문제에 대해 CUBRID의 버그가 아니냐 라는 고객의 질문에 정확한 답을 내놓지 못할 수가 있습니다.

- 고객사 방문 전 원본 파일의 hash값, CD에 담은 파일의 hash값을 모두 확인해 놓은 상태로 고객사 PC에서 문제가 발생한 것에 대해 답을 했으며, 억울한... 누명?을 벗게 됬었네요.

 

해쉬값을 구하는데 소요되는 비용 ?


파일 사이즈가 수 GB 단위 까지는 해쉬 값이 금방 구해집니다. (싱글쓰레드로 수행 됩니다.)

파일 사이즈가 수십 GB 단위를 넘어가면 해쉬 값을 구하는 시간 소요가 수십분 발생 합니다.

해쉬 값을 구하는 시간을 불필요하지 않다 생각해야하며, 위 문제와 같은 상황이 발생할 여지가 있다면, 꼭 해쉬값을 구해 파일의 정합성을 확인하여 진행하는것이 좋습니다.

 

위와 같은 상황에서는 암호화를 위한 것이 아닌 파일의 정합성을 위한 것이므로 MD5 해쉬값 충돌을 보완한 sha1, sha2, sha3의 함수를 사용할 필요는 없습니다.

속도면에서 좋은 MD5를 활용하는것이 좋으며, OS에 기본적으로 탑재 되어 있어 별도의 설치가 필요 없습니다.

 

해쉬 알고리즘 속도 비교 - https://zetawiki.com/wiki/%ED%95%B4%EC%8B%9C_%EC%95%8C%EA%B3%A0%EB%A6%AC%EC%A6%98_%EC%86%8D%EB%8F%84_%EB%B9%84%EA%B5%90

 

마치며


많은 소프트웨어 미러사이트에서 업로드한 파일의 checksum 해쉬 값을 제공합니다.

(사이트 별로 MD5, sha1,sha2 해쉬 함수 방식이 다르며, MD5가 가장 많이 사용 됨)

 

미러 사이트에서 원본에 대한 checksum 해쉬 값을 확인하여, 불필요한 소요 시간 없는 작업이 되길 바랍니다.

 

 

스크린샷, 2020-08-29 00-20-53.png

 

스크린샷, 2020-08-29 00-20-59.png


  1. 이노베이션 아카데미와 CUBRID의 산학협력

    이노베이션 아카데미 (42서울) 42SEOUL(42서울)은 아키텍트급 소프트웨어 인재를 양성하는 것을 목적으로 하는 교육 과정이며, 프랑스에서 시작된 에꼴42의 교육 방식 및 인프라를 수입하여 운영하는 형태를 띈다. 에꼴42(Ecole 42)는 프랑스의 대형 통신사 CEO이기도 한 자비에 니엘(Xavier Niel)이라는 억만장자가 프랑스에서 2013년에 설립했다. 설립 당시에도 자기주도 학습 및 동료 평가를 내세운 무료 소프트웨어 교육 기관이라는 점으로 주목받았다. 현재는 브라질, 미국, 일본 등 세계 여러 곳에도 42 캠퍼스가 있다. 2019년에 대한민국 서울에도 42 서울 캠퍼스가 들어왔다. 42의 특징 중 하나로, 자기주도적 학습을 지향하기에 교재나 교수가 따로 없고 모든 것은 스스로 인터넷 또는 각종 도서 등을 통하거나 동료들과의 협업 및 교류를 통해 학습을 하게끔 유도한다. 교육생들 스스로 방법을 찾아 나아가라는 의도이며, 정해진 교재 및 교수가 없기 때문에 필연적으로 많은 삽질과 불분명한 요구사항을 맞닥뜨리게 된다. 심지어 문제를 풀어야 하는데, 뭘 배우고 공부해야 하는지 조차도 제대로 알려주지 않는다. 이는 소프트웨어 현장을 그대로 모방하여 실전 경...
    Date2022.02.22 Category알려요~ By민준 Views284 Votes0
    Read More
  2. Scouter를 통한 CUBRID 모니터링

    Scouter를 통한 CUBRID 모니터링 Scouter 확장을 통해 CUBRID에 항목을 모니터링할 수 있습니다. CUBRID 11.0 버전을 기준으로 개발되었으며, CUBRID 10.2.1 버전부터는 전체 기능을 사용할 수 있습니다. Scouter(Server, Client)는 2.15.0 버전부터 기능 사용이 가능하며, 추후에도 Scouter Github에 참여하여 버그 수정 및 기능이 추가됩니다. 현재(2022-01-10) 2.15.0 버전이 최신 버전이며, Multi Agent 지원 및 버그 수정 내용이 PR 되어 있는 상태입니다. 1. Scouter 란? Scouter는 Open Source APM(Application Performance Management) 이며, 어플리케이션 및 OS 자원등에 대한 모니터링 기능을 제공합니다. Scouter 기본 구성 Scouter 제공 정보 ​- WAS 기본 정보 각 요청의 응답속도 / 프로파일링 정보, 서버 요청 수 / 응답 수, 처리 중인 요청 수, 응답속도의 평균, JVM 메모리 사용량 / GC 시간 , CPU 사용량 - 프로파일링 정보 서버 간 요청의 흐름, 각 SQL 쿼리의 수행 시간 / 통계, API 호출 수행 시간, request header 정보, 메소드 호출 시 수행 시간 대표적인 Agent 목록 - Tomcat Agent (Java Agent) : JVM 과 Tomcat WAS 성능 수집 - Host Agent (OS Agen...
    Date2022.01.10 Category제품 여행 Byhwanyseo Views1712 Votes0
    Read More
  3. [CUBRID] QUERY CACHE에 대해

    QUERY CACHE에 대해 큐브리드 11.0 버전이 출시되면서 QUERY CACHE 힌트를 지원하게 되었습니다. 이 글에서는 QUERY CACHE에 대해 알아보는 시간을 가져보겠습니다. 1. QUERY CACHE란? Query Cache는 SELECT 쿼리문을 이용하여 조회한 값을 저장하고 있다가, 같은 쿼리 문을 요청하였을 때 미리 캐싱된 값을 반환하는 DBMS 기능입니다. 자주 변경되지 않는 테이블이 있고 동일한 쿼리를 많이 받는 환경에서 매우 유용하게 사용될 수 있습니다. QUERY_CACHE 힌트를 사용한 쿼리는 전용 메모리 영역에 캐시되고 그 결과도 별도의 디스크 공간에 캐시됩니다. 쿼리 캐시 특징 1. QUERY_CACHE 힌트는 SELECT 쿼리에만 적용됩니다. 2. 테이블에 변화(INSERT,UPDATE,DELETE)가 일어나게 되면 해당테이블과 관련된 Query Cache내의 정보들은 초기화 됩니다. 3. DB를 내리면 Query Cache는 초기화 됩니다. 4. max_query_cache_entries와 query_cache_size_in_pages 설정 값을 통해 캐시될 크기를 조절할 수 있습니다. (default 값은 모두 0 입니다.) max_query_cache_entries는 최대 캐시할 수 있는 질의 개수에 대한 설정 값으로 1이상으로 설정되면 설정된 수 만큼의 질의가 캐시됩니...
    Date2021.10.29 Category제품 여행 By김민종 Views1545 Votes1
    Read More
  4. [CUBRID inside] HASH SCAN Method

    - HASH SCAN Hash Scan은 hash join을 하기 위한 스캔 방법입니다. view 혹은 계층형 질의에서 Hash Scan이 적용되고 있습니다. view와 같은 부질의가 inner로써 조인될 경우 인덱스 스캔을 사용할 수 없는데, 이 경우 많은 데이터를 반복 조회 하게 되면서 성능 저하가 발생됩니다. 이때 Hash Scan이 사용됩니다. 위 그림은 인덱스가 없는 상황에서의 Nested Loop join과 Hash Scan의 차이를 보여줍니다. NL join의 경우 OUTER의 Row수만큼 INNER의 전체 데이터를 스캔합니다. 이에 반해 Hash Scan은 해시 자료구조 빌드 시 INNER 데이터를 한번 스캔하고, 조회시 OUTER를 한번 스캔합니다. 그렇기 때문에 상대적으로 매우 빠르게 원하는 데이터를 조회할 수 있습니다. 여기서는 Hash Scan의 내부 구조를 프로그램 개발 진행 과정의 흐름으로 작성하였습니다. - IN-MEMORY HASH SCAN CUBRID의 Hash Scan은 데이터양에 따라서 in-memory, hybrid, file hash의 자료 구조를 사용하고 있습니다. 먼저 in-memory 구조부터 살펴보겠습니다. memory의 장점은 random access시 성능 저하가 없다는 점입니다. 하지만 단점은 메모리 크기가 한정되어 있다는 것입니다. 단점 때문에 모든...
    Date2021.10.25 Category제품 여행 By박세훈 Views533 Votes2
    Read More
  5. CUBRID TDE(Transparent Data Encryption)

    CUBRID 11버전에 "TDE(Transparent Data Encryption)"가 추가되었습니다! 2021년 1월 출시된 CUBRID11에 TDE가 생김으로써 보안이 한층 강화되었는데요, TDE란 무엇일까요?! Transparent Data Encryption(이하: TDE) 의 약자로 사용자의 관점에서 투명하게 데이터를 암호화하는 것을 의미합니다. 이를 통해 사용자는 애플리케이션의 변경을 거의 하지 않고 디스크에 저장되는 데이터를 암호화할 수 있습니다. 어떤 해커가 한 조직을 해킹했을 때, 훔쳐가고 싶은 것 1위는 당연히 데이터베이스 내에 있는 중요한 데이터일 것입니다. 또는 회사 내부의 악의적인 의도를 가진 직원이 데이터베이스에 로그인하고 USB와 같은 저장매체에 모든 데이터를 옮겨가는 상황이 있을 수도 있습니다. 이러한 상황들에서 데이터를 보호할 수 있는 가장 쉬운 방법은 데이터베이스를 암호화하는 것인데요, 암호화 기술 중 데이터베이스 파일 자체를 암호화하는 기술인 TDE가 좋은 선택이 되겠죠?! 암호화된 데이터베이스는 키가 없으면 접근할 수 없기 때문에, 이 키 파일을 함께 가지고 있지 않다면 도난당한 파일은 쓸모없는 더미 파일이 될테니까요. TDE 암호화 기능은 대칭키 알고리즘을 사...
    Date2021.05.20 Category제품 여행 By김지원 Views1399 Votes1
    Read More
  6. CUBRID의 개발 문화: CUBRID DBMS는 어떻게 개발되고 있을까?

    시작하며 안녕하세요, 유형규 선임연구원입니다. 이번 포스트에서는 먼저 큐브리드 프로젝트의 개발 프로세스를 소개하고, 프로세스를 개선하기 위한 노력과 개발 문화를 소개하려고 합니다. 큐브리드에 입사한 지 벌써 거의 2년 반이 흘렀습니다. 처음 입사했을 때 하나의 팀이었던 개발 조직도 어느새 대단한 동료 개발자분들이 많이 입사하면서 세 개발팀과 QA팀까지 규모가 제법 커지면서 새로 합류한 신입 동료 개발자분들도 많아졌습니다. 입사 후 첫 메이저 버전 릴리즈를 경험하면서 릴리즈 과정을 돌아보며 동료 개발자들과 큐브리드의 개발 프로세스를 조금 더 개선하게 되었습니다. 오픈소스 데이터베이스 프로젝트, CUBRID의 개발 프로세스 큐브리드는 오픈소스 프로젝트 입니다. 큐브리드는 참여, 개방, 공유의 가치를 지향하며 이를 실현하기 위해 정보의 공유와 프로세스의 투명성은 큐브리드의 개발 프로세스와 문화에 녹아있습니다. 큐브리드에 기여하는 모든 개발자는 오픈소스 프로젝트 개발 프로세스를 기반으로 개발을 진행합니다. 이 의미는 큐브리드 사내의 개발자든 큐브리드에 외부 기여자 (컨트리뷰터) 모두 동일한 과정으로 개발을 진행한다는 것입...
    Date2021.04.29 Category오픈소스 이야기 By유형규 Views1456 Votes1
    Read More
  7. CUBRID를 이용한 스니핑 방지 - 패킷암호화

    보안의 필요성 현대인들은 일상생활에 깊숙이 파고든 PC와 스마트폰으로 웹 서핑을 즐깁니다. 그러다 보니 인터넷상에 전송 중인 데이터를 악의적인 의도로 데이터를 엿볼 수도 있습니다. 즉, 누군가가 전송 중인 데이터를 엿볼 수 있는 것을 스니핑(sniffing)이라고 합니다. 대표적으로 계정의 id, pw를 가로채 타인의 개인 정보를 이용하여 물리적인 손해 입히는 사례가 있습니다. 이에 대해 CUBRID는 사용자 데이터를 보호하기 위해서 패킷 암호화를 제공합니다. 패킷 암호화를 적용하면 전송할 데이터에 대해 패킷이 암호화되어 전송됨으로써 누군가 스니핑(sniffing) 하더라도 데이터를 해석할 수 없게 구현할 수 있습니다. CUBRID 패킷암호화 CUBRID는 클라이언트와 서버 간에 전송되는 데이터를 암호화하기 위해 SSL/TLS 프로토콜을 사용합니다. SSL은 대칭형(symmetric)키를 이용하여 송수신 데이터를 암호화합니다. (클라이언트와 서버가 같은 세션키를 공유하여 암복호함). 클라이언트가 서버에 연결할 때마다 새롭게 생성되는 세션키 생성에 필요한 정보를 암호화한 형태로 교환하기 위해서 비 대칭 (asymmetric) 암호화 알고리즘을 사용하며, 이를 위해서 서버의 ...
    Date2021.04.28 Category제품 여행 By황영진 Views2401 Votes1
    Read More
  8. ANTLR, StringTemplate를 사용해서 PL/SQL을 CUBRID Java SP로 변환하기

    ANTLR, StringTemplate를 사용해서 PL/SQL을 CUBRID Java SP로 변환하기 CUBRID DBMS(이하 'CUBRID')는 PL/SQL을 지원하지 않습니다. PL/SQL 문법으로 함수나 서브 프로그램을 만들어서 해왔던 작업들을 CUBRID에서 하려면 Java Stored Function/Procedure(이하 'Java SP')으로 변환해야 합니다. 데이터베이스 개발자나 관리자, 엔지니어는 PL/SQL 문법에는 친숙하지만 프로그래밍 언어에는 친숙하지 않은 경우가 대부분입니다. 또한 어플리케이션 개발은 사용하는 DBMS에 따라 달라지는 부분이 거의 없지만 PL/SQL을 Java SP로 변환하는 것은 새로운 시스템을 개발하는 느낌을 받아서 어려움을 느끼는 것 같습니다. 그래서 PL/SQL 을 Java SP 쉽게 변환하는 방법에 대해서 찾아보던 중 ANTLR에 대해서 알게 되었습니다. ANTLR는 파서를 만드는 도구입니다. 전세계에 있는 컨트리뷰터들로부터 도움을 받아서 다양한 프로그래밍 언어들의 파싱할 수 있도록 문법 파일들을 지원하고 있습니다. 공식 홈페이지에서는 ANTLR에 대해서 아래와 같이 소개하고 있습니다. "ANTLR (ANother Tool for Language Recognition)은 구조화 된 텍스트 또는 이진 파일을 읽고, 처...
    Date2020.12.31 Category오픈소스 이야기 By주영진 Views2797 Votes2
    Read More
  9. [CUBRID inside] Query Process란?

    CUBRID는 open source DBMS입니다. 소스 코드가 공개되어 있어 언제든지 확인하고 기여할 수 있습니다. 많은 사람이 CUBRID의 contributor가 되길 바라봅니다. Query Process란? Query Process는 DBMS의 입력값인 SQL을 낮은 수준의 명령으로 변환하고 그것을 실행하는 전체 작업을 말합니다. SQL에서 가장 먼저 진행되어야 하는 것은 TEXT로 작성된 SQL을 parse tree 구조로 만드는 것입니다. 이 작업은 PARSER에서 진행되는데, CUBRID는 PT_NODE 구조체를 반복적으로 사용하여 SQL을 parse tree로 변환합니다. 이 단계에서 syntax check가 진행되고 오타나 잘못된 예약어 등을 체크합니다. 그리고 SEMANTIC CHECK를 진행하는데, 여기서 작성된 테이블명이나 칼럼명 등이 존재하는 것인지 체크합니다. 다음으로 OPTIMIZER가 parse tree를 최적화하고 PLAN을 생성합니다. parse tree를 최적화하는 것을 QUERY REWRITE 혹은 TRANSFORMATION이라고 합니다. 좋은 성능을 위해 SQL을 다시 작성한다고 생각하면 됩니다. 동일한 데이터를 조회하는 SQL은 다양한 형태로 작성될 수 있습니다. 그렇기 때문에 가장 효과적인 방안으로 변환을 하는 것입니다. 여러 재작성 방법이 있는데 ...
    Date2020.12.24 Category제품 여행 By박세훈 Views1130 Votes1
    Read More
  10. 파일이 정상인가 ?

    기술 지원 시 파일 변조 또는 손상 되어 골치 아픈 경우가 간혹 발생 합니다. - 고객사 지원을 위해 파일을 반입하는 경우 CD 손상으로 인한 파일 손상 - 보안 프로그램(DRM,EFS)에 의한 파일 변조 - 네트워크를 통한 파일 전송 시 파일 손상 파일 변조 또는 손상이 발생하면, 파일 크기가 크게 변하지 않으며 정합성 여부를 명확하게 확인 할 수 없습니다. 이로 인해 기술 지원 시 뭐가 문제인지 당황스러울 때가 있는데요. 이와 같은 상황에서 불필요한 시간 발생을 최소화 할 수 있는 방법에 대해 기술 하였습니다. 무결성 검사 파일이 변조 되어 있지 않다는 검사를 하기 위해 여러가지 방법들이 있습니다만, 가장 효율적이고 쉬운 방법을 소개하겠습니다. md5 (MD5 128비트 해쉬 암호화 함수)툴은 Windows, Linux, OS X 등 많은 시스템에서 기본적으로 설치 되어 있습니다. 참고 자료 MD5-위키백과 : https://ko.wikipedia.org/wiki/MD5 암호화 해쉬 함수-위키백과 : https://ko.wikipedia.org/wiki/%EC%95%94%ED%98%B8%ED%99%94_%ED%95%B4%EC%8B%9C_%ED%95%A8%EC%88%98 사용 방법 Windows * 실행 > cmd certutil -hashfile <filename> <hash functuin> * ex cmd> certut...
    Date2020.08.29 Category제품 여행 By윤준수 Views2394 Votes1
    Read More
Board Pagination Prev 1 2 3 4 5 6 7 8 9 10 ... 16 Next
/ 16

Contact Cubrid

대표전화 070-4077-2110 / 기술문의 070-4077-2113 / 영업문의 070-4077-2112 / Email. contact_at_cubrid.com
Contact Sales