본문 바로가기

아카이브/PubArt

zstandard 압축

728x90

zstandard 압축

Facebook에서 개발한 고속 데이터 압축 알고리즘, 오픈소스.

 

천룡이가 PubArt를 새로만들면서 zstd 압축을 지원하고 싶다고 하여 zstd 압축을 구현해 보았습니다.

최신 기술을 항상 저를 설레게 해요.

 

default에서 9.4kb

압축 레벨을 19로 변경 > 8.7kb

압축된 용량이 gzip보다 작고 brotli보다 큼

 

brotli -> zstd -> deflate -> gzip 순서로 배치

조사 결과 예상 답안이 생겼습니다.

To solve this situation, Zstd offers a training mode, which can be used to tune the algorithm for a selected type of data. Training Zstandard is achieved by provide it with a few samples (one file per sample). The result of this training is stored in a file called "dictionary", which must be loaded before compression and decompression. Using this dictionary, the compression ratio achievable on small data improves dramatically.

https://facebook.github.io/zstd/

 

  1. 훈련 모드라는 것을 이용하면 압축 효율을 높일 있다고 합니다. 딕셔너리라는 파일에 저장된다고 합니다! 점진적으로 좋은 알고리즘으로 조정된다고 합니다.
  2. 시험군이 많지 않아 다른 압축 로직보다 일부는 향상되었지만 최고 성능을 나타내지 않은 것으로 보입니다. 위의 훈련모드를 이용하면 향상될 수도 있을 같습니다!

 

'아카이브 > PubArt' 카테고리의 다른 글

PubArt ERD  (0) 2024.03.20