「検証する」ステップがあれば、現在の初回ダウンロードと同じくらい時間がかかるだろう。データダウンロードではなく、インデックス作成がボトルネックなのだ。 […] 初回ダウンロードの速度は、プロトコルの一括データ転送レートを反映していない。制限要因はダウンロード中のインデックス作成だ。
申し訳ないが、これらのユーザーのディスクと CPU は 100%ではなかった。多くのユーザーにとってボトルネックがデータベースやインデックスではないことは明らかだ。
bzip2 は 33%の圧縮率を提供し、ダウンロードから数メガバイトを節約する：
[jgarzik@bd data]$ tar cvf /tmp/1.tar blk0001.dat
blk0001.dat[jgarzik@bd data]$ tar cvf /tmp/2.tar blk*.dat blk0001.dat blkindex.dat
[jgarzik@bd data]$ bzip2 -9v /tmp/[12].tar /tmp/1.tar: 1.523:1, 5.253 bits/byte, 34.34% saved, 55439360 in, 36402074 out. /tmp/2.tar: 1.512:1, 5.291 bits/byte, 33.86% saved, 103690240 in, 68577642 out.
33%を「圧縮不能」とは呼ばない