CAD日記

主にAutoCADのことについて書いているけど、近頃は投資系ネタに注力している。自動売買、仮想通貨、PC関係、プログラミングなど。@caddiary

コンピュータ全般

Windows Serverのデータ重複除去をやってみた

投稿日:

Windows Serverにはデータ重複除去という機能があって、ディスク容量を大幅に節約できる。
一般的には50%程度の使用量を減らすことができ、用途によってこの数字が変わるが仮想化ライブラリでは90%もの削減効果が得られるとされている。
ファイルをチャンクと呼ばれる可変長のブロック(32~128KB)に分割して、チャンク単位で内容が一致しているかどうかを判定している。よって、ファイル単位での一致による削減効果以上の結果が得られる。

Windows Server 2012から採用された機能で、サーバーマネージャーから容易な操作で有効化できる。
・サーバーの役割追加で、「データ重複除去」を有効とする
・ボリュームから、ドライブを指定して右クリックで「データ重複除去の構成」 ※Cドライブは指定不可

気になるのはパフォーマンス。重複を検知して除去するのはリアルタイムではなくバッチ処理で実行。夜間帯など普段人が使わない時間とすることを想定している。重複除去の対象とするファイルについて、経過日数を指定できて既定値は5日。この数字を小さくすることで、重複除去の効果が大きくなるが、バッチ処理でのオーバーヘッドが大きくなる。通常利用(つまりファイルIOのレスポンス)はどうかということは、最後に検証結果を記す。

実機サーバーでのサイズの変化は以下の通り。
【重複除去実施前(使用領域221GB)】

【重複除去実施後(使用領域103GB】

サーバーマネージャーの表記では、重複除去率53%。

重複除去によるデータ削減効果は、対象ドライブにデータがある場合に限られる。バックアップ用にと、別ドライブや別サーバーにコピーした場合は、データ削減前のファイル容量になる。また、何らかの理由で重複除去機能を無効にする場合は、対象ドライブ内にデータ削減前の容量が必要となることも注意が必要となる。

約500MB(ファイル数133フォルダ数18)のファイル群に対して、アクセスを行った際の時間計測行ったところ、重複除去ドライブと非重複除去ドライブで体感上の違いはわからなかった。
だったらと、、一般的によく使われているストレージ性能評価ツール「CrystalDiskMark」を使って計測した。
【重複除去実施前】

【重複除去実施後】

以下MSサイト記事より、重複除去最適化ジョブによってファイルの更新日時が変わるという懸念があったため、実機で調査。
CSV でデータ重複除去を有効にした後の既知の問題

1.重複除去無効状態から有効状態に変更を実施
2.1が完了した後に、1の実施開始日時以降に変更されたファイルがないことを確認
CSV=クラスタ共有ボリュームで、複数のHyper-V仮想マシンをクラスター化するものであるため、物理サーバーでは関係ないというのが結論。

【データ重複除去の仕組み】
以下の図は、別サイトのわかりやすいものを引用した。

ようするに、ファイルの実体をチャンクストアに移して、ファイルからみると実体であるチャンクストアのポインターを持つということで、チャンクの重複があればあるほど使用するディスクのサイズが減るというものだ。
こんな仕組みということを考えれば、重複除去によってファイルIOが極端に遅くなることはないと言えるし、場合によっては速くすらなることがわかる。

【参考URL】
第4回 ストレージの利用効率を高めるデータ重複除去機能
Windows Server 重複除去を試してみた!(その1)
Windows Server 2012のデータ重複排除機能を試す

-コンピュータ全般

執筆者:


comment

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください

関連記事

no image

ZoneIdとWinZip

IEやメーラでインターネットからダウンロードしたファイルには、ZoneIdという印が付く。 Windows XP SP2から付いたセキュリティ機能の一つである。 NTFSフォーマットのディスク上でのみ …

no image

LHAとZIP

こんな本を買った。 LHAとZIP 圧縮アルゴリズム×プログラミング入門 まだ、冒頭の数ページを読んだだけだ。 初版が2003年の本だから、7年も前のものだ。 この業界、3年もすれば様変わりしているの …

no image

続々)SSD

続)SSDの続き。 SATAのSSDをUSB2.0接続したら激遅だったが、SATA接続したら よっぽど速くなるだろうということで終わっていた。 結果を先に記そう。 USB2.0に比べれば激速なわけだが …

no image

スマホのメモリ

スマホのメモリってどんだけあるのか、今までよくわからなかった。 例えばおいらが使っているiPhoneだと、16GB・64GB・128GBなんて選択があって、 これをメモリって呼ぶことがあるんだけど、メ …

no image

nwizと半透明ウインドウ

nwizの正式名称は、NVIDIA nView Desktop Manager。 こいつが原因のトラブルに過去5回遭遇している。 トラブルとは、アプリのある操作がきっかけで、自分のウインドウが 半透明 …