/aptmp/(ユーザ名)/ のファイル・ディレクトリの整理のお願い(最終更新日: 2019年10月2日)現状の確認 ↑/aptmp/(ユーザ名) を使用しているユーザは、/aptmp/info/(ユーザ名) に以下の値が記載されています。
計算サーバにログインし、まずはこれらの値をご確認下さい(10月1日頃計測)。
なお、この値は動的に変わるものではなく、計測時点での値です。
% ssh fe1.scl.kyoto-u.ac.jp -l user ← 計算サーバfe1にログイン % cat /aptmp/info/user ← ディスクの使用量等の確認 #======================================================== # size of /aptmp/user/ #======================================================== $ du -hs /aptmp/user/ 621G /aptmp/user ← ディスク使用量:621GB #======================================================== # distribution of file sizes in /aptmp/user/ #======================================================== ↓ ファイルサイズ分布 $ /usr/bin/time -p hist_filesize /aptmp/user/ 1k: 37837 2k: 74500 4k: 74491 8k: 11540 16k: 27693 32k: 43606 64k: 34979 128k: 17078 256k: 6581 512k: 67333 1M: 671 2M: 216 4M: 104 8M: 133 16M: 168 32M: 253 64M: 1243 128M: 803 256M: 121 512M: 40 1G: 32 2G: 4 4G: 2 8G: 1 16G: 1 128G: 1 real 610.59 user 12.50 sys 61.19 #======================================================== # estimated file copy time #======================================================== size: num time [s] --------------------------- 1k: 37837 252 2k: 74500 440 4k: 74491 572 8k: 11540 85 16k: 27693 233 32k: 43606 428 64k: 34979 452 128k: 17078 311 256k: 6581 164 512k: 67333 2,075 1M: 671 23 2M: 216 10 4M: 104 7 8M: 133 15 16M: 168 32 32M: 253 84 64M: 1243 675 128M: 803 733 256M: 121 188 512M: 40 115 1G: 32 184 2G: 4 46 4G: 2 46 8G: 1 46 16G: 1 92 128G: 1 738 --------------------------- total copy time: 8,057 [s] ← ファイルコピー予測時間:8,057秒 average copy rate: 91 [MiB/s]
このケースでは比較的ディスク使用量が少なく、ファイルコピー予測時間も短いため、不要なファイル・ディレクトリの削除で構いません。 ファイル・ディレクトリの整理↑
ファイルの整理を行うコマンド ↑
ディレクトリのディスク使用量を表示 ↑$ du -hs (ディレクトリ)
ディレクトリ内のファイルのサイズ分布を表示 ↑$ hist_filesize (ディレクトリ) ファイルコピー時間の見積 ↑
rsyncコマンドでファイルをコピーする時間を見積もります。 $ hist_filesize (ディレクトリ) > hist_filesize.out $ copytime hist_filesize.outもしくは $ hist_filesize (ディレクトリ) | copytime 条件を指定してファイルを検索 ↑
pigzコマンドを使用して高速にファイルを圧縮 ↑$ pigz -p (使用コア数) (ファイル)
ディレクトリを tar.gz 形式で圧縮 ↑$ targz -p (使用コア数) (ディレクトリ) $ targz -p (使用コア数) --rm (ディレクトリ) # --rm オプションを付けると圧縮後に(ディレクトリ)を削除します
変更履歴↑
|