｢ホント人柱erが優秀だと勉強になるよね。ありがたい。｣

FreeNAS 9.3で、｢ファイル使用率100%と表示され、ファイル削除ができなくなった。｣場合の対応法。もしくは優秀な人柱er>>460が、スレ住人と共に問題対処してゆく様子の記録。

関連：FreeNAS Project

使用率98%だったデータセット(RAID-Z1)の使用率が100%になってファイル削除できなくなったンゴ・・・

460 ：DNS未登録さん：2015/01/17(土) 16:35:48.79 ID:???

9.2.1.8から9.3にアップデートしたら
使用率98%だったデータセット(RAID-Z1)の使用率が100%になってファイル削除できなくなったンゴ・・・
2%どこ行っちまったんだ・・・

461 ：DNS未登録さん：2015/01/17(土) 16:40:43.05 ID:???

どこ行ったもなにも、普通に使いきっただけじゃないの・・・？

462 ：DNS未登録さん：2015/01/17(土) 16:45:37.45 ID:???

CIFSでネットワークゴミ箱使ってたら中身消してからOFFにするとか

463 ：DNS未登録さん：2015/01/17(土) 16:51:34.13 ID:???

いんや、保存用に眠らせていたやつだったから確かに空はあったんだ。
別のボリュームのデータ・セットも空き領域が激減してしまったんで、60GB分データ削除したら、
2.9GBしか空き領域が増えなかった。もう訳がわからん・・・
ボリュームは全部Raid-Z1で圧縮オプションとかなし。

2台のマシンで9.3アップデートかけたんだが全部空き領域が減った。
2データセットあったんだが2データセットで使用率100%になってファイル削除出来なくて途方にくれてる・・・

464 ：DNS未登録さん：2015/01/17(土) 16:52:53.19 ID:???

>>460
zfsで80%以上使うとかありえんわ

100%でもzfs rollbackはできたはず

465 ：DNS未登録さん：2015/01/17(土) 16:58:55.24 ID:???

>462
ゴミ箱つかってるから、中身消そうとおもったんだが、使用率100%で消えない・・・
sshでrm -R でまるっと消しても消えない・・・
で、ゴミ箱offにして.recycle消えた！っとおもったら、空き容量増えない・・・

>464
ですよねー
今まで全然問題なかったから調子こいちゃってて。
とりあえず詰んだんで、別途データ退避してデータセットぶっ潰すことにしました。

466 ：DNS未登録さん：2015/01/17(土) 17:05:59.68 ID:???

アップデータは一時的にzfsのvolumeにおかれて展開されるから、そこで満杯になったか、swapの容量が増えて満杯になったか。

むしろアップデートが正常成功してちゃんとbootできるだけで十分幸運。

467 ：DNS未登録さん：2015/01/17(土) 17:15:55.77 ID:???

>>466
はじめそれかな―とも思ったんだけど、
一時的領域に指定していなかったデータ・セットも空き領域０になってしまった。
swapも試しに1ドライブ2GBから1GBに減らしてみたんだがだめだった。

いまなんとなくWebGUIからストレージ→ボリュームを見たんだが、
ボリュームとしては利用可能領域が142GBあることになってるっぽいんだが、
配下のデータセットは利用可能0ってなってる。
俺には謎すぎる。

>むしろアップデートが正常成功してちゃんとbootできるだけで十分幸運。
ほんと2台とも空き領域の問題以外は何ら問題ないんだよなぁ。
今後はきちんと空き領域アラート上がらない程度に空き容量確保します。

468 ：DNS未登録さん：2015/01/17(土) 17:21:26.87 ID:???

>>467
# zfs list
NAME伏せていいから見せて

469 ：DNS未登録さん：2015/01/17(土) 17:27:26.26 ID:???

>>467

NAMEAME USED AVAIL REFER MOUNTPOINT
ZFS-RAID-Z1 5.32T 0 394K /mnt/ZFS-RAID-Z1
ZFS-RAID-Z1/hoge 5.32T 0 5.32T /mnt/ZFS-RAID-Z1/hoge
ZFS-RAID-Z1/hogehoge 797M 0 797M /mnt/ZFS-RAID-Z1/hogehoge
ZFS-RAID-Z2 7.75T 0 198K /mnt/ZFS-RAID-Z2
ZFS-RAID-Z2/hoge 7.75T 0 7.75T /mnt/ZFS-RAID-Z2/hoge
freenas-boot 940M 6.29G 31K none
freenas-boot/ROOT 932M 6.29G 31K none
freenas-boot/ROOT/default 932M 6.29G 932M legacy
freenas-boot/grub 7.77M 6.29G 7.77M legacy

ぱっと見単純に使い切ってる感じなんだ

470 ：DNS未登録さん：2015/01/17(土) 17:28:50.62 ID:???

すまん
>>469
>>468
宛です

471 ：DNS未登録さん：2015/01/17(土) 17:57:07.72 ID:???

自分のはまだ9.2なんだが、freenas-bootって/dev/ada0p1 or 2でzfs rootでおｋ？

しかし不思議だなあ。2%空きがあるなら100GB近くの容量はあるだろうに、どこに消えたんだろ。
うちのはこんな感じ
$ zpool list
NAME SIZE ALLOC FREE CAP DEDUP HEALTH ALTROOT
share 2.72T 1012G 1.73T 36% 1.00x ONLINE /mnt

$ zfs list
NAME USED AVAIL REFER MOUNTPOINT
share 1012G 1.69T 400K /mnt/share
share/.system 8.48M 1.69T 176K /mnt/share/.system
share/.system/cores 2.12M 1.69T 1.12M /mnt/share/.system/cores
share/.system/rrd-<略> 144K 1.69T 144K /mnt/share/.system/rrd-<略>
share/.system/samba4 2.11M 1.69T 1.34M /mnt/share/.system/samba4
share/.system/syslog-<略> 3.93M 1.69T 3.26M /mnt/share/.system/syslog-<略>
share/home 6.01G 1.69T 5.83G /mnt/share/home
share/hoge 104G 1.69T 104G /mnt/share/hoge
share/fuga 119G 1.69T 103G /mnt/share/fuga
share/piyo 359G 1.69T 271G /mnt/share/piyo
share/foo 121G 1.69T 121G /mnt/share/foo
share/bar 302G 1.69T 181G /mnt/share/bar

472 ：DNS未登録さん：2015/01/17(土) 18:03:08.89 ID:???

どこかのバージョンから、幾らか容量がリザーブされるようになったって話だったと思ったが＞zfs
なんにせよ、消しても容量が増えないんじゃなく、増えるのが遅いだけって言う話じゃなかったかな
なので、じっと待ってみるのも手の一つかな、と

473 ：DNS未登録さん：2015/01/17(土) 18:06:58.80 ID:???

ついでに一つのでかいファイル消すより、小さいファイルを沢山消すほうが処理が早く終わるんじゃなかったかな
例えば1Gのファイル一つ消すより100Mのファイル10個消す方が良かったような気がする

474 ：460：2015/01/17(土) 18:43:01.12 ID:???

>>471
いろいろサンクス。いろいろ見てくれて涙でるわ。
>freenas-boot
これすまんよくわからん。USBからブートしてるからそいつかなと思ってる。
fstabこんな感じ

$ cat fstab
freenas-boot/grub /boot/grub zfs rw,noatime 1 0
/dev/ada0p1.eli none swap sw 0 0
/dev/ada1p1.eli none swap sw 0 0
/dev/ada2p1.eli none swap sw 0 0
/dev/ada3p1.eli none swap sw 0 0
/dev/ada4p1.eli none swap sw 0 0
/dev/ada5p1.eli none swap sw 0 0
/dev/ada6p1.eli none swap sw 0 0

>うちのはこんな感じ
そうそう、こんな感じだとおもったんが・・・
うちも　zpool list　みてみた

$ zpool list
NAME SIZE ALLOC FREE EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
ZFS-RAID-Z1 8.12T 7.99T 143G - 1% 98% 1.00x ONLINE /mnt
ZFS-RAID-Z2 10.9T 10.7T 214G - 1% 98% 1.00x ONLINE /mnt
freenas-boot 7.44G 941M 6.52G - - 12% 1.00x ONLINE -

WebGUIのボリューム情報はこれの内容がでてるっぽい。

>>472
なるほど。ちょっと放置してみる。ありがとう！

>>473
数kbのファイル消してみようとやってみだんだが、使用率100％なんで
No space left on device
ってでてやっぱ消せなかったorz

475 ：DNS未登録さん：2015/01/17(土) 19:07:01.25 ID:???

>>474
よくわからんなあ。
適当に電卓で計算してもいろいろ容量が合わない気がするし何が起きてるんだろ。

これ以上はfreebsdのフォーラムなりメーリスに投げないと解決できないと思う。

476 ：DNS未登録さん：2015/01/17(土) 19:25:02.81 ID:???

これがZFSは削除処理が遅いってやつですか。
物理メモリ増やせば、そこの処理も速くなる？

477 ：DNS未登録さん：2015/01/17(土) 19:30:15.74 ID:???

>>476
いや、zfsをはじめとしたcowなfsはファイルを消すにも空き容量が必要だから、空き容量がないとファイルが消せないってだけ。

478 ：DNS未登録さん：2015/01/17(土) 19:32:11.68 ID:???

>>477
ありがとう
空き容量か。

479 ：DNS未登録さん：2015/01/17(土) 19:37:30.56 ID:???

>>476
この辺の話
http://docs.oracle.com/cd/E19253-01/819-6260/gayra/index.html

480 ：DNS未登録さん：2015/01/17(土) 19:45:09.59 ID:???

とりあえず、zfs list -t snapshot して、要らんモノ消せばいいと思うんだが……

481 ：460：2015/01/17(土) 20:05:04.89 ID:???

>>475
いろいろありがとう。
とりあえず、データを別環境に移してデータセット削除する方向でがんばるわ。
緊急性は全くないので方向性に決められただけでも感謝だわ。

ちなみに、自分がアップデートした環境は全部データセットの空き領域が減ったんだが、
ちょうど全部ボリュームとデータセットで2%の空き容量のズレがあることが見えてきた。

こんな感じ

サーバー１（今回詰んだほう）
　ボリューム1 使用率 98% →データセット 使用率 100%
　ボリューム2 使用率 98% →データセット 使用率 100%
　※両方1バイトの空き容量も無い。

サーバー２
　ボリューム1　使用率 96% →データセット 使用率 99%(60GB消して2.9GBしか空かなかったやつ)
ボリューム2 使用率 89% →データセット 使用率 91%

アップデート前は確かに空き容量はあったんだが、
アップデート後になんかしらで全データセットから2%持ってかれて、
98%のやつは死亡って感じかなぁ。

まぁ80%以下にしてなかった自分が悪いんだが、こんな結果になるとは・・・

>>480
スナップショットはなんもない。
実データは100%になったので消せない・・・
アップデート前は空きがあったから普通にデータ消せてた。

482 ：DNS未登録さん：2015/01/17(土) 20:16:07.69 ID:???

これがデッドロックてやつか(ちg

483 ：DNS未登録さん：2015/01/17(土) 20:29:11.21 ID:???

>>482
あながち間違ってない・・・

まあ、460には貴重な人柱erとして頑張って欲しいところ。

484 ：DNS未登録さん：2015/01/17(土) 20:36:02.25 ID:???

>>481さんには気の毒だけど、ZFS初心者の自分としてはこのスレは非常にためになります。
引き続き人柱としてがんばってください(外道)

485 ：460：2015/01/17(土) 20:57:06.56 ID:???

>>482
ほんと間違ってない。
うますぎて怒りをおぼえます（笑）

>>484
ゲス山さん了解しました。
別環境へ確保する方向ですが、
それには20TBくらいのボリュームが必要なため、
当面は貯金に励みます（白目）

9.3へのアップデート前は必ず使用量を80%以下にしましょう。

486 ：DNS未登録さん：2015/01/17(土) 21:05:49.36 ID:???

>>484
「次はあなたの番ですよ。（ニッコリ）」

487 ：DNS未登録さん：2015/01/17(土) 21:07:00.61 ID:???

だから最初から set quota しておけとあれほど

488 ：DNS未登録さん：2015/01/17(土) 21:11:24.50 ID:???

とりあえずなら、USB メモリかなんかで RAID-Z に RAID-Z 追加とかして容量増やせたと思うが、
これはこれで後が面倒かもしれん

489 ：DNS未登録さん：2015/01/17(土) 21:13:36.55 ID:???

暇だから再現実証したい
どうすればいい？

490 ：DNS未登録さん：2015/01/17(土) 21:14:02.43 ID:???

zfsは入れたもの出せないから結局作り直さないといけなくなるだろw

491 ：DNS未登録さん：2015/01/18(日) 04:08:12.38 ID:???

小さいzfsボリュームだけ移転して削除するとか
冗長ディスク分削って移転先用意するとか
出来ない物だろうか？

492 ：DNS未登録さん：2015/01/18(日) 07:06:02.65 ID:???

だからUFS2にしておけとｗ

493 ：DNS未登録さん：2015/01/18(日) 09:00:25.65 ID:???

ZFS初心者としてはこういった問題見ると怖くなる
結局よくわからないまま運用しちゃってるからな
とりあえず空き容量確保だけは確実にしておこう・・・

494 ：DNS未登録さん：2015/01/18(日) 10:42:27.50 ID:???

データセット削除もcowだったらだめだけど。

小さいデータセットを別に用意したプールに
send/recvで退避して、その後データセット
を削除して少し空きを作るとか。

495 ：DNS未登録さん：2015/01/18(日) 12:29:57.07 ID:???

実際99%になったら削除できませんて、ファイルシステムとして大きすぎる欠陥でしょ？
商用運用の現場ではZFSの削除できません問題はどうやって回避してんの？

496 ：DNS未登録さん：2015/01/18(日) 12:45:08.24 ID:???

運用してるボリュームに対してメモリが足りないからじゃないの？

497 ：DNS未登録さん：2015/01/18(日) 12:47:25.50 ID:???

あ、上に違うって書いてあるか

498 ：DNS未登録さん：2015/01/18(日) 13:33:38.68 ID:???

ファイルサーバ目的で商用なら Solaris でいいじゃん？

499 ：DNS未登録さん：2015/01/18(日) 13:52:41.76 ID:???

>>489
FreeNAS 9.2上でゴミ3台使ってRAIZ-Z構成して、98%くらいまでゴミデータ配置したタイミングで9.3にアップグレードすればいいんじゃね？

500 ：DNS未登録さん：2015/01/18(日) 14:02:39.21 ID:???

消したいファイルに、まず/dev/nullを上書きしてみて。
いくつかやって空きができれば、後は普通にrmできるようになる。

501 ：DNS未登録さん：2015/01/18(日) 14:06:32.22 ID:???

>>495
cowなファイルシステムは全部そういう仕組みだから、それを分かったうえで使うものだけど。

簡単な回避方法はquota設定。
というか、どんなファイルシステムであれ、90%以上使うとか運用としては破綻してて話にならないけどな。

502 ：DNS未登録さん：2015/01/18(日) 14:17:16.27 ID:???

そっかquotaで90%超えたら書き込み禁止にしておくのか

504 ：460：2015/01/18(日) 19:34:31.11 ID:???

空き容量0のバカが通ります。

>>499
全くもってその通りです。

>>500
わー上書きの発想なかったわー
やってみてうまくファイル容量ゼロにできた！！！！サンクス！！！
状況としては、ボリュームの空き容量は増えて、データセットの空きは増えず使用率100%ですが、
多分ボリュームとしての空き容量が97%に以下になれば、データセットの空き容量が100%未満になりそうな雰囲気

データセットの空き容量がボリュームの空き容量より2%足りなくなるのって安全マージンかなんかついたのかな？って妄想。
で、もともとマージンぶっちぎってる俺みたいなバカがアップデートでマージン振りきって100%になるみたいな。

ちょっとファイル選定して消し作業してみます！

505 ：DNS未登録さん：2015/01/18(日) 19:59:42.18 ID:???

これは良い話を聞いたな

508 ：460：2015/01/18(日) 20:26:22.87 ID:???

460です。
結果ですが、>>500さんの手法でデータを0バイトにしまくったところ、
ボリュームの空き容量を96%になったところでデータセットの空き容量が99%となり、
ファイルをrmおよびcifs経由で削除出来るようになりました！

住人の皆様ありがとうございました！

今回わかったことは、9.2から9.3にアップデートした場合、
データセットの空き容量が2%消費される（RAID-Z構成のみ確認）
※ボリュームとしての空き容量は変わらず

zfsで使用率100%になっても>>500さんの指摘どおりスペシャルファイルで上書き可能

といったところでしょうか。

>>487
>>502
ほんとこれかと

>>503
人柱の世界へようこそ

509 ：DNS未登録さん：2015/01/18(日) 20:31:07.91 ID:???

>>508
すげえw

マジ乙いいこと聞いたわ。

510 ：DNS未登録さん：2015/01/18(日) 20:50:43.78 ID:???

冥土からの回復おめでとうございます >>460

511 ：DNS未登録さん：2015/01/18(日) 21:00:39.26 ID:???

ホント人柱erが優秀だと勉強になるよね。ありがたい。

512 ：DNS未登録さん：2015/01/18(日) 21:06:16.90 ID:???

特に身体を張ったギャグが優秀だったな

513 ：DNS未登録さん：2015/01/18(日) 21:09:04.80 ID:???

>>504
あなたマジ英雄です！
貴重な情報をありがとうございます。
空き容量の注意は良く聞くけど、実際に使い切った人の事例と復帰方法って殆ど無かった気もしますし。

514 ：513：2015/01/18(日) 21:11:50.38 ID:???

quota設定 と /dev/null上書き のレスを書いてくれた方々もありがとうございます。
ちょうど今からFreeNASをインストールするところでした。

515 ：460：2015/01/18(日) 21:19:32.40 ID:???

>>509
1日くらいの出来事なのにもっと長くかんじたわ
ちなみに2%は多分見かけ上の使用で、データ自体は生きている感じ

>>511
やっぱ住人の方々の知識と多角的な視野がすごい勉強になった

>>512
身体を張ってくれたのは、おれのアニメ録画保存サーバーなのであった

>>510
あざーす！
上であげた2台の他に、あと3台freenasのサーバーがあるんだけど、
そのうちの1台のHDDがぶっ壊れたことが、さっき発覚して、
これから　HDD交換→リビルド中のお祈り　をしなければならなくたった・・・orz

また三途の川を見てきます　( ﾟ∀ﾟ)･∵. ｸﾞﾊｯ!!

【NAS】FreeNAS Part12【FreeBSD】より