青木@名古屋です。 あまり参考にならないかもしれませんが...。 私の場合、基本的に「メイン環境には最新のstableブランチ（今なら13）を 使う」ポリシーで運用しているので、所謂「.0リリース」に向けて新たな stableブランチが来られる直前のコミットの状態でhead（今の呼びだと main）環境の更新を凍結し、
・メイン環境をブランチ直後の最新stableに更新した直後、 ・ブートコードを全て（Legacy／EFIとも）更新して起動できるのを確認し、 ・まずmainの方をzpool upgradeして起動・動作に問題ないのを確認し。 ・stableの方のホームディレクトリのデータセットをmainの方に zfs send | zfs recvしてからmain環境の方で問題ないのを確認 してからstable環境の方もzpool upgradeするようにしています。 両方のコードがブランチ名関係を除いて完全に一致している状況でしか upgradeしないのがミソで、最悪でもZFS関係のコードとブートコードが 完全に一致していさえすれば相互のsend | recvで非互換問題に遭遇 することもない、と。 ひとつ不安なのが、現状、mainはOpenZFSの開発版、stable/13は リリース版をマージするように変更されてしまったことですね。 これ、次にstable/14がブランチするとき破綻しそうな気しか しないんですが...。 最悪でも、両バージョンで使用できる featureに差がない状況でないと危険で。 On Thu, 22 Jul 2021 21:16:15 +0900 KIRIYAMA Kazuhiko <k...@truefc.org> wrote: > On Tue, 20 Jul 2021 09:50:53 +0900, > Hideo Kuwabara wrote: > > > > きりやま さん、ありがとうございます。 > > > > そうですね、JBODでやるのが早いと思いますが、1個壊れた時が怖いなと思い止めました。ブートローダーをストライピングに置くと故障率が倍になると言われて、移動しました。 > > > > JBODの出来るIFの乗ってないでBIOS+GPT > > もあったので、この方法に統一しました。 > > > > > > > > > > 2021年7月20日(火) 6:56 KIRIYAMA Kazuhiko <k...@truefc.org>: > > > > > On Mon, 19 Jul 2021 09:50:03 +0900, > > > Hideo Kuwabara wrote: > > > > > > > > 返信ありがとうございます。 > > > > Root on ZFSの甘い罠でした。 > > > > > > > > gptzfsbootを使っていて、gptのパーティションなので、4Tは大丈夫かと思っていたのですが、思い込みでした。 > > > > > > > > gpt はあくまで mbr の上位互換があるので、ブートブロックは2T以内に置かないと、2Tを使った頃にブート出来なくなります。 > > > > > > > > /boot を移動してから tarで解凍すると動くとか、bootコードを再書き込みすると治るとかありますが、運が良いと治るようです。 > > > > > > > > > > > ブートローダーの置いてあるファイルシステムの最後GPTの管理テーブルを書くらしいですが、BIOSが最後をレポートするときにINT13しかないので、2Tを超えた時に正しい値を返すと限らないとのことです。 > > > > > > > > 管理テーブルが行方不明になると救いようが無いと思います。ストライピングだし無理かと思います。 > > > > > > > > UEFIの場合にはAPIがあって大丈夫のようですね。 > > > > > > > > 状態は、USBでブートすれば、ZFSは見えない状態でしたが、-f でimportしたら普通に見えるようになりました。 > > > > > > > > こうなるとデータ救っておいて再インストールかと思ってます。 > > > > > > > > あ、一つ試してない心残りがあります。 > > > > gpart recover ada0 > > > > > > > > これをやってから再インストールすれば良かったなと心残りの状態です。 > > > > > > > > 最終的には、プールを1個追加して/bootdirを > > > > zfsroot にマウントしました。ここに/bootを移動してから、リンクしました。 > > > > boodir は、freebsd-zfs > > > で1gのスライスを切りました。UEFIがないので、GPTの数バイトの管理テーブルはここに書かれると思います。 > > > > ブートローダーのプールは、zfs mirror > > > > に一応しました。 > > > > > > > > 現在は6TB辛い書き込んでますが、問題無くリブートできております。 > > > > > > このあたりの話は [1] にありますが，結局 RAID カードの JBOD > > > でディスクを 2TB に分割した状態にしてやれば FreeBSD 側で認識 > > > するので，そいつらをまとめて RAIDZ3 とかにするしかできないの > > > ではと思います．うちでは以下のようなかんじで使ってます． > > > > > > root@vm:~ # uname -a > > > FreeBSD xx.xxxxxx.xxx 14.0-CURRENT FreeBSD 14.0-CURRENT #1 > > > main-n244894-f61e92ca5a23: Fri Feb 19 07:41:10 JST 2021 > > > ad...@xx.xxxxxx.xxx:/usr/obj/usr/src/amd64.amd64/sys/GENERIC amd64 > > > root@vm:~ # zpool list > > > NAME SIZE ALLOC FREE CKPOINT EXPANDSZ FRAG CAP DEDUP > > > HEALTH ALTROOT > > > bootpool 1.88G 320M 1.56G - - 1% 16% 1.00x > > > ONLINE - > > > zroot 20.2T 4.77T 15.5T - - 8% 23% 1.00x > > > ONLINE - > > > root@vm:~ # zpool status > > > pool: bootpool > > > state: ONLINE > > > status: Some supported features are not enabled on the pool. The pool can > > > still be used, but some features are unavailable. > > > action: Enable all features using 'zpool upgrade'. Once this is done, > > > the pool may no longer be accessible by software that does not > > > support > > > the features. See zpool-features(5) for details. > > > scan: scrub repaired 0B in 00:00:02 with 0 errors on Wed Nov 4 20:36:05 > > ところで，zpool-features(5) を使ってらっしゃる方はいらっしゃ > いますでしょうか？ 私は怖くて未だに `zpool upgrade' してない > んですが... ;-) > > > > 2020 > > > config: > > > > > > NAME STATE READ WRITE CKSUM > > > bootpool ONLINE 0 0 0 > > > mirror-0 ONLINE 0 0 0 > > > mfid0p2 ONLINE 0 0 0 > > > mfid1p2 ONLINE 0 0 0 > > > mfid2p2 ONLINE 0 0 0 > > > mfid3p2 ONLINE 0 0 0 > > > mfid4p2 ONLINE 0 0 0 > > > mfid5p2 ONLINE 0 0 0 > > > mfid6p2 ONLINE 0 0 0 > > > mfid7p2 ONLINE 0 0 0 > > > mfid8p2 ONLINE 0 0 0 > > > mfid9p2 ONLINE 0 0 0 > > > mfid10p2 ONLINE 0 0 0 > > > mfid11p2 ONLINE 0 0 0 > > > > > > errors: No known data errors > > > > > > pool: zroot > > > state: ONLINE > > > status: Some supported features are not enabled on the pool. The pool can > > > still be used, but some features are unavailable. > > > action: Enable all features using 'zpool upgrade'. Once this is done, > > > the pool may no longer be accessible by software that does not > > > support > > > the features. See zpool-features(5) for details. > > > scan: scrub repaired 0B in 01:14:07 with 0 errors on Wed Nov 4 21:50:23 > > > 2020 > > > config: > > > > > > NAME STATE READ WRITE CKSUM > > > zroot ONLINE 0 0 0 > > > raidz3-0 ONLINE 0 0 0 > > > mfid0p4 ONLINE 0 0 0 > > > mfid1p4 ONLINE 0 0 0 > > > mfid2p4 ONLINE 0 0 0 > > > mfid3p4 ONLINE 0 0 0 > > > mfid4p4 ONLINE 0 0 0 > > > mfid5p4 ONLINE 0 0 0 > > > mfid6p4 ONLINE 0 0 0 > > > mfid7p4 ONLINE 0 0 0 > > > mfid8p4 ONLINE 0 0 0 > > > mfid9p4 ONLINE 0 0 0 > > > mfid10p4 ONLINE 0 0 0 > > > mfid11p4 ONLINE 0 0 0 > > > > > > errors: No known data errors > > > root@vm:~ # > > > > > > > > > [1] > > > http://freebsd.1045724.x6.nabble.com/ZFS-I-O-error-blocks-larger-than-16777216-are-not-supported-tt6265032.html#none > > > > > > > > > > > > > > > > > > > 2021年7月18日(日) 0:52 skyblue <zyxju...@gmail.com>: > > > > > > > > > 悸村です。 > > > > > 当方、たいていは ufs を使用しているので、zfs に関して詳しくな > > > > > いのですが、ちょっと気になる点があります。 > > > > > > > > > > On Mon, 5 Jul 2021 19:47:28 +0900 > > > > > Hideo Kuwabara <k...@superconnect.or.jp> wrote: > > > > > > > > > > > ハードディスクは入れ替えたばかりなので、ハードの不良ではないと思います。 > > > > > > 少し前に、 installworld, installkernel で 11.4p4 で動かしていました。 > > > > > > > > > > /usr/src/UPDATING の 'ZFS notes' はお読みになられたでしょうか。 > > > > > > ZFS notes > > > > > > --------- > > > > > > When upgrading the boot ZFS pool to a new version, always follow > > > > > > these two steps: > > > > > > > > > > > > 1.) recompile and reinstall the ZFS boot loader and boot block > > > > > > (this is part of "make buildworld" and "make installworld") > > > > > > > > > > > > 2.) update the ZFS boot block on your boot drive > > > > > > > > > > > > The following example updates the ZFS boot block on the first > > > > > > partition (freebsd-boot) of a GPT partitioned drive ada0: > > > > > > "gpart bootcode -p /boot/gptzfsboot -i 1 ada0" > > > > > > > > > > > > Non-boot pools do not need these updates. > > > > > > > > > > 恐らく、installworld の直後あたりに、 > > > > > > "gpart bootcode -p /boot/gptzfsboot -i 1 ada0" > > > > > と、boot block を更新する作業が必須のように書いてあります。 > > > > > > > > > > 我が家では追試のテストが出来ない現状です。 > > > > > こちらの勘違いでしたら、外している筈なので、ご容赦ください。 > > > > > > > > > > なお、当該の注記は、11.4 と 13.0 では、幾らか差異があります。 > > > > > > > > > > --- /usr/src/UPDATING 2020-06-12 20:48:06.000000000 +0900 > > > > > +++ /y2/UPDATING-fb13.0-p3 2021-04-09 09:24:00.000000000 +0900 > > > > > > > > > > @@ -1707,9 +2268,11 @@ > > > > > > > > > > 2.) update the ZFS boot block on your boot drive > > > > > > > > > > - The following example updates the ZFS boot block on the first > > > > > - partition (freebsd-boot) of a GPT partitioned drive ada0: > > > > > - "gpart bootcode -p /boot/gptzfsboot -i 1 ada0" > > > > > + The following example updates the ZFS boot block on the > > > > > + freebsd-boot partition of a GPT partitioned drive ada0: > > > > > + "gpart bootcode -p /boot/gptzfsboot -i $N ada0" > > > > > + The value $N will typically be 1 (if booting from BIOS) or 2 > > > (if > > > > > + booting from EFI). > > > > > > > > > > 13.0 では、いわゆる legacy BIOS と UEFI では別の指定をするように > > > > > 記述されています。 > > > > > > > > > > > > > > > On Mon, 5 Jul 2021 19:47:28 +0900 > > > > > Hideo Kuwabara <k...@superconnect.or.jp> wrote: > > > > > > > > > > > 桑原と申します。 > > > > > > > > > > > > FreeBSD11.4 p4 にして暫くしたら突然bootしなくなりました。 > > > > > > > > > > > > > > > > > > Attempting Boot From Hard Drive (C:) > > > > > > ZFS: i/o error - all block copies unavaillavle > > > > > > ZFS: cat't read MOS of pool zroot > > > > > > gptzfsboot: failed to mount default pool zroot > > > > > > > > > > > > FreeBSD/x86 boot > > > > > > > > > > > > 復旧のヒントを頂ければと思います。 > > > > > > > > > > > > ハードディスクは入れ替えたばかりなので、ハードの不良ではないと思います。 > > > > > > 少し前に、 installworld, installkernel で 11.4p4 で動かしていました。 > > > > > > > > > > > > USBでbootしても、zpool は見えませんでした。 > > > > > > そこで、 zpool import zroot しましたが はねられ 指示に従って > > > > > > zpool import -f zroot したら zpool は正常に見えるようになり、 > > > > > > 手動でマウントすると中身は正しく見えますが、ブートできません。 > > > > > > 何かお呪いが必要でしょうか？ > > > > > > > > > > -- > > > > > 悸村成一 > > > > > _______________________________________________ > > > > > freebsd-users-jp@freebsd.org mailing list > > > > > https://lists.freebsd.org/mailman/listinfo/freebsd-users-jp > > > > > To unsubscribe, send any mail to " > > > freebsd-users-jp-unsubscr...@freebsd.org > > > > > " > > > > > > > > > -- > > > > > > > > Super Connect Network > > > > Hideo Kuwabara > > > > _______________________________________________ > > > > freebsd-users-jp@freebsd.org mailing list > > > > https://lists.freebsd.org/mailman/listinfo/freebsd-users-jp > > > > To unsubscribe, send any mail to " > > > freebsd-users-jp-unsubscr...@freebsd.org" > > > > > > > > > > --- > > > きりやま <k...@truefc.org> > > > _______________________________________________ > > > freebsd-users-jp@freebsd.org mailing list > > > https://lists.freebsd.org/mailman/listinfo/freebsd-users-jp > > > To unsubscribe, send any mail to "freebsd-users-jp-unsubscr...@freebsd.org > > > " > > > > > -- > > > > Super Connect Network > > Hideo Kuwabara > > _______________________________________________ > > freebsd-users-jp@freebsd.org mailing list > > https://lists.freebsd.org/mailman/listinfo/freebsd-users-jp > > To unsubscribe, send any mail to "freebsd-users-jp-unsubscr...@freebsd.org" > > > > --- > きりやま <k...@truefc.org> > _______________________________________________ > freebsd-users-jp@freebsd.org mailing list > https://lists.freebsd.org/mailman/listinfo/freebsd-users-jp > To unsubscribe, send any mail to "freebsd-users-jp-unsubscr...@freebsd.org" -- 青木 知明 [Tomoaki AOKI] <junch...@dec.sakura.ne.jp> _______________________________________________ freebsd-users-jp@freebsd.org mailing list https://lists.freebsd.org/mailman/listinfo/freebsd-users-jp To unsubscribe, send any mail to "freebsd-users-jp-unsubscr...@freebsd.org"
