こんばんは、色々な情報をありがとうございます。 freebsd-boot 先頭で 512k freebsd-swap 4G freebsd-zfs 全て
をgptzfsbootでブートしていて、zfsへの 書き込みが、2TBを超えたころにブートしなくなるのは困ったものです。 2021年7月22日(木) 10:00 Tomoaki AOKI <junch...@dec.sakura.ne.jp>: > 青木@名古屋です。 > > 今回の件と直接は関係ないかもしれませんが...。 > 直接嵌っていなくても、実は同じような問題がpmbrだけでなく > gpt(zfs)bootにもあって、gptzfsbootはキックできているのに > gptzfsbootがZFSのbootfsを見つけられないという可能性も > あるかもしれません。 > > FreeBSDで使っているのが最大2Tのドライブばかりなので > 完全スルーしていたcommitだったのですが、[1]のようなのが > 1週間ちょっと前に入っていました。 > > 2T超のドライブかつ、 > ・プライマリGPTヘッダ（ディスクのほぼ先頭）が壊れているか > ・freebsd-bootパーティションが2T超の領域にまたがっていて > その中の少なくとも1セクタがLBAの値が32bitを溢れる位置に > 存在する > の少なくとも一方が該当する場合に起動不能になるpmbrの不具合を > 修正するものです。 > > 古くから（FreeBSDに限らず）自分でOSをインストールしてきたような > 人なら「インストール時点では」ほぼ脊髄反射で回避しているような > 状況でないと起こらない問題ですが、過去、gpt(zfs)bootがそれまでの > デフォルトのfreebsd-bootパーティションサイズに収まらなくなったり > boot1.efiがそれまで既存のESPが無かった場合にFreeBSDのインストーラ > が作成していたサイズのESPに収まらなくなったりという問題が出て > いたので、それに嵌ってパーティションを拡大したかったのに後ろに > 調整の利くswap等のパーティションが無かったりで泣く泣く後方に > 作り直した途端に起動できなくなるという状況はあり得ますよね。 > > ※私の場合、freebsd-bootはパーティションまるごと読み込まれて > 居座る性質上異義のある方も多いとは思いますが、freebsd-bootも > ESPも過剰なサイズを取っていますし、UEFI環境でもLegacyブートが > 不可能でないならfreebsd-bootも構成しておいて、ファームなり > boot1.efiなりloader.efiなりがトラブってUEFI起動できなくなった > 状況の保険にしています。 > > > これが今日13系と12系にMFCされていました。[2] [3] > が、11系にはされてないようです。 toolchainの違いで問題が > 出ない（筈と見込まれている）のか今年9月末にはEOL [4]なので > 何らかのセキュリティ修正のMFCが来るまで保留されてしまって > いるのかは分かりませんが...。 > もしかすると、13系と12系で苦情が来なければstable/11にも > MFCされるということかもしれません。 > > [1] > > https://lists.freebsd.org/pipermail/dev-commits-src-main/2021-July/005744.html > > [2] > > https://lists.freebsd.org/pipermail/dev-commits-src-branches/2021-July/003726.html > > [3] > > https://lists.freebsd.org/pipermail/dev-commits-src-branches/2021-July/003737.html > > [4] https://www.freebsd.org/security/#sup > > > On Tue, 20 Jul 2021 09:50:53 +0900 > Hideo Kuwabara <k...@superconnect.or.jp> wrote: > > > きりやま さん、ありがとうございます。 > > > > > そうですね、JBODでやるのが早いと思いますが、1個壊れた時が怖いなと思い止めました。ブートローダーをストライピングに置くと故障率が倍になると言われて、移動しました。 > > > > JBODの出来るIFの乗ってないでBIOS+GPT > > もあったので、この方法に統一しました。 > > > > > > > > > > 2021年7月20日(火) 6:56 KIRIYAMA Kazuhiko <k...@truefc.org>: > > > > > On Mon, 19 Jul 2021 09:50:03 +0900, > > > Hideo Kuwabara wrote: > > > > > > > > 返信ありがとうございます。 > > > > Root on ZFSの甘い罠でした。 > > > > > > > > gptzfsbootを使っていて、gptのパーティションなので、4Tは大丈夫かと思っていたのですが、思い込みでした。 > > > > > > > > gpt はあくまで mbr の上位互換があるので、ブートブロックは2T以内に置かないと、2Tを使った頃にブート出来なくなります。 > > > > > > > > /boot を移動してから tarで解凍すると動くとか、bootコードを再書き込みすると治るとかありますが、運が良いと治るようです。 > > > > > > > > > > > > ブートローダーの置いてあるファイルシステムの最後GPTの管理テーブルを書くらしいですが、BIOSが最後をレポートするときにINT13しかないので、2Tを超えた時に正しい値を返すと限らないとのことです。 > > > > > > > > 管理テーブルが行方不明になると救いようが無いと思います。ストライピングだし無理かと思います。 > > > > > > > > UEFIの場合にはAPIがあって大丈夫のようですね。 > > > > > > > > 状態は、USBでブートすれば、ZFSは見えない状態でしたが、-f でimportしたら普通に見えるようになりました。 > > > > > > > > こうなるとデータ救っておいて再インストールかと思ってます。 > > > > > > > > あ、一つ試してない心残りがあります。 > > > > gpart recover ada0 > > > > > > > > これをやってから再インストールすれば良かったなと心残りの状態です。 > > > > > > > > 最終的には、プールを1個追加して/bootdirを > > > > zfsroot にマウントしました。ここに/bootを移動してから、リンクしました。 > > > > boodir は、freebsd-zfs > > > で1gのスライスを切りました。UEFIがないので、GPTの数バイトの管理テーブルはここに書かれると思います。 > > > > ブートローダーのプールは、zfs mirror > > > > に一応しました。 > > > > > > > > 現在は6TB辛い書き込んでますが、問題無くリブートできております。 > > > > > > このあたりの話は [1] にありますが，結局 RAID カードの JBOD > > > でディスクを 2TB に分割した状態にしてやれば FreeBSD 側で認識 > > > するので，そいつらをまとめて RAIDZ3 とかにするしかできないの > > > ではと思います．うちでは以下のようなかんじで使ってます． > > > > > > root@vm:~ # uname -a > > > FreeBSD xx.xxxxxx.xxx 14.0-CURRENT FreeBSD 14.0-CURRENT #1 > > > main-n244894-f61e92ca5a23: Fri Feb 19 07:41:10 JST 2021 > > > ad...@xx.xxxxxx.xxx:/usr/obj/usr/src/amd64.amd64/sys/GENERIC amd64 > > > root@vm:~ # zpool list > > > NAME SIZE ALLOC FREE CKPOINT EXPANDSZ FRAG CAP DEDUP > > > HEALTH ALTROOT > > > bootpool 1.88G 320M 1.56G - - 1% 16% 1.00x > > > ONLINE - > > > zroot 20.2T 4.77T 15.5T - - 8% 23% 1.00x > > > ONLINE - > > > root@vm:~ # zpool status > > > pool: bootpool > > > state: ONLINE > > > status: Some supported features are not enabled on the pool. The pool > can > > > still be used, but some features are unavailable. > > > action: Enable all features using 'zpool upgrade'. Once this is done, > > > the pool may no longer be accessible by software that does not > > > support > > > the features. See zpool-features(5) for details. > > > scan: scrub repaired 0B in 00:00:02 with 0 errors on Wed Nov 4 > 20:36:05 > > > 2020 > > > config: > > > > > > NAME STATE READ WRITE CKSUM > > > bootpool ONLINE 0 0 0 > > > mirror-0 ONLINE 0 0 0 > > > mfid0p2 ONLINE 0 0 0 > > > mfid1p2 ONLINE 0 0 0 > > > mfid2p2 ONLINE 0 0 0 > > > mfid3p2 ONLINE 0 0 0 > > > mfid4p2 ONLINE 0 0 0 > > > mfid5p2 ONLINE 0 0 0 > > > mfid6p2 ONLINE 0 0 0 > > > mfid7p2 ONLINE 0 0 0 > > > mfid8p2 ONLINE 0 0 0 > > > mfid9p2 ONLINE 0 0 0 > > > mfid10p2 ONLINE 0 0 0 > > > mfid11p2 ONLINE 0 0 0 > > > > > > errors: No known data errors > > > > > > pool: zroot > > > state: ONLINE > > > status: Some supported features are not enabled on the pool. The pool > can > > > still be used, but some features are unavailable. > > > action: Enable all features using 'zpool upgrade'. Once this is done, > > > the pool may no longer be accessible by software that does not > > > support > > > the features. See zpool-features(5) for details. > > > scan: scrub repaired 0B in 01:14:07 with 0 errors on Wed Nov 4 > 21:50:23 > > > 2020 > > > config: > > > > > > NAME STATE READ WRITE CKSUM > > > zroot ONLINE 0 0 0 > > > raidz3-0 ONLINE 0 0 0 > > > mfid0p4 ONLINE 0 0 0 > > > mfid1p4 ONLINE 0 0 0 > > > mfid2p4 ONLINE 0 0 0 > > > mfid3p4 ONLINE 0 0 0 > > > mfid4p4 ONLINE 0 0 0 > > > mfid5p4 ONLINE 0 0 0 > > > mfid6p4 ONLINE 0 0 0 > > > mfid7p4 ONLINE 0 0 0 > > > mfid8p4 ONLINE 0 0 0 > > > mfid9p4 ONLINE 0 0 0 > > > mfid10p4 ONLINE 0 0 0 > > > mfid11p4 ONLINE 0 0 0 > > > > > > errors: No known data errors > > > root@vm:~ # > > > > > > > > > [1] > > > > http://freebsd.1045724.x6.nabble.com/ZFS-I-O-error-blocks-larger-than-16777216-are-not-supported-tt6265032.html#none > > > > > > > > > > > > > > > > > > > 2021年7月18日(日) 0:52 skyblue <zyxju...@gmail.com>: > > > > > > > > > 悸村です。 > > > > > 当方、たいていは ufs を使用しているので、zfs に関して詳しくな > > > > > いのですが、ちょっと気になる点があります。 > > > > > > > > > > On Mon, 5 Jul 2021 19:47:28 +0900 > > > > > Hideo Kuwabara <k...@superconnect.or.jp> wrote: > > > > > > > > > > > ハードディスクは入れ替えたばかりなので、ハードの不良ではないと思います。 > > > > > > 少し前に、 installworld, installkernel で 11.4p4 で動かしていました。 > > > > > > > > > > /usr/src/UPDATING の 'ZFS notes' はお読みになられたでしょうか。 > > > > > > ZFS notes > > > > > > --------- > > > > > > When upgrading the boot ZFS pool to a new version, always follow > > > > > > these two steps: > > > > > > > > > > > > 1.) recompile and reinstall the ZFS boot loader and boot block > > > > > > (this is part of "make buildworld" and "make installworld") > > > > > > > > > > > > 2.) update the ZFS boot block on your boot drive > > > > > > > > > > > > The following example updates the ZFS boot block on the first > > > > > > partition (freebsd-boot) of a GPT partitioned drive ada0: > > > > > > "gpart bootcode -p /boot/gptzfsboot -i 1 ada0" > > > > > > > > > > > > Non-boot pools do not need these updates. > > > > > > > > > > 恐らく、installworld の直後あたりに、 > > > > > > "gpart bootcode -p /boot/gptzfsboot -i 1 ada0" > > > > > と、boot block を更新する作業が必須のように書いてあります。 > > > > > > > > > > 我が家では追試のテストが出来ない現状です。 > > > > > こちらの勘違いでしたら、外している筈なので、ご容赦ください。 > > > > > > > > > > なお、当該の注記は、11.4 と 13.0 では、幾らか差異があります。 > > > > > > > > > > --- /usr/src/UPDATING 2020-06-12 20:48:06.000000000 +0900 > > > > > +++ /y2/UPDATING-fb13.0-p3 2021-04-09 09:24:00.000000000 +0900 > > > > > > > > > > @@ -1707,9 +2268,11 @@ > > > > > > > > > > 2.) update the ZFS boot block on your boot drive > > > > > > > > > > - The following example updates the ZFS boot block on the > first > > > > > - partition (freebsd-boot) of a GPT partitioned drive ada0: > > > > > - "gpart bootcode -p /boot/gptzfsboot -i 1 ada0" > > > > > + The following example updates the ZFS boot block on the > > > > > + freebsd-boot partition of a GPT partitioned drive ada0: > > > > > + "gpart bootcode -p /boot/gptzfsboot -i $N ada0" > > > > > + The value $N will typically be 1 (if booting from BIOS) or > 2 > > > (if > > > > > + booting from EFI). > > > > > > > > > > 13.0 では、いわゆる legacy BIOS と UEFI では別の指定をするように > > > > > 記述されています。 > > > > > > > > > > > > > > > On Mon, 5 Jul 2021 19:47:28 +0900 > > > > > Hideo Kuwabara <k...@superconnect.or.jp> wrote: > > > > > > > > > > > 桑原と申します。 > > > > > > > > > > > > FreeBSD11.4 p4 にして暫くしたら突然bootしなくなりました。 > > > > > > > > > > > > > > > > > > Attempting Boot From Hard Drive (C:) > > > > > > ZFS: i/o error - all block copies unavaillavle > > > > > > ZFS: cat't read MOS of pool zroot > > > > > > gptzfsboot: failed to mount default pool zroot > > > > > > > > > > > > FreeBSD/x86 boot > > > > > > > > > > > > 復旧のヒントを頂ければと思います。 > > > > > > > > > > > > ハードディスクは入れ替えたばかりなので、ハードの不良ではないと思います。 > > > > > > 少し前に、 installworld, installkernel で 11.4p4 で動かしていました。 > > > > > > > > > > > > USBでbootしても、zpool は見えませんでした。 > > > > > > そこで、 zpool import zroot しましたが はねられ 指示に従って > > > > > > zpool import -f zroot したら zpool は正常に見えるようになり、 > > > > > > 手動でマウントすると中身は正しく見えますが、ブートできません。 > > > > > > 何かお呪いが必要でしょうか？ > > > > > > > > > > -- > > > > > 悸村成一 > > > > > _______________________________________________ > > > > > freebsd-users-jp@freebsd.org mailing list > > > > > https://lists.freebsd.org/mailman/listinfo/freebsd-users-jp > > > > > To unsubscribe, send any mail to " > > > freebsd-users-jp-unsubscr...@freebsd.org > > > > > " > > > > > > > > > -- > > > > > > > > Super Connect Network > > > > Hideo Kuwabara > > > > _______________________________________________ > > > > freebsd-users-jp@freebsd.org mailing list > > > > https://lists.freebsd.org/mailman/listinfo/freebsd-users-jp > > > > To unsubscribe, send any mail to " > > > freebsd-users-jp-unsubscr...@freebsd.org" > > > > > > > > > > --- > > > きりやま <k...@truefc.org> > > > _______________________________________________ > > > freebsd-users-jp@freebsd.org mailing list > > > https://lists.freebsd.org/mailman/listinfo/freebsd-users-jp > > > To unsubscribe, send any mail to " > freebsd-users-jp-unsubscr...@freebsd.org > > > " > > > > > -- > > > > Super Connect Network > > Hideo Kuwabara > > _______________________________________________ > > freebsd-users-jp@freebsd.org mailing list > > https://lists.freebsd.org/mailman/listinfo/freebsd-users-jp > > To unsubscribe, send any mail to " > freebsd-users-jp-unsubscr...@freebsd.org" > > > -- > 青木 知明 [Tomoaki AOKI] <junch...@dec.sakura.ne.jp> > _______________________________________________ > freebsd-users-jp@freebsd.org mailing list > https://lists.freebsd.org/mailman/listinfo/freebsd-users-jp > To unsubscribe, send any mail to "freebsd-users-jp-unsubscr...@freebsd.org > " > -- Super Connect Network Hideo Kuwabara _______________________________________________ freebsd-users-jp@freebsd.org mailing list https://lists.freebsd.org/mailman/listinfo/freebsd-users-jp To unsubscribe, send any mail to "freebsd-users-jp-unsubscr...@freebsd.org"
