Dec 30 14:22:56 daemon kernel: (aprobe0:siisch1:0:15:0): SOFT_RESET. ACB: 00 00 00 00 00 00 00 00 00 00 00 00
Dec 30 14:22:56 daemon kernel: (noperiph:siisch1:0:(aprobe1:siisch1:0:0:0): CAM status: Unconditionally Re-queue Request
Dec 30 14:22:56 daemon kernel: (aprobe0:siisch1:0:15:0): CAM status: Unconditionally Re-queue Request
Dec 30 14:22:56 daemon kernel: -1:(aprobe0:ffffffff): siisch1:0:rescan already queued
Dec 30 14:22:56 daemon kernel: 15:(noperiph:0): siisch1:0:Error 5, Retry was blocked
Dec 30 14:22:56 daemon kernel: -1:ffffffff): (aprobe1:rescan already queued
Dec 30 14:22:56 daemon kernel: siisch1:0:0:0): Error 5, Retry was blocked
Dec 30 14:22:56 daemon kernel: (aprobe1:siisch1:0:0:0): SOFT_RESET. ACB: 00 00 00 00 00 00 00 00 00 00 00 00
Dec 30 14:22:56 daemon kernel: (aprobe0:siisch1:0:15:0): SOFT_RESET. ACB: 00 00 00 00 00 00 00 00 00 00 00 00
Dec 30 14:22:56 daemon kernel: (noperiph:(aprobe1:siisch1:0:0:0): CAM status: Unconditionally Re-queue Request
Dec 30 14:22:56 daemon kernel: (aprobe0:siisch1:0:15:0): CAM status: Unconditionally Re-queue Request
Dec 30 14:22:56 daemon kernel: siisch1:0:(aprobe0:-1:siisch1:0:ffffffff): 15:rescan already queued
Dec 30 14:22:56 daemon kernel: 0): (noperiph:Error 5, Retry was blocked
Dec 30 14:22:56 daemon kernel: siisch1:0:-1:(aprobe1:ffffffff): siisch1:0:rescan already queued
Dec 30 14:22:56 daemon kernel: 0:0): Error 5, Retry was blocked

うわー。軽く調べると、これはケーブル不良・接触不良の疑いがある。慌ててケーブルを抜くと埃だらけ…。やばい。埃を除去して再接続すると、今度はこう来た。

Dec 30 14:40:30 daemon kernel: GEOM: ada6: corrupt or invalid GPT detected.
Dec 30 14:40:30 daemon kernel: GEOM: ada6: GPT rejected -- may not be recoverable.

ありゃりゃ。GPTが壊れた？でも、rawデバイスでpoolに入れているから、GPTがどうの出てくるのはおかしい。ということで、このpoolを構成している2台のディスクの頭の方を見てみる。

# dd if=/dev/ada6 count=4 | hd
...
00000200  45 46 49 20 50 41 52 54  00 00 01 00 5c 00 00 00  |EFI PART....\...|
...
4+0 records in
4+0 records out
2048 bytes transferred in 0.000387 secs (5294849 bytes/sec)
# dd if=/dev/ada7 count=4 | hd
00000000  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
*
4+0 records in
4+0 records out
2048 bytes transferred in 0.000433 secs (4725187 bytes/sec)
00000800

なるほど、片方にEFIディスクラベルが残っており、GEOMがそれを拾ってしまったようだ。なぜ今になって問題となったのかはわからないが、変な信号でどこかが壊れたか、それによって回復処理が走ったとか？
さて、ZFS On-Disk Specification（悲しいかな、オフィシャルな置き場所は失われたのでググって探そう）のSection 1.3によれば、ZFSボリュームの頭に置かれるvdev labelの頭の8KBはブランク、つまりZFSでは関知しないようなので、クリアしてしまおう。

# dd if=/dev/zero of=/dev/ada6 count=4
4+0 records in
4+0 records out
2048 bytes transferred in 0.000024 secs (87145228 bytes/sec)

しばらくすると、ボリュームがZFSで認識されるようになったので、zpool importで無事poolが復活した。ああ、よかった。今年もデータロスなく年を越せそうです。

The post ZFSは砕けない appeared first on 工夫と趣向と分別と。.

HDDに戻したところたちまち安定して快適にはなったが、ただの撤退ではおもしろくないので、安くなってきたSSDを導入することにした。ちょうど、Crucial m4 64GBが7,000円を切っているので、これを採用した。

さて、FreeBSDに限らないが、SSDを使う上で当然気になるのがTRIM命令のサポート有無である。FreeBSD 9.0や8.3ではadaドライバ、GEOM、UFS2がこれをサポートしており、シンプルな非冗長構成ではすんなりこれを享受できる。だが、ZFSは未サポート、さらにGEOMもmirrorやjournalを通すとUFS2がTRIM命令のサポート有無を検知できず無効になってしまうようだ。
何とも残念な現状だが、システム（前述のように/usr/local, /var等は含まない）は書込がほとんど発生せず、また同居予定のZFS ZIL, L2ARCパーティションは多くの書込があるものの、冗長化した上でたまに片肺にしてTRIMすれば十分だと考えた。そして/のファイルシステムは、ZFSとUFS+GEOM mirrorを比較検討し、読み込み主体であることと、先にTRIMがサポートされそうなことから後者にした。信頼性を重視し、ジャーナリングはGEOM journalではなくSUJを選択。

前置きが長くなったが、購入したSSD二台にシステムを載せ替える手順のメモを開陳。

# Suppose the SSD #2 is at /dev/ada2

# TRIM the disk using newfs(8)
newfs -E ada2

# Create a GPT partition table
gpart create -s got ada2

# Put the FreeBSD boot loader in it
#  "-b 34" will suffice but it is always nice to align partitions with 4KB
gpart add -b 40 -s 64k -t freebsd-boot ada2
#  Install the (non-ZFS) boot loader
gpart bootcode -b /boot/pmbr -p /boot/gptboot -i 1 ada2

# Add a UFS partition for the system root
#  Create a partition for / (20GB)
gpart add -t freebsd-ufs -s 20g ada2
#  Make it GEOM mirrored
gmirror load
gmirror label root ada2p2
#  Make sure GEOM mirror is available on boot
echo 'geom_mirror_load="YES"' >> /boot/loader.conf
#  Create a UFS2 filesystem on it
newfs -j -t /dev/mirror/root

# Copy the system root to /dev/mirror/root using:
# - dump(8) & restore(8) from a snapshot of the current / if it is UFS
# - rsync -aHAX
# or:
# - good old tar|tar

# Add a swap partition (20GB - sufficiently bigger than the amount of RAM on this box)
gpart add -t freebsd-swap -s 20g ada2
#  Make it GEOM mirrored
gmirror label swap ada2p3

# Create a partition for ZIL (8GB - half the amount of the RAM on this box)
gpart add -t freebsd-zfs -l zil1 -s 8g ada2
zpool add tank log /dev/gpt/zil1

# Use the rest of the disk for ZFS L2ARC
gpart add -t freebsd-zfs -l l2arc1 ada2
zpool add tank cache /dev/gpt/l2arc1

# Edit /etc/fstab
/dev/mirror/root /    ufs  rw,noatime 1 1
/dev/mirror/swap none swap sw         0 0

# Edit /boot/loader.conf
vfs.root.mountfrom="ufs:/dev/mirror/root"

#
# Boot from the SSD #2
#

# This may be needed
zpool import -fa

# Suppose the SSD #1 is at /dev/ada2

# TRIM the disk using newfs(8)
newfs -E ada1

# Create a GPT partition table
gpart create -s gpt ada1

# Put the FreeBSD boot loader in it
gpart add -b 40 -s 64k -t freebsd-boot ada1
gpart bootcode -b /boot/pmbr -p /boot/gptboot -i 1 ada1

# Get the system root mirrored
gpart add -t freebsd-ufs -s 20g ada1
gmirror insert root ada1p2

# Get the swap area mirrored
gpart add -t freebsd-swap -s 20g ada1
gmirror insert swap ada1p3

# Get the ZIL area mirrored
gpart add -t freebsd-zfs -l zil0 -s 8g ada1
zpool attach tank /dev/gpt/zil1 /dev/gpt/zil0

# Add a second L2ARC partition (mirroring N/A)
gpart add -t freebsd-zfs -l l2arc0 ada1
zpool add tank cache /dev/gpt/l2arc0

こんな感じです。けっこう簡単だよね。
ポイントは、移行後の新システムを作る際、単一パーティションでGEOM mirrorを構成し、そこに/を作って構築すること。GEOM mirrorは、マウントした状態のファイルシステムパーティションをミラー構成にすることはできないようだ。上記のように片肺（というか単肺）のGEOM mirrorボリュームを作ってそこからブートすれば、あとは二肺目をそこにアタッチ（GEOM用語ではinsert）するだけで良い。

おまけ情報1

こうして構築は完了したが、不意のシステムダウンが起きると、リブート後にZFSボリュームが見えない（zpool importしないといけない）問題が発生しており少し困っている。最近VirtualBoxが不安定（4.1.10くらいから？）で、たまにカーネルパニックを起こすので少し深刻だ。
そのときは/var/named/etc/namedbが見えないため/etc/rc.d/namedが/etc/namedbを壊してしまうので、シングルユーザモードで

ln -sf /var/named/etc/namedb /etc/
zpool import -fa

と直してからスタートアップする必要がある。

おまけ情報2

GEOM mirrorは何やら曲者で、まちがえて作ってしまったときなどに、削除しようとgmirror stop nameとしてもGPTラベル名やGPTIDやらのデバイス名で設定が生き残ってしまう。ちゃんと削除するには、

sysctl kern.geom.label.gpt.enable=0
sysctl kern.geom.label.gptid.enable=0

と一時的に別名デバイスが生えない状態にしてから

gmirror stop name

とすれば良いようだ。

おまけ情報3

以前発見した問題が解決。少なくともFreeBSD 9.0では、eSATA port multiplierにディスクを差したときに既存ディスクのデタッチが発生しないようになっていた。ﾔｯﾀﾈ＼(^o^)／

The post ML110 G6の起動ディスクをSSDに変更 appeared first on 工夫と趣向と分別と。.

vfs.zfs.txg.timeout="5"
vfs.zfs.prefetch_disable="1"

/etc/sysctl.conf:

# 2GB
vfs.zfs.txg.write_limit_override=2147483648

The post FreeBSD 8-STABLEではZFS用チューニングはほぼ不要 appeared first on 工夫と趣向と分別と。.

届いたUSBメモリを差すと、（ほかにSCSIやumassのデバイスがなければ）da0として認識される。初期状態ではFATでフォーマットされているのでこれをクリアしてセットアップ開始。

1. まずは確認
   

   camcontrol devlist
   gpart show da0

2. 上の出力を見てMBRパーティションテーブルを消去
   

   gpart delete -i 1 da0
   gpart destroy da0

3. GPTパーティションを作ってZFS-only FreeBSDの起動ディスクにする
   

   gpart create -s gpt da0
   gpart add -b 34 -s 128 -t freebsd-boot da0
   gpart bootcode -b /boot/pmbr -p /boot/gptzfsboot -i 1 da0
   gpart add -b 162 -t freebsd-zfs -l usbdisk0 da0

4. USBメモリなのでnoatimeが重要
   

   zpool create -o atime=off zusbroot /dev/gpt/usbdisk0

5. 事前に/tmp, /var, /usr/localなどはパーティションを分けておく（/tmpはメモリが潤沢にあるならtmpmfs推奨）
6. 現在の/がzrootだとして、zusbrootにコピーする手順
   

   zfs snaptshot zroot@now
   zfs send zroot@now | zfs receive -F zusbroot
   zfs destroy zroot@now

7. 新しい/boot/loader.confにvfs.root.mountfrom="zfs:zusbroot"を設定
   

   vi /zusbroot/boot/loader.conf

8. 新しい/etc/fstabにzusbroot / zfs rw 0 0を設定
   

   vi /zusbroot/etc/fstab

9. /usrを分けている場合は/usrも作ってコピーした後、zfs unmountしてからマウントポイントを/usrに設定
   

   zfs unmount zusbroot/usr
   zfs set mountpoint=/usr zusbroot/usr

10. /は自動マウントの対象外
    

    zfs set mountpoint=legacy zusbroot

11. あとは/rootや/usr/share/man/**/cat*などを何とかして、平時はread onlyにしたい
    

    zfs set -o readonly=on zusbroot
    zfs set -o readonly=on zusbroot/usr

何か抜けてるかもしれないし間違ってるかもしれないので自分で意味を考えながらリスクを承知でやってください。

リセットしてF10でBIOSセットアップに入って二箇所（USB Device Boot PriorityをHighにして、起動デバイス順序でUSBメモリを他のHDDより上に移動）直したら、ちゃんとブートするか確認。
うまく起動できたら、もう一つUSBメモリを背面にでも差して、da1について同様に設定する。zpool createのプール名をzusbroot2のように変え、今度は上記操作をzusbroot→zusbroot2と読み替えればいい。以後、大きめのアップグレード、特にZFSのバージョンが上がった際にrsync -xaHAXでファイルを同期し、gpart bootcodeでbootcodeの更新を行えばいいだろう。寿命を気にしてのUSBメモリ化なのでミラーリングはしない。なお、最初はattachでミラー後にdetachして置いておけばいいかと思ったら、detachした時点でどこのプールにも属さなくなってしまうため、/をマウントできずブートできないディスクになってしまうのでダメだ。
最後に、時々はsudo find -x / -mtime -1hで最近いじられたファイルやディレクトリがないかを調べ、da0に頻繁に書き込みアクセスが発生したりしていないか見るといいだろう。また、gstat(8)も見た方がいい。俺はそれでatime=offし忘れに気付いたりした。
そんな感じで、うちのサーバは赤いやつで動いています。

The post ML110 G6の起動ディスクをUSBメモリに変更 appeared first on 工夫と趣向と分別と。.

real memory  = 8589934592 (8192 MB)
avail memory = 8256999424 (7874 MB)

なので、

vm.kmem_size="1536M"
vm.kmem_size_max="15360M"
vfs.zfs.arc_max="3584M"

としてみた。あと、どうも入ったばかりの-DZIO_USE_UMAが不安定要因のようなので、sys/modules/zfs/Makefileでコメントアウトしてリビルド。sysctl(8), vmstat(8), top(1)などの出力をウォッチしながら、3日目に入ったところ。さて、落ちずにどこまで行くかな。

The post 続・FreeBSD 8/amd64でZFS appeared first on 工夫と趣向と分別と。.

The post ZFS+NFSでkmem_map too small appeared first on 工夫と趣向と分別と。.

vm.kmem_size="1536M"
vm.kmem_size_max="1536M"
vfs.zfs.arc_min="128M"
vfs.zfs.arc_max="512M"

2GBとか4GBでの例はちらほら見かけるが、8GBなら値を比例で増やせばいいというものではないので、無駄をなくすべくこれでも調整には試行錯誤した。今時8GBくらい普通だと思うので、ほかにも事例があれば知りたい。

The post FreeBSD 8/amd64でZFSを使うときのパラメータ appeared first on 工夫と趣向と分別と。.

% sudo dd if=/dev/zero of=/dev/ada0 bs=1M count=10000
10000+0 records in
10000+0 records out
10485760000 bytes transferred in 104.850489 secs (100006782 bytes/sec)

つまり100MB/s弱だ。eSATAインターフェースカードで律速していないかは、後日内蔵SATAと比較するとしよう。
それでは、一台まるごとZFSにしてbonnie++で測ってみる。

% sudo zpool create test ada0
% sudo bonnie++ -d /test -n 64:102400:128:8 -u root
Writing a byte at a time...done
[...]
Version  1.96       ------Sequential Output------ --Sequential Input- --Random-
Concurrency   1     -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
daemon.musha.or 16G   138  99 58072  13 28952   6   420  99 82789   9  86.6   2
Latency               197ms    6496ms    8717ms   46942us    1645ms    2071ms
Version  1.96       ------Sequential Create------ --------Random Create--------
daemon.musha.org    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files:max:min        /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
    64:102400:128/8   139   3    82   1 17323  77    92   2    52   0    48   0
Latency             41400ms    5563ms   81225us   34264ms    6496ms    9847ms
1.96,1.96,daemon.musha.org,1,1271143734,16G,,138,99,58072,13,28952,6,420,99,82789,9,86.6,2,64,102400,128,,8,139,3,82,1,17323,77,92,2,52,0,48,0,197ms,6496ms,8717ms,46942us,1645ms,2071ms,41400ms,5563ms,81225us,34264ms,6496ms,9847ms
% sudo zpool destroy test

…うーん、シーケンシャル書き込みが58MB/sとはちょっとさびしい。
ところで、このディスクはどのように諸元情報を返しているのだろうか。

% sudo camcontrol identify ada0 | grep 'sector size'
sector size           logical 512, physical 512, offset 0

古いOSの互換性のためなのか、physical sector sizeも512Bと返しているようだ。ジャンパー設定を調べたが、残念ながらこれを変えることはできない模様。
それでは、GEOMを使って4KB/sectorでアクセスするようにしてみよう。

% sudo gnop create -S 4096 ada0
% sudo zpool create test ada0.nop
% sudo bonnie++ -d /test -n 64:102400:128:8 -u root
Writing a byte at a time...done
[...]
Version  1.96       ------Sequential Output------ --Sequential Input- --Random-
Concurrency   1     -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
daemon.musha.or 16G   129  99 68255  15 38455   8   434  99 88872   9 100.1   2
Latency             64647us    5964ms    6305ms   37390us    1907ms    1397ms
Version  1.96       ------Sequential Create------ --------Random Create--------
daemon.musha.org    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files:max:min        /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
    64:102400:128/8   776  19   115   1 17922  82   790  20   110   1 21075  96
Latency              7490ms    1116ms     108ms    7415ms    1015ms   22992us
1.96,1.96,daemon.musha.org,1,1271239571,16G,,129,99,68255,15,38455,8,434,99,88872,9,100.1,2,64,102400,128,,8,776,19,115,1,17922,82,790,20,110,1,21075,96,64647us,5964ms,6305ms,37390us,1907ms,1397ms,7490ms,1116ms,108ms,7415ms,1015ms,22992us
% sudo zpool destroy test
% sudo gnop destroy ada0.nop

おー。シーケンシャル書き込みだけ見ても68MB/sと15%以上もスループットが向上し、latencyも大幅に改善した。
さらに、2台でストライピングしてみるとこうなった。

Version  1.96       ------Sequential Output------ --Sequential Input- --Random-
Concurrency   1     -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
daemon.musha.or 16G   138  98 94311  22 58070  12   431  99 123342  13 172.8   5
Latency               155ms    3874ms    4034ms   38783us     990ms     730ms
Version  1.96       ------Sequential Create------ --------Random Create--------
daemon.musha.org    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files:max:min        /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
    64:102400:128/8  1123  29   134   1 16901  80  1062  27   111   1 18945  88
Latency              3282ms    1121ms   53040us    4831ms     910ms    4748us
1.96,1.96,daemon.musha.org,1,1271168105,16G,,138,98,94311,22,58070,12,431,99,123342,13,172.8,5,64,102400,128,,8,1123,29,134,1,16901,80,1062,27,111,1,18945,88,155ms,3874ms,4034ms,38783us,990ms,730ms,3282ms,1121ms,53040us,4831ms,910ms,4748us

シーケンシャルで94MB/s。不満は残るがとりあえずよしとしよう。
ところで、gnop(8)の設定は保存されないので、起動するたびに設定する必要がある（つまり、起動用のシステムを構成するボリュームでは使えないと思った方がよさそう）。というわけで、こんな風なスクリプトを書いて/etc/rc.d/に置き、

#!/bin/sh

# PROVIDE: zfs_prepare
# BEFORE: zfs zvol

. /etc/rc.subr

name="zfs_prepare"
rcvar="zfs_prepare_enable"
start_cmd="zfs_prepare_start"
stop_cmd="zfs_prepare_stop"
#required_modules="geom_nop"

zfs_prepare_start()
{
	[ `$SYSCTL_N security.jail.jailed` -ne 1 ] || return 0

	local dev
	for dev in $zfs_prepare_devs; do
		gnop create -S 4096 $dev
	done
}

zfs_prepare_stop()
{
	[ `$SYSCTL_N security.jail.jailed` -ne 1 ] || return 0

	local dev
	for dev in $zfs_prepare_devs; do
		gnop destroy $dev.nop
	done
}

load_rc_config $name
run_rc_command "$1"

/etc/rc.confに設定する。

zfs_prepare_enable="YES"
zfs_prepare_devs="ada0 ada1 ada2"

これで無事、nopデバイスが起動時にできるので、好きに使ってプールを構成すればいい。
外付け箱にはとりあえず3台積んでストライプし、内蔵している移行元HDDからのそこへのコピーが済んだら、古い内蔵HDD群を換装してada[0-2]にそれぞれattachすれば、RAID1+0のような構成になるだろう。空いたスロットには、起動ドライブのミラーボリュームを入れるつもり。
メンテナンスに入るときに、ホットスワップもテストしてみたい。夢が広がるよ！

The post WD15EARSの性能を計測 appeared first on 工夫と趣向と分別と。.