HDDに戻したところたちまち安定して快適にはなったが、ただの撤退ではおもしろくないので、安くなってきたSSDを導入することにした。ちょうど、Crucial m4 64GBが7,000円を切っているので、これを採用した。

さて、FreeBSDに限らないが、SSDを使う上で当然気になるのがTRIM命令のサポート有無である。FreeBSD 9.0や8.3ではadaドライバ、GEOM、UFS2がこれをサポートしており、シンプルな非冗長構成ではすんなりこれを享受できる。だが、ZFSは未サポート、さらにGEOMもmirrorやjournalを通すとUFS2がTRIM命令のサポート有無を検知できず無効になってしまうようだ。
何とも残念な現状だが、システム（前述のように/usr/local, /var等は含まない）は書込がほとんど発生せず、また同居予定のZFS ZIL, L2ARCパーティションは多くの書込があるものの、冗長化した上でたまに片肺にしてTRIMすれば十分だと考えた。そして/のファイルシステムは、ZFSとUFS+GEOM mirrorを比較検討し、読み込み主体であることと、先にTRIMがサポートされそうなことから後者にした。信頼性を重視し、ジャーナリングはGEOM journalではなくSUJを選択。

前置きが長くなったが、購入したSSD二台にシステムを載せ替える手順のメモを開陳。

# Suppose the SSD #2 is at /dev/ada2

# TRIM the disk using newfs(8)
newfs -E ada2

# Create a GPT partition table
gpart create -s got ada2

# Put the FreeBSD boot loader in it
#  "-b 34" will suffice but it is always nice to align partitions with 4KB
gpart add -b 40 -s 64k -t freebsd-boot ada2
#  Install the (non-ZFS) boot loader
gpart bootcode -b /boot/pmbr -p /boot/gptboot -i 1 ada2

# Add a UFS partition for the system root
#  Create a partition for / (20GB)
gpart add -t freebsd-ufs -s 20g ada2
#  Make it GEOM mirrored
gmirror load
gmirror label root ada2p2
#  Make sure GEOM mirror is available on boot
echo 'geom_mirror_load="YES"' >> /boot/loader.conf
#  Create a UFS2 filesystem on it
newfs -j -t /dev/mirror/root

# Copy the system root to /dev/mirror/root using:
# - dump(8) & restore(8) from a snapshot of the current / if it is UFS
# - rsync -aHAX
# or:
# - good old tar|tar

# Add a swap partition (20GB - sufficiently bigger than the amount of RAM on this box)
gpart add -t freebsd-swap -s 20g ada2
#  Make it GEOM mirrored
gmirror label swap ada2p3

# Create a partition for ZIL (8GB - half the amount of the RAM on this box)
gpart add -t freebsd-zfs -l zil1 -s 8g ada2
zpool add tank log /dev/gpt/zil1

# Use the rest of the disk for ZFS L2ARC
gpart add -t freebsd-zfs -l l2arc1 ada2
zpool add tank cache /dev/gpt/l2arc1

# Edit /etc/fstab
/dev/mirror/root /    ufs  rw,noatime 1 1
/dev/mirror/swap none swap sw         0 0

# Edit /boot/loader.conf
vfs.root.mountfrom="ufs:/dev/mirror/root"

#
# Boot from the SSD #2
#

# This may be needed
zpool import -fa

# Suppose the SSD #1 is at /dev/ada2

# TRIM the disk using newfs(8)
newfs -E ada1

# Create a GPT partition table
gpart create -s gpt ada1

# Put the FreeBSD boot loader in it
gpart add -b 40 -s 64k -t freebsd-boot ada1
gpart bootcode -b /boot/pmbr -p /boot/gptboot -i 1 ada1

# Get the system root mirrored
gpart add -t freebsd-ufs -s 20g ada1
gmirror insert root ada1p2

# Get the swap area mirrored
gpart add -t freebsd-swap -s 20g ada1
gmirror insert swap ada1p3

# Get the ZIL area mirrored
gpart add -t freebsd-zfs -l zil0 -s 8g ada1
zpool attach tank /dev/gpt/zil1 /dev/gpt/zil0

# Add a second L2ARC partition (mirroring N/A)
gpart add -t freebsd-zfs -l l2arc0 ada1
zpool add tank cache /dev/gpt/l2arc0

こんな感じです。けっこう簡単だよね。
ポイントは、移行後の新システムを作る際、単一パーティションでGEOM mirrorを構成し、そこに/を作って構築すること。GEOM mirrorは、マウントした状態のファイルシステムパーティションをミラー構成にすることはできないようだ。上記のように片肺（というか単肺）のGEOM mirrorボリュームを作ってそこからブートすれば、あとは二肺目をそこにアタッチ（GEOM用語ではinsert）するだけで良い。

おまけ情報1

こうして構築は完了したが、不意のシステムダウンが起きると、リブート後にZFSボリュームが見えない（zpool importしないといけない）問題が発生しており少し困っている。最近VirtualBoxが不安定（4.1.10くらいから？）で、たまにカーネルパニックを起こすので少し深刻だ。
そのときは/var/named/etc/namedbが見えないため/etc/rc.d/namedが/etc/namedbを壊してしまうので、シングルユーザモードで

ln -sf /var/named/etc/namedb /etc/
zpool import -fa

と直してからスタートアップする必要がある。

おまけ情報2

GEOM mirrorは何やら曲者で、まちがえて作ってしまったときなどに、削除しようとgmirror stop nameとしてもGPTラベル名やGPTIDやらのデバイス名で設定が生き残ってしまう。ちゃんと削除するには、

sysctl kern.geom.label.gpt.enable=0
sysctl kern.geom.label.gptid.enable=0

と一時的に別名デバイスが生えない状態にしてから

gmirror stop name

とすれば良いようだ。

おまけ情報3

以前発見した問題が解決。少なくともFreeBSD 9.0では、eSATA port multiplierにディスクを差したときに既存ディスクのデタッチが発生しないようになっていた。ﾔｯﾀﾈ＼(^o^)／

The post ML110 G6の起動ディスクをSSDに変更 appeared first on 工夫と趣向と分別と。.

届いたUSBメモリを差すと、（ほかにSCSIやumassのデバイスがなければ）da0として認識される。初期状態ではFATでフォーマットされているのでこれをクリアしてセットアップ開始。

1. まずは確認
   

   camcontrol devlist
   gpart show da0

2. 上の出力を見てMBRパーティションテーブルを消去
   

   gpart delete -i 1 da0
   gpart destroy da0

3. GPTパーティションを作ってZFS-only FreeBSDの起動ディスクにする
   

   gpart create -s gpt da0
   gpart add -b 34 -s 128 -t freebsd-boot da0
   gpart bootcode -b /boot/pmbr -p /boot/gptzfsboot -i 1 da0
   gpart add -b 162 -t freebsd-zfs -l usbdisk0 da0

4. USBメモリなのでnoatimeが重要
   

   zpool create -o atime=off zusbroot /dev/gpt/usbdisk0

5. 事前に/tmp, /var, /usr/localなどはパーティションを分けておく（/tmpはメモリが潤沢にあるならtmpmfs推奨）
6. 現在の/がzrootだとして、zusbrootにコピーする手順
   

   zfs snaptshot zroot@now
   zfs send zroot@now | zfs receive -F zusbroot
   zfs destroy zroot@now

7. 新しい/boot/loader.confにvfs.root.mountfrom="zfs:zusbroot"を設定
   

   vi /zusbroot/boot/loader.conf

8. 新しい/etc/fstabにzusbroot / zfs rw 0 0を設定
   

   vi /zusbroot/etc/fstab

9. /usrを分けている場合は/usrも作ってコピーした後、zfs unmountしてからマウントポイントを/usrに設定
   

   zfs unmount zusbroot/usr
   zfs set mountpoint=/usr zusbroot/usr

10. /は自動マウントの対象外
    

    zfs set mountpoint=legacy zusbroot

11. あとは/rootや/usr/share/man/**/cat*などを何とかして、平時はread onlyにしたい
    

    zfs set -o readonly=on zusbroot
    zfs set -o readonly=on zusbroot/usr

何か抜けてるかもしれないし間違ってるかもしれないので自分で意味を考えながらリスクを承知でやってください。

リセットしてF10でBIOSセットアップに入って二箇所（USB Device Boot PriorityをHighにして、起動デバイス順序でUSBメモリを他のHDDより上に移動）直したら、ちゃんとブートするか確認。
うまく起動できたら、もう一つUSBメモリを背面にでも差して、da1について同様に設定する。zpool createのプール名をzusbroot2のように変え、今度は上記操作をzusbroot→zusbroot2と読み替えればいい。以後、大きめのアップグレード、特にZFSのバージョンが上がった際にrsync -xaHAXでファイルを同期し、gpart bootcodeでbootcodeの更新を行えばいいだろう。寿命を気にしてのUSBメモリ化なのでミラーリングはしない。なお、最初はattachでミラー後にdetachして置いておけばいいかと思ったら、detachした時点でどこのプールにも属さなくなってしまうため、/をマウントできずブートできないディスクになってしまうのでダメだ。
最後に、時々はsudo find -x / -mtime -1hで最近いじられたファイルやディレクトリがないかを調べ、da0に頻繁に書き込みアクセスが発生したりしていないか見るといいだろう。また、gstat(8)も見た方がいい。俺はそれでatime=offし忘れに気付いたりした。
そんな感じで、うちのサーバは赤いやつで動いています。

The post ML110 G6の起動ディスクをUSBメモリに変更 appeared first on 工夫と趣向と分別と。.

1. /boot/loader.confにahci_load="YES"を追加し、SATA Mode SelectionをAHCIに変更
   デバイスがadXからadaXに変わる点は注意。FreeBSD 7→8のときにすっかり手順から抜け落ちていたので今ごろ。これは劇的な効果あり。
2. Drive Write CacheをEnabledに。どうせプロセスレベルで書き込みが終わってもAHCIのNCQで書き込まれるタイミングは保証されないのだし、もうsyncへのこだわりは捨てていいかなと。
   上と同時にやったので効果のほどは不明。
3. Xeon X3450はTurbo Boost対応なのでTurbo modeをEnabledに変更
   そんなに高い並列度でふだん仕事をさせていないので、これはかなり効果があった。コアの状況を見ながらクロック数を自動調整というのは、常時稼働サーバで大きめのビルドをするときとかに非常に好都合。

いったん設定してしまえばもう変えることはないとはいえ、いろいろ変え甲斐のある設定項目があるのは（ML115 G5と比べると）楽しいね。

The post FreeBSD on ML110 G6をちょっとチューニング appeared first on 工夫と趣向と分別と。.

• ML110 G6のファンケーブルのソケットが通常と異なる。ただ、ピンのピッチは同じでほぼ並びが違うだけ（青ケーブルはなくてもOK）なので、マイナスの精密ドライバーで外してケーブルの線を入れ替えれば済む。余分な出っぱりはカッターで削ればOK。
• CPUファンの回転数のIPMI上の閾値が下限1300rpm強と厳しく、変更もできない。また、この項目だけ検知をオフする方法も見当たらない。マージンを見て最低1400rpmとすると、静音ファンの採用は厳しい。特にPWMだと低負荷時には1000rpm以下に落ちるものも多いので絶望的にアウト。（正攻法では静音化は困難）
• CPUのバックパネルが独自仕様のもので、ブラケット固定用のパネルとファン固定用のパネルが一体となっている。このため、バックパネル付属のCPUファンを買っても、標準パネルと交換用パネルは排他的なのでブラケットを固定できない。CPU破損のリスクを受け入れてブラケットなしでファンを設置してみたが、起動には至らなかった。（4-3-3-1のビープコードが鳴る）

さて、まずはリアファンをOWL-FY0925Lに替えた。リアファンに関しては回転数の下限が950rpm強なので、1600rpmのこの超静音ファンは合格だ。ファンの固定にネジは使えないが、備え付けファンのゴムをがんばって抜いて付け替えれば済む。最悪、結束バンド等を使ってもいいだろう。
これでだいぶ静かになった、と言いたいところだが、CPUファンの轟音のすさまじさの前にはその程度の違いは遠く霞む。ここまでうるさいとは思わなかった。生活に支障が及ぶレベルだ。始めは、Xeon X3450のリテールファンを使えばいいかと思っていたのだが、こいつが差し込み爪式で、備え付けのネジ式とは入れ替えられない。

そこで、予算オーバーとなるが奮発してScytheのTHERMOLAB TRINITYを購入した。ところが先述の通り、わざわざバックパネル付きのを買ったのにブラケットの都合で差し替えられない！
しかし幸いにもサーバ筐体は横置きのため、グリースの粘着力を信じて文字通り上に載せるだけにしたｗ 長い精密ネジがあればちゃんと固定できそうだが、そんなものは手元にないし近所のホームセンターにもなかったため、とりあえず木ねじを軽く止めて水平方向には動かないようにしたｗ
回転数問題については、ケース前方にOWL-FY0825L（回転数2200rpm）を吸気ファンとして設置し、そいつの黄ケーブルを拝借して差して騙すことで逃げた。CPUファンの故障検知を放棄し、逆に必須ではない吸気ファンが障害点となってしまうわけだが、予算でわかるようにもともとそこまでクリティカルではない（今回も40時間くらいはサービス停止した）からよしとする。
これで、冷却性能はむしろ向上したにもかかわらず、完全に超静音化した。
最後に、ML115 G5になくてML110 G6にあるうれしい機能がHP Lights-Out 100だ。独立して動くNIC付きマネージメントカードで、SSH/HTTPなどでリモートから本体電源をon/offしたりセンサーの値を見たりできる。有償ライセンスを買えばBIOS画面にもアクセスしたりできるみたいだがそこまでは求めないのでこれで十分。妻に電話してポチッてもらう必要がなくなった。
めでたしめでたし。

The post ML110 G6を超静音化 appeared first on 工夫と趣向と分別と。.

• 予算はトータルで5-6万円
• 三連休を直前に控えるため当日もしくは即日発送
• CPUは4コア以上
• メモリはせっかくの買い替えなので16GB
• 設置スペースの都合上、ML115同等の大きさ
• HDD 5台内蔵可能

すると、ほぼML110 G6しかなく、これに決まった。購入時点で12,800円。たまに3,000円クーポンが出現するが発注時はなく、数日後に出現という間の悪さ。ただし執筆時点では売り切れとなっている。そのうち在庫が復活するかも。なお、ML110はG7が出ているがだいぶ高いので現時点では別シリーズと思った方がよさそうだ。
さて、使い回すパーツはHDD、eSATAカードとケース内ファンだけなので、

• DDR3-1333 ECC 4GB Transcend TS512MLK72V3N 4枚
• 425W ATX電源 ENERMAX MODU82+II EMD425AWT-II（備え付けの電源は300Wしかないため）
• Intel Xeon X3450（けっこうな入手性の悪さ。ドッグイヤーとはいえ2年でこうか）

も発注。納期最優先のため最安値ではいかなかったが、すべて合計して6万円弱で済んだ。ただ、Xeonは納期が遅れたり発送先に手違いがあったりと散々で、だいぶ後の到着となってしまったが。
ML110 G6の筐体はML115 G5よりも細かいところが改善され、作りは悪くない。取付・換装はおおむね問題なく終えたが、残ったのは爆音対策。個体差やロットによる違いがあるのかもしれないが、ML115 G5とは比べものにならないレベルで本当にうるさい。対策については記事を分ける。
さて、せっかくVT-d/VT-x対応のCPUを導入することもあり、できればVMware ESXiなどを導入したかったのだが、ネックとなるのはZFSを使っていること。仮想化で生のディスクを見せることができるのか、そしてその際の性能は、といったあたりを検証したかったが、今回は時間の都合上見送ることにした。
チップセットが変わりCPUもPhenom II X4 945→Celeron G1101（→Xeon X3450）となったが、NICもbgeで変わらないため、FreeBSD 8-STABLEはほぼ無変更で動いた。必要だったのは以下くらいのもの。

• SATAポートがML115ではすべてマスターだったのが、ML110 G6ではマスター/スレーブ構成となっている。それに伴い、デバイス名がad4, ad6, ad8, ad10, ...からad4, ad5, ad6, ad7, ...へとずれた。ZFSはディスクの並びが変わったりしても何ともないが、4KBセクターHDD対策のため、起動時スクリプトでgnop create -S 4096 $devしている部分はこれに合わせて直した。
• CPUコア温度の監視にk8temp(8)を使っていたのを、coretemp(4)+sysctl(8)に書き換えた。
• /etc/make.confのCPUTYPEをopteronからcore2に変更した。

そんな具合で無事FreeBSD/amd64サーバが再稼働。IntelのCPUで動かしたのが初めてなので何だか不思議な気分。

The post ML115 G5をML110 G6にリプレース appeared first on 工夫と趣向と分別と。.