はてななどの各社担当者が自作サーバーのノウハウを紹介

はてなの田中氏

　はてなやサイバーエージェントなど、5社の担当者が自作サーバーに関するメリットやデメリット、ノウハウなどを紹介する「自作サーバカンファレンス」が11月25日に開催された。

　自作サーバーのメリットといえば、コストダウンがもっともわかりやすいメリットだったが、最近ではベンダー製サーバーの価格低下やクラウドサービスも充実し、コスト面では以前ほどの価格差はなくなってきている。しかし、「まだまだ自作サーバーの可能性は豊富にある」ということで、はてななど自作サーバーを利用するITベンチャー5社が自社の導入例をもとにメリット・デメリット、ノウハウなどを紹介するカンファレンスを開催した。

　カンファレンス冒頭に登壇した、株式会社はてなで執行役員を務める田中慎司氏は「はてなでは設立当初から自作のサーバーを使ってきているが、ここ最近を見ると他社でも自作サーバーを使用するケースが出てきている」とコメントした。

　また、自作サーバーのメリットに関して、必要十分な仕様で作成が可能で、部品単位での調達・組み立て、SSDを使用するなど独自のカスタマイズが可能な点をあげ、「安い・早い・うまい」と紹介。クラウドサービスとの関係に関しては、「将来的にはベース処理は自作サーバー、突発的な処理や負荷発生時はクラウドを利用する強調していくのが良いと考えている」と述べた。

■はてな、自作サーバーを半年間で90台導入。SSD利用タイプも

はてなの吉田氏

　最初に登壇したのは、はてなでサーバー・インフラエンジニアを務める吉田晃典氏。はてなでは、さくらインターネットのインターネットデータセンターに最適化した奥行310mmのハーフ1Uシャーシを独自設計。リア吸気、フロント排気の機構で、2009年5月に運用を開始した「marqs-60」は半年間で90台以上を投入しているが、ほとんどトラブルなく運用できているという。また、使用する電源部はケーブル長をカスタマイズしているほか、当初自作していた電源スイッチも現在は基板業者に一括して作成を依頼しているとした。

　消費電力は標準構成の場合で、アイドル時が0.5A、負荷時が1.1Aで、1電源あたり15台の設置が可能。ラック自体は60台の収納が可能だが、電源容量の制限で設置は最大45台になるという。ラック設置にあたっては、8台をL字アングルで支えている。また、電源タップの配置も重視しているとのことで、当初は2～3m長のケーブルを使用していた関係で誤って違うサーバーの電源を落とすケースもあったが、現在は短いケーブルを使用してサーバーが接続する電源の判別を容易にするよう対処したという。

「marqs-60」	「marqs-60」の特徴とスペック	シャーシは吉田氏が設計した

　主な利用用途は、アプリケーションサーバーとデータベースサーバー、ネットワーク特化サーバー、ストレージサーバー。この中でもっとも利用ケースが多いアプリケーションサーバーは7～8万円程度で構築が可能だとし、吉田氏は価格に加えて、台車1台で20台以上を同時に運搬できる点、利用するマザーボード「Intel DQ45CB」が持つリモート管理機能「AMT」による遠隔からの操作をメリットとしてあげた。一方、DDR2メモリが高騰傾向にあり、吉田氏は「以前と比べて2～3倍程度に価格が上がっており、価格的優位性が薄れてきている」と述べた。

　また、データベースサーバー用途では、ストレージにIntel製のSSDを使用しており、現在までに1台も壊れていないという。一方、他社製の低価格SSDは20台中5台以上が壊れたといい、メーカーによって信頼性が異なる点を紹介した。

　吉田氏はまとめとして、「自作サーバーを量産しはじめて以降、ベンダー製サーバーを1年程度買っていない」とコメント。自作サーバーのメリットとして「アーキテクチャーをある程度自分で決められる」点をあげ、デメリットとして「ハードウェアトラブルを自分たちで解決する覚悟が必要である」点をあげた。また今後は、Intelの新プラットフォーム「LGA1156」に対応したサーバーやホットスワップやRAIDカードを搭載したモデルの開発も検討するという。

電源について	アプリケーションサーバー用途での利用が多いという	データベースサーバーではSSDも利用する

■170台で「pixiv」を運用するピクシブ。新型機はベニヤを利用

ピクシブの上薗氏

　続いて登壇したのは、ピクシブ株式会社でエンジニアを務める上薗竜太氏。同社が運営するイラスト投稿SNS「pixiv」は現在、ユーザー数が140万人、アクセス数は月間で9億5000万ページビュー（PV）、日間で3300万PVで、サーバーは自社に設置する自作サーバー170台でまかなっているという。また、運用チームの規模は「pixiv」を開始した2007年当初は1名だったが、現在は3名に増員されている。

　上薗氏によれば、ピクシブが自作サーバーを開発するに至った経緯は代表取締役社長の片桐孝憲氏が「Googleみたいにしよう」との鶴の一声で決まったという。自作したサーバーは当初、ホームセンターで購入したラックに直接置いていたが、パーツが固定されていないため持ち運びが不便で運用しにくいなどの問題があった。

　このため、新型機としてベニヤ板の上にサーバーに必要なパーツを置く「B-28（ベニヤ）機」を導入することで運搬性を改善。1台あたりの組み立て時間は約5分間で、マザーボードの固定にはガムテープを使用しているとした。また、「B-28機」の1台あたりのコストは約5万円で、CPUに「Athlon II X4 605e」、メモリに「DDR2-800 8GB」などを利用している。

　サーバールームはオフィス内に設置。これまではオフィスフロアとサーバールームの区切りがなく、フロア全体が30度以上を超えることもあったが、2009年夏に大型エアコンとパーテーションを区切り、温度対策を図ったという。電気使用量は125Aで、1台あたり平均0.7～0.8Aになる。電気代に関してはオフィスフロア部分も含まれ、社員数が20人、サーバー台数が120台の2009年8月は31万2226円。サーバー1台あたりの推定電気代は1833円だとした。

「B-28機」	「B-28機」の特徴	スペック

ピクシブ社内のサーバー設置スペース	電気使用量	2009年8月時点で31万円程度の電気代

■自作サーバーは約200台を利用するサイバーエージェント

サイバーエージェントの桑野氏

　サイバーエージェントの新規開発局インフラ・テクノロジーグループの桑野章弘氏は、2009年11月現在で150万人が利用するというコミュニティサービス「アメーバピグ」での自作サーバー運用例を紹介。桑野氏はまず、自作サーバーの導入理由として、コストダウンやデータセンター使用効率の向上に加え、ハードウェア情報の収集にある点をあげた。

　自作サーバーは、ストレージサーバに加え、スケールアウトを前提にした高密度サーバーの利用が主な用途。高密度サーバーでは、CPU処理の頻度に応じてCore 2 QuadとAtomの2種類を用意する。なお、サイバーエージェントでは現在、200台前後の自作サーバーを運用しており、このうち8割以上が「アメーバピグ」で利用されているという。

　サーバーで使用するマザーボードはMini-ITX規格で統一し、サイバーエージェント側で設計して業者に発注したアクリル板に固定している。ラックへは、サーバー8台を前後に縦置きした16台1組（6U）で設置し、1ラックあたり最大96台の搭載が可能。ただし、消費電力の兼ね合いもあるため、実際に96台を搭載したケースは現時点でないとした。

　自作サーバーの組み立ては1台あたり20分前後。桑野氏の説明中にサイバーエージェントスタッフが実際に組み立てを実演していたが、この際は13分で組み上がっていた。また、100台を一気に導入した際には、インストールやサーバー設定を含めて7時間程度で完了したという。

サイバーエージェントの自作サーバー	Core 2 Quadモデルのスペック	Atomモデルのスペック

　桑野氏は自作サーバーのメリットに関して、構成の改善がすぐに実施できる点をあげた。また、「一般的な1Uサーバーと比較して、6割程度の消費電力で動作できる」点もあげ、消費電力はCore 2 Quadモデルの場合でアイドル時が0.4～0.5A、最大負荷時が0.9～1.0A、Atomモデルの場合でアイドル時が0.3～0.4A、最大負荷時が0.4～0.5Aであると紹介。また、1台あたりのコストに関してはCore 2 Quadモデルが7万円前後、Atomモデルが4万円前後になる。

　安定性に関しては、9カ月間で200台中4台の故障と「悪くはない」数値だが、サーバー組み立て時に電源ケーブルの線が1本ないなどの初期不良に遭遇するケースがあるという。また、デメリットとして常に同一機材が入手できるとは限らない点、サーバー組み立て時に個人の力量に左右される点、サーバーでの取り回しが難しい点などをあげた。

　桑野氏は「ベンダー製のサーバーと比較するのではなく、適材適所と考えて自作サーバーを利用するのが良いのでは」と述べ、「適所や利用用途に合わせて作れるのが自作サーバーのメリット」と語った。今後は1Uに4つの自作サーバーを設置するなど高集積化を進めたい考えを示した。

自作サーバーのポイント	今後の構想	1U4Wayサーバーのイメージ図

■自作サーバーに加えて自作ラックも製作するCerevo

Cerevoの岩佐氏

　株式会社Cerevo代表取締役の岩佐琢磨氏は、12月に発売する無線LAN搭載のデジタルカメラ「CEREVO CAM」と連携するオンライン写真管理サービス「CEREVO LIFE」で利用する自作サーバーや自作ラックを紹介した。

　「CEREVO LIFE」では「CEREVO CAM」からアップロードした写真データを保存するため、数十TB規模のストレージを用意する必要があるほか、オンライン画像処理機能を備えるため、CPU性能も必要という。岩佐氏は「自作サーバーはフレキシビリティとコスト面で一般的に利用されている」と述べた上で、「見えにくい部分だが設置スペースもコストが発生し、自作でラックも作ることにした」と述べた。

　自作ラックは、3mm厚のL字型鋼材を使って作成。また、床部には補強用に4.5mm厚の鉄板を敷いている。設置場所はCerevoオフィス内で、岩佐氏によれば1Uサーバーを40台程度マウントできるとした。なお、オフィスでも床は多少なりとも歪んでいるため、水平器を用意して、水平位置の調整などをしたほうが良いという。

自作ラックの外観	材料と工具について

　自作サーバーの開発にあたっては、同社のハードウェアエンジニアによる調査に加え、「２ちゃんねる」の低消費電力スレッドなどを参考にしながら部品を選定。CPUにはCore 2 Quadを利用し、アイドル時で17W、ピーク時で107Wで動作するサーバーを目指した。マザーボードには、はてなと同様に「Intel DQ45CB」を使用しており、岩佐氏はリモート管理機能「AMT」を使ったリモートでのBIOS制御や電源制御などをメリットとしてあげた。なお、電源はTDKラムダ製の「HWSシリーズ」の150Wモデルを、OSには「Gentoo Linux」を利用しているという。

　また、板厚1mmの1Uシャーシは自社設計で、ボルトをとめる穴は横に長めの設計をしている。これにより、用途に応じてボルト止めの位置を調整が可能で、実際にサーバーを他社にOEM納品するモデルでは位置調整を施して出荷しているとした。

サーバーの特徴	パーツや組み立て写真	シャーシの設計図

■サーバー用オフィスを開設してコスト削減も図ったチームラボ

チームラボの田村氏

　最後に登壇したのは、検索サービス「SAGOOL（サグール）」などを運営するチームラボ株式会社の田村哲也取締役。田村氏からは、サーバーコストの低減のため、最終的に自作サーバー用オフィスを設置するに至った経緯が説明された。

　検索サービス「SAGOOL」では当初、130台のサーバーをデータセンターに設置して運用を開始。サーバーを設置するラック数は8で、月額コストは200万円。また、回線は月額40万円で年間2880万円のコストを要していた。その後、コスト削減のため、サーバーケースを自作して、130台のサーバー台数を維持したままラック数を4に削減。また、実際のトラフィックから回線速度も見直した結果、年間コストが1440万円へとコスト削減を実現した。

　しかし、自作ケースからラック全体に電気が漏電している問題が発生。対策として自作ケースとラックの間にゴム板を敷いた結果、エアフローが遮られてしまい、熱がこもるようになったという。このため、故障するサーバーが続出して、サービスの縮退運用を迫られてしまったという。

　チームラボではこうした問題の解消に加え、さらなるコスト削減を図るため、サーバーを設置する専用オフィスの設置を検討。最終的に、電気容量の増設機器「キュービクル」を完備し、200A以上の電気が利用できる物件を借りることができ、サーバー用オフィス「サグールハウス」の開設に至った。

検索サービスで130台のサーバーを利用	当初は年間コストで2880万円かかったという	コスト削減のため作成した自作ケースで漏電の問題も発生

　「サグールハウス」のサーバーラックは、市販のスチールラックを利用。1段あたり3台のサーバーをゴムパッキンを挟みながら重ねて、最大36台の設置が可能だという。また、電源コンセントは1個あたりの電源容量が決まっているため、20Aコンセントを必要な数だけ作成して、サーバー近くに設置した。また、サーキュレータを複数台載せたスチールラックも設置して部屋全体の冷却対策も施した。

　しかし、移転した「サグールハウス」は道路部分と段差のないビルの1階フロアに入居しており、大雨が降った日に浸水する事態が発生したという。管理会社と話し合いをした結果、2009年内をめどに40cmの壁が玄関前に設けられる予定だが、現在は土嚢を積んで急場をしのいでいるという。

　ランニングコストは家賃が15万円、回線費用が5万円、電気代が20万円で、合計の月額費用は40万円。年間に換算すると480万円で、当初の2880万円から大幅なコスト削減を実現した。また、引っ越しはクロネコヤマトを利用し、費用は梱包用クッションの利用などを含めて約20万円だったという。

　田村氏は「サグールハウス」は原則無人であるため、今後はLinux上で温度測定できるUSB温度計を設置して、温度上昇時にアラート通知する機器などを追加したい考え。また、チームラボに加えて、他社もサーバーを設置しているが、スペースに空きがあるため、「サグールハウス」にサーバーを設置したい企業・個人を募集中とした。

サグールハウスの内部	ラックには市販のスチールラックを利用する	年間コストは約480万円と大幅にコストを削減できたという