meta-something

論文とか研究とか趣味のネタとか

SC16 メモ

ソルトレイクシティで開催されたSC16に参加してきました。めっちゃ楽しかったです。 ただ、初SCで事前知識がなく、現地についてからも混乱していたため、備忘録的にメモを残しておく。（セッション内容はまた別に）

SC16の概要

  • 期間：2016年11月12日（土）～18日（金）
  • 場所：アメリカ合衆国ソルトレイクシティ
  • SCはSupercomputing Conferenceの略。西暦の下2桁で開催年を示す（2016年＝SC16）
  • 全プログラムはこちら
  • HPC分野のお祭り（ボス談）で、色んなイベントが詰め込まれている
    • Exhibit
    • Paper
    • Workshop
    • Panel (Birds of Feather)
    • Tutorial
    • その他色々…
  • HPC分野で有名なTOP500, GREEN500, GRAPH500などが発表される
  • HPC分野で有名なゴードンベル賞の発表もここで
  • 参加費が結構する（参加形式によってかなり違う）
  • 休憩時間にフルーツとか飲み物が会場においてある
  • 参加形式によって様々なレセプションが催される

イベントの形式毎の概略

  • Exhibit
    • 企業とか大学機関が様々な展示（ポスターとかラックとか実演とか講演とか商談とか。なんでもあり）
  • Paper
    • SC16で口頭発表があり、論文はThe International Conference for High Performance Computing, Networking, Storage, and Analysisに採録される
    • 概要の締切が3月頃、査読を通ると11月頃にSCで口頭発表？
  • Workshop
    • 把握しきれない種類のワークショップ（ストレージとかネットワークとかバイオ応用とか）
  • Panel
    • パネルディスカッション的なもの。（会場から結構質問がびゅんびゅん飛ぶ）
  • Tutorials
  • その他

その他

  • 参加権利がTutorialsとWorkshopとExhibitとその他セッションで違う。（勘違いしていた）参加ページの説明はしっかり読もう

備忘録「Googleが数千台もある10年前のLinuxディストリをライブアップグレードした話」

ラボの計算機がちょろっと古いLinuxOSで「dockerを入れようにもまずカーネルアップグレードの必要があって、そもそもOSのアップグレードは何処で断ち切れていて、じゃあ何処のノードなら依存関係なくて安全で…」という問題の根本原因を調査していたとき、以前Twitterのタイムラインで「Googleが数千台もある10年前のLinuxディストリをライブアップグレードした話」みたいなツイートを見かけたことを思い出した。
で、元ツイートは見つからなかったけれど、元論文を引用していると思われるはてなブログを見つけた。

blog.yuuk.io

元論文はこれ

MERLIN, M. Live Upgrading Thousands of Servers from an Ancient Red Hat Distribution to 10 Year Newer Debian Based One. In Proceedings of the 27th conference on Large Installation System Administration (LISA) (2013), pp. 105–114

web公開のPDF原稿

Live Upgrading Thousands of Servers from an Ancient Red Hat Distribution to 10 Year Newer Debian Based One | USENIX

書いた本人のスライドっぽいもの

http://marc.merlins.org/linux/talks/ProdNG-LC2013-JP/html/

紹介した記事が本当に詳細に説明してくれているので、ここでは述べない。ざっくり概要は

  • GoogleでもRedHat7.1に独自パッチを重ねて10年間運用していて
  • root領域の変更がアプリケーションに影響しないようにやり繰りしていたが流石に負の遺産が限界になり
  • DebianベースのProdNGという新しいディストリビューションに移行するときの作業

なのだけれど

Googleの本番Linuxはカーネル・デバイスドライバ、ユーザスペース、アプリケーションの3レイヤで管理されている。 カーネル・デバイスドライバはディストリビューションからは切り離されていて、頻繁に更新される。 このレイヤは別のチームがメンテナンスしており、今回の話には関係がない。

kernel更新はまた別のチームと書いてある。 原文では

Google’s production Linux OS is managed in three layers. The kernel and device drivers, user-space, and the running applications. The kernel and device drivers are updated frequently and separately from the operating system. These files are maintained, fleet-wide, by a different team. Aside from obvious touch points, this maintenance is unrelated to the work described in this paper.

kernelのライブアップグレードって普通ミッションクリティカルとかの分野ではどうやっているんだろう…？