OpenStack Summit Vancouver YVR Ops

Copyright © NTT Communications Corporation. All rights reserved. 0
OpenStack Summit 2015
Vancouver Ops Meetup 参加報告
NTTコミュニケーションズ
技術開発部
2015年6月10日

Copyright © NTT Communications Corporation. All rights reserved.
自己紹介
1
 氏名：
• 小倉真人 (おぐらまひと)
 所属：
• NTTコミュニケーションズ技術開発部
• OpenStackの調査・開発・人材育成に従事
 経歴：
• 2009-2010 : NTTコムウェア入社、Eucalyptusの検証
• 2010-2012 : 仮想化基盤(KVM)の監視、デプロイ効率化の検証
• 2012-2013 : Cassandra, HBase, MongoDB検証
• 2013-2014 : Hadoop基盤の自動構築検証
• 2014-現在 : 10月に人事異動で現職

What’s Ops Meetup?
 Ops Meetupはクラウド運用者が集まるイベント
運用者(Ops)同士でのベストプラクティスやアイデアの意見交換、
運用者の視点から開発者へのフィードバックを行う
 次の３つを目的としてテーブルを囲んでのディスカッションや、
プレゼンテーション形式で話し合いが行われる
1. OpenStack運用者の地位向上や、コミュニティ全体に対してOpsとの
連携を働きかけるためのフィードバックの収集
2. 運用者たちがベストプラクティスやアーキテクチャをお互いに情報交
換できる体制を作る
3. クラウド運用者からの建設的/積極的な関わりあいを増やす
2

Tuesday, May 19
3
 ディスカッションやLTをメインに21セッションを実施
 Ops Summit ‘101’ / The Story So Far
 Federation – Keystone & other – what do people need?
 RabbitMQ
 How do we fix logging ?
 Architecture Show and Tell * 2
 Ceilometer – what needs fixing ?
 Billing / show back / charge back – how do I do that?
 Cinder Feedback
 Hypervisor Tuning
 OnBoard & Integration of Legacy Apps
 User Committee Session
 Database
 Deployment, CI/CD
 Security
 Internal Evangelism – Convincing your C-level exec to back OpenStack
 Nova Feedback
 Operating multi site OpenStack installations in practice
 Containers – What do you want?
 Customer oboarding and offboarding
 Neutron Feedback

Wednesday, May 20
4
 ワークセッションのメインに20セッションを実施
 Ceilometer: componentisation / multiple identity
 Puppet Team Work Session
 HPC Working Group
 The Telco Working Group
 Chef Work Session
 Making Metal Easy (Ironic) Work Session
 Ansible Work Session
 Monitoring and Tools Working Group
 Tags Working Group
 Ceph Work session
 Tech Choices (e.g. is MongDB OK?) Work Session
 Burning Issues Work Session
 Large Deployments Team Work Session
 CMDB Work Session
 Data Plane Transitions Work Session
 Docs Work Session
 Keystone: Operator Feedback
 Logging Work Session
 Packaging Work Session
 Upgrades Work Session

Thursday, May 21
 フィードバックを2セッション
 Swift: Ops feedback
 Glance: Work session
5
各セッションの議事録はEtherpad上で閲覧可能
https://wiki.openstack.org/wiki/Design_Summit/Liberty/Etherpads#Ops

参加セッションについて
 Ops (Design Summit)
• 動機：OpenStackの運用に関する課題やノウハウの収集を行うため
• セッション：
• RabbitMQ
• Logging
• CI/CD
• etc…
 QA
• 動機：開発環境やテストの効率化のため
• セッション：テスト / ベンチマーク
 Security
• 動機：セキュリティ取り組みについての興味
• セッション種別：
• セキュリティテスト、セキュリティに関する取り組み
6

Ops: RabbitMQ*1
7
*1：https://etherpad.openstack.org/p/YVR-ops-rabbitmq
*2：RabbitMQクライアントのコネクションが切れても通知されない/再接続しない
 3月のOps Meetupで話題になった問題の経過報告
• RabbitMQのheartbeat問題*2
 パッチは既にマージ済みでJuno以降では解決されうまく動いている
 Icehouseにバックポートしてみているがうまく動いていない
 既存の問題
• RabbitMQクラスタとLoad Balancerの連携問題
 LB経由でRabbitMQクラスタにつなぐとコネクションロストがある
 問題はあるが多くのマルチRabbitMQサーバオプションを利用してお
り、LBを組み合わせているユーザは少ないので影響は少ない
• RabbitMQのHAに関するドキュメントのアップデート
 OpenStackガイドのRabbitMQのHAに関するドキュメントを、
アップデートする予定がある

Ops: Deployment, CI/CD*1*2
8
*1：https://etherpad.openstack.org/p/YVR-ops-deployment
*2：その時間帯はeherpadの動作が不安定のため内容があまりかかれていない
*3：Service Oriented Deployments at Scale in an OpenStack Public Cloud
図：Racspace社のDevloymentの流れ*3
 Configuration Tools
• Puppetユーザが多数
 Ansible, Chefの利用者は小数
 Puppetを大規模に利用し、Contributeもしているユーザも
 一方でRackspaceはPeppetからAnsibleに乗り換えた*3
 乗り換えに3か月ほどかかったとのこと
 CI/CD Tools
• CI/CDはJenkinsを活用するユーザが多数
• テストツール
 Rallyはスモークテスト
 ベンチマークや機能テストで利用
 Tempestはカバレッジテスト
 API動作確認で利用

Ops: How do we fix logging?
9
*1：https://review.openstack.org/#/c/172552
*2：https://review.openstack.org/#/c/156508
 ログ管理の効率化をするBlueprintが紹介され議論中
 OpenStack wide Error Codes for Log Messages*1
 Return request ID to caller*2
 OpenStackが出す多くのログをどう扱うべきか
• ログが多すぎてデバッグが難しい
• SyslogよりもLogstashなどのログコレクターを使うべきとの意見
 ログを収集することで分析が可能になる
• ログファイルの種類とフォーマット一覧の共有
 https://goo.gl/F7xZsK
 ログをいじるオプションや設定については継続議論
• WeeklyのIRCミーティングを計画中

Logging関連セッション
10
 Demystifying Logs in OpenStack Clouds
• OpenStackが出力する大量のログを集約・分析してエラー原因などを効率
よく把握する方法について
• データの可視化はGrapite, Grapahanaを利用
• 分析をするにはデータサイエンティストが重要
 ELK Stack Crossing: Where Fans of Elasticsearch, Logstash,
Kibana, and OpenStack unite!
• ELKのユースケースの紹介（Blumix, HP）
• MirantisはLogstashの変わりにHekadを使っている
• HypervisorからVMの情報を取るようにContainerにAgentを入れずにログ
を取るという要望について今後検討するとのこと
• Swiftに貯めたログをElasticsearchで検索したい（監査対応目的）
 Managing logging in your OpenStack environment
• 大量のログをGrepするのは大変
• ELKを使うことでログ検索が簡単になる

What is Rally?
 RallyはOpenStackのベンチマークを目的としたツール*1
11
*1：Benchmark as a Service for OpenStack

QA：Rally
 Rally: Kilo Updates & Liberty Plans
• KiloでのアップデートとLibertyでの予定を淡々と説明
• Kilo：プロジェクトの可視化（Roadmap, 機能要望、etc…）
• Kilo：CI改善、ドキュメントの大幅な改善、その他機能改善
• Liberty：タスクのフォーマット変更、Rally as a (Lib|Service)
• Liberty：スケーラビリティの解決、本体とプラグインの分離、etc
• ここ参照：https://goo.gl/wh0YiG
 Repeatable benchmarking of OpenStack architectures
• 異なる環境（KVM, Xen, LXD）に対してベンチマークをするためには
ベンチマーク用のモデル（構成）が必要
• JujuのモデルとRallyのテストシナリオを組み合わせることで環境が変
わっても、同じ構成でベンチマークを行うことができるとの説明
12

OpenStack Security CI/CD Way
13
 Security CI/CDの目的
• 開発に継続性を持たせることで欠陥を抑え、早く高い品質で
デプロイを可能にする
 CIで回すテスト
 静的解析
 単体・機能・セキュリティテスト
 スモーク・セキュリティ・
パフォーマンステスト
 自動化のために何をすべきか
• セキュリティーコードのレビュー（Banditを利用）
• APIのセキュリティテスト
• Security vulnerability Checklistを利用

How the security group is building security into each OpenStack release
14
 Security notes
• 開発者と運用者向けにOpenStackで直せる/直せない問題について掲載
 Security Guide
• OpenStackに携わる人向けのセキュリティガイド
• Isolation Security domainsとベストプラクティスの章が面白い（らしい）
 Developer Guide
• セキュアな開発をするためのベストプラクティスが掲載されている
• Bandit code Analysisは今後Gateに導入予定

OpenStack Summit Vancouver YVR Ops

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (12)

Similar to OpenStack Summit Vancouver YVR Ops

Similar to OpenStack Summit Vancouver YVR Ops (20)

More from NTT Communications Technology Development

More from NTT Communications Technology Development (15)

Recently uploaded

Recently uploaded (9)

OpenStack Summit Vancouver YVR Ops