闇のBashをGoに置き換える技術 / golang.tokyo #11

Transcript

1. 闇のBashをGoに 置き換える技術 @nashiox 2017/12/11 golang.tokyo #11

2. @nashiox 水野 拓 (Taku MIZUNO) - インフラエンジニア@リブセンス - オンプレ/クラウドのサーバ構築・運用 -

   Go歴 - 約3年 - 最近のGo実装 - Mackerel プラグイン - Packer プラグイン

3. 身の回りにこんなスクリプト ありませんか？

4. 怖くて触れないけどなぜか 動いているBashスクリプト

5. インフラ運用に携わるとよく見かけます - 運用で利用するシェルスクリプト - 長い間メンテナンスされてない - メンテナーがいるかすらわからない - 読み解ける人がいない -

   怖くて触れないけどなぜか動いている - Ex - サーバ構築スクリプト - 便利CLI - バッチスクリプト

6. リブセンスにもありました

7. 10年を超える運用で積み重なった闇 - なにがどこで行われてるかわからない - けれどなぜか動いてる - それを実行しないと仕事にならない - どこを直せば良いのかすらわからない -

   作成者はすでにいない - etc…

8. 10年を超える運用で積み重なった闇 - なにがどこで行われてるかわからない - けれどなぜか動いてる - それを実行しないと仕事にならない - どこを直せば良いのかすらわからない -

   作成者はすでにいない - etc… 闇を感じていただけたでしょうか？

9. 気合を入れて直しています

10. リブセンスの場合 - 積み重なった闇のBash群 - サーバ構築スクリプト - Bash -> Chef ->

    Ansible と変遷 - 便利CLI - PythonやGoに置き換え - バッチスクリプト - Goに置き換え

11. リブセンスの場合 - 積み重なった闇のBash群 - サーバ構築スクリプト - Bash -> Chef ->

    Ansible と変遷 - 便利CLI - PythonやGoに置き換え - バッチスクリプト <- 今日はここの話 - Goに置き換え

12. 強敵のバッチスクリプト

13. その名も開発DB構築スクリプト

14. こんな動作をします

15. 10 ファイル 2128 行におよぶ Bashスクリプト

16. ※ 事実ではありません

17. 読めるわけがない

18. スクリプトの動作 - データ加工 - 元データのリストア - 並行で加工処理 - ダンプ -

    データ加工後のデータをテーブルごとに並行でダンプ - DBを一度に作れるフルダンプも生成 - インポート - フルダンプからの開発DB生成 - 日次更新が必要なテーブルを並行で部分インポート

19. 他にはこんなことをしています - 失敗した時点から再実行するためのファイルキュー - Bashで書かれたファイルキュー実装 - それを利用したリトライ処理 - GNU parallel

    を使った並行実行 - データ加工 - ダンプ - インポート

20. ※ 事実ではありません

21. 読めるわけがない

22. よしGoに置き換えよう 読めるわけがないと言ったが読むしかない

23. Goの選定理由 - 並行実行の実装が容易 - Goroutineを使うだけで並行処理の実装が可能 - バッチなのでGoroutineのコストを気にしなくていい - Goの言語仕様のシンプルさ -

    実装も利用するのもインフラエンジニア - コードを書くことが本職ではない - 複雑な実装が出来るよりも制約されるほうがいい - go testが言語仕様に組み込まれてるのもよい - IDEが使える - 補完・コードジャンプは重要

24. リプレースの方針 - いきなり全部Goに置き換えない - 読み解ける範囲、置き換えやすいところから - 難しいところはos/execでのBashの実行を許容 - Goらしさよりもまずは読み解けることを優先 -

    置き換え中はBashっぽくなることを許容 - 徐々にGoらしく置き換えていく

25. ファイルキュー実装(Bash版)

26. ファイルキュー実装(Go版)

27. 並行実行実装(Bash版)

28. 並行実行実装(Go版)

29. Bash実行 - パイプ・リダイレクトに対応するためbash -cを使用

30. Bash実行(ログつき)

31. 最近ハマった - io.MultiReader() は複数Readerの”連結” - stdoutとstderrを時系列順でログに吐きたかった - “連結”なのでstdoutがcloseされてからstderrを書く - stdoutがほとんど出ないコマンドを実行していた

    - 実行後30分ほどたってドバっとログが吐かれた

32. 初回リプレースから約9ヶ月 - 動作は順調 - 問題なく動いています - 開発・リプレースも順調 - 現在 v0.0.8

    - 読める・手を入れやすくなったため、変更が容易 - 外部コマンドに頼っていた部分もリプレース開始 - ダンプ・インポート部分(mysqldump) - Pure Goで実装してOSSとして出すつもり - (今日に実装間に合わなかった)

33. まとめ - 闇のBashをGoに置き換えたのは良い選択だった - 読みやすい・書きやすいことは大事 - 無理に全部置き換えようとしないのはもっと大事 - Goroutineのパワーすごい -

    1バイナリになるので管理も楽 - 最近自前RPM化もした - メンテナンス出来るって素晴らしい - 動き続けてても放置はダメ - 先々を考えた技術選定も大切