metaflowとMLOps
MLOps関係でkubeflow,airflowなどのツールがあるが、Netflix開発のmetaflowもあるらしい。
- Machine learning infrastructure lessons from Netflix
- Human-Centric Machine Learning Infrastructure @Netflix - YouTube
metaflowでググるとmetaflow-aiやmetaflow incなど似たような名前が出て来るが、Netflixのgithubリポジトリをみる感じでは、まだOSSにはしていないようだ。
以下によるとOSS化の予定ではあるらしい。
UseR!2018に参加し、社内Rパッケージ「liner」の活用事例を紹介しました - LINE ENGINEERING
MLOpsについて
精度を高めたモデルをリリースする際にシステム運用チームの承認や対応が必要だと面倒。すぐにリリースできるAPIがあるといいが、精度以外のパフォーマンス劣化があると問題になる。そのため、パフォーマンスの自動テストがリリースAPIに含まれていると事故防止になってよいのではないか。達成すべきパフォーマンスについて運用チームと事前に合意しておけばよい。