metaflowとMLOps
MLOps関係でkubeflow,airflowなどのツールがあるが、Netflix開発のmetaflowもあるらしい。
- Machine learning infrastructure lessons from Netflix
- Human-Centric Machine Learning Infrastructure @Netflix - YouTube
metaflowでググるとmetaflow-aiやmetaflow incなど似たような名前が出て来るが、Netflixのgithubリポジトリをみる感じでは、まだOSSにはしていないようだ。
以下によるとOSS化の予定ではあるらしい。
UseR!2018に参加し、社内Rパッケージ「liner」の活用事例を紹介しました - LINE ENGINEERING
MLOpsについて
精度を高めたモデルをリリースする際にシステム運用チームの承認や対応が必要だと面倒。すぐにリリースできるAPIがあるといいが、精度以外のパフォーマンス劣化があると問題になる。そのため、パフォーマンスの自動テストがリリースAPIに含まれていると事故防止になってよいのではないか。達成すべきパフォーマンスについて運用チームと事前に合意しておけばよい。
データ可視化のアニメーション
データ可視化でグラフをアニメーション表示する方法はRではgganimateがある。
Rで解析：ggplot2のプロットを簡単アニメーション「gganimate」パッケージ
以下の動画にリッチなアニメーション例がある。
The Grammar of Animation - YouTube
上記よりもリッチさには劣りそうだが、Pythonでは以下の方法がある。
How to Create Animated Graphs in Python – Towards Data Science
デモ用に見た目をカッコよくするにはいいけど、これの実装に時間をかけるほどの実用性はアニメーションにはないかな。
Deep LearningにおけるCPUとGPUの性能比較メモ
興味があったので、いくつか記事を漁ってみた。
benchmark 1
以下はNVIDIA 1080ti, Jetson, Qualcomm, Google Vision kit, Intel Core i7などのHWごとの 処理性能をベンチマーク。
https://towardsdatascience.com/benchmarking-hardware-for-cnn-inference-in-2018-1d58268de12a
パラメータ数が少ないとCPUでもGPUに近いスループットが出る。それでも2倍遅いが。 パラメータ数が多い場合はGPUの方が数倍速い。 MobileNetのようなモバイル向けのDLはパラメータ数が少なく、CPUで実用的な性能が出ている。
benchmark 2
以下はResNetやSqueezeNetのGPUとCPUの比較。 CPUはGPUの100倍の時間がかかっている。
https://qiita.com/yu4u/items/c6e24d862325fac96f61
benchmark 3
以下はMSによるAzure上のベンチマーク結果。
https://azure.microsoft.com/en-us/blog/gpus-vs-cpus-for-deployment-of-deep-learning-models/
環境にかかる費用を同一にしたCPUとGPU環境を用意した場合、 同一コストではGPUの方が数倍、性能が出ることを示している。 3 node GPUと5 node CPUが同一コストらしいので、 今の価格表を見てみると以下の通り。 GPUはNC6 seriesのK80を使うインスタンス。$0.9/hour CPUはD4 v2の8coreインスタンス。$0.458/hour 3 node GPUで$2.7/hour, 5 node CPUで$2.29/hour 今の価格ではCPUは6 nodeにした方がフェアな比較になる。
Visual Studio 2010でCannot find or open the PDB file error
実行中に以下のエラーメッセージが出た場合の対応。
'C:\Windows\System32\ntdll.dll' を読み込みました。Cannot find or open the PDB file
Visual Studioで、ツール→オプション→デバッグ→シンボル→Microsoft シンボル サーバにチェックする。 これで解決。
参考記事
Skype for Business自動起動を停止
Ubuntu16.04でCUDAなどのインストールでログインできなくなった場合の対処
NVIDIAのグラフィックカードをディープラーニング用GPUとして使う場合、 グラフィックカードのドライバ、cuDNN、CUDAをインストールするが、 インストール後に再起動すると画面が正しく表示されず、ログインできなくなる場合がある。
場合があるというか、よくある。
Ubuntuでこの現象が起きた場合に画面が起動中の紫色一色になったままことがある。 この場合、放置、電源長押しのシャットダウン、再起動を何回か繰り返して 20-30分ぐらい経過して、諦めの境地に達した時に 急に画面を正しく認識し、ログイン画面が表示されるようになるので、すぐに諦めてはいけない。 後はディスプレイの画面表示をフルスクリーンにしたり、他のにしたりしてみたり。
以下の方法も有効だと思われる。
メモ: 話が分かりにくい人の条件
@sogitani_baigie のツイート。
https://twitter.com/sogitani_baigie/status/1022282283997310977?s=21
話が分かりにくい人の条件
・前提の説明がない
・結論を先に言ってない
・質問に答えてない
・全体→部分という構造になってない
・抽象的な言葉が多い
・相手に合わせて使う言葉を選んでない
・言葉を省略しすぎてる
・事実と解釈がごちゃまぜ
・話が拡散したり脱線したりする
教材として使えそう。
