pandazx's blog

データ分析など雑多な技術ブログ

2020年のゲームふりかえり

2020年にクリアしたゲーム(クリアの基準が曖昧なものもあるが、クリアしたと言えるぐらいはやったもの) ■スイッチヨッシークラフトワールドマインクラフトダンジョンズスマブラSpecialアンダーテールマリオメーカー2 ルイージマンション3にゃんこ大戦争太鼓…

Ubuntu18.04で日本語キーボードに変更

GUIがある前提。 画面右上の設定アイコンをクリック Region & Language をクリック Input Sources の + ボタンをクリックして、Japanese を追加 設定ウィンドウを閉じる 画面右上にen と表示されていたら、クリックして ja に変更

Ubuntu18.04サーバにリモートデスクトップ接続

必要なソフトウェアをインストール。 sudo tasksel # ubuntu desktopを選択してEnter sudo apt -y install xrdp sudo tee /etc/polkit-1/localauthority/50-local.d/xrdp-color-manager.pkla <<EOL >/dev/null [Netowrkmanager] Identity=unix-user:* Action=org.f</eol>…

CUDA10でnvvpが起動できない

gpu

最新のJavaではNVIDIAのCUDA/GPUプロファイラツールnvvpが動かないようだ。現在はnvvpが非推奨で、NVIDIA Nsight Systemsに移行されているようだ。 以下、インストールなどの手順。 NVIDIAのサイトからインストーラをダウンロード https://developer.nvidia.…

Dockerコンテナで利用可能なGPU制御

gpu

マルチGPUサーバで、あるコンテナには指定GPUのみ利用を許可したい場合。 環境変数 NVIDIA_VISIBLE_DEVICESでGPUデバイスIDを指定して、コンテナを起動すればよい。 docker run -d -it --runtime=nvidia -e NVIDIA_VISIBLE_DEVICES='1' --name {image_name} …

Prometheusサーバの移行(Snapshot)

Prometheusサーバを「--web.enable-admin-api」オプションを付与して起動 「curl -XPOST http://localhost:9090/api/v1/admin/tsdb/snapshot」コマンドを実行(/var/lib/prometheus/dataにsnapshotsディレクトリが生成される) 生成されたsnapshots内のディ…

気になるPython Library 2019.11.29

geo-heatmapGenerate an interactive geo heatmap from your Google location data https://github.com/luka1199/geo-heatmap

気になるPython Library 2019.10.19

sotabench Easily evaluate machine learning models on public benchmarks. https://github.com/paperswithcode/sotabench-eval

DCインフラ勉強メモ 2019.10.17

NEBS Network Equipment Building System の略 通信事業者向け通信機器の基準 高温や高湿度,また火災や振動などの障害原因となる物理的,電気的,電磁的などの要因に対する耐性の評価,認定を行うもの レベル1~3がある https://en.wikipedia.org/wiki/Ne…

気になるPython Library 2019.10.12

imagededup Finding duplicate images made easy! 類似画像判定 https://github.com/idealo/imagededup

気になるPython Library 2019.9.20

DeepPrivacy A Generative Adversarial Network for Face Anonymization https://github.com/hukkelas/DeepPrivacy 顔検出して、その顔を匿名化。ただし、元画像のデータ分布は維持する。匿名化した画像を見ると匿名化というより、表情を変えた画像を生成し…

気になるPythonライブラリ 2019.9.6

faceswapFaceSwap is a tool that utilizes deep learning to recognize and swap faces in pictures and videos. https://github.com/deepfakes/faceswap nlpNatural Language Processing Best Practices & Examples. https://github.com/microsoft/nlp Buf…

気になるPythonライブラリ 2019.9.1

HungaBunga Brute-Force all sklearn models with all parameters using .fit .predict! https://github.com/ypeleg/HungaBunga Causal ML Uplift modeling and causal inference with machine learning algorithms. https://github.com/uber/causalml Grove…

シェルスクリプトで実行時間測定

time sh xxx.sh とすれば、実行時間を測定できるが、 シェルスクリプト内部で計算したい場合。 start_dt=`date +%s` # Some processing sleep 1 end_dt=`date +%s` start_dt_str=`date +%Y%m%d_%H%M%S_%3N -d @$start_dt` end_dt_str=`date +%Y%m%d_%H%M%S_%…

グーグル社員による Google I/O 2019 徹底解説のメモ

開催概要 日時:2019.6.19 主催:IT Search URL: https://news.mynavi.jp/itsearch/seminar/294 スピーカー:鈴木 拓生, Google, Developer Relations Team Program Manager How to markup 料理やDIYのHow to検索に対応する技術 Googleの検索結果のページに…

TFUG ハード部:Jetson Nano, Edge TPU & TF Lite micro 特集のメモ

以下の勉強会に参加。 tfug-tokyo.connpass.com 以下、メモ Getting Started with Jetson Nano NVIDIA 橘 幸彦さん Jetson Nanoを使い始める際に参照してもらいたいサイトを紹介しながら、 簡単に楽しくJetson Nanoを使い始めてもらうためのTipsをシェアしま…

USENIX OpML'19 登壇・参加報告会のメモ

USENIX OpML'19 登壇・参加報告会(Hadoopソースコードリーディング 第26回) https://www.eventbrite.com/e/usenix-opml19-hadoop-26-tickets-62192922706 USENIX OpML全体紹介 参加者:210名 日付:2019.5.20 場所:サンタクララ 採択率は約5割。投稿62件 …

気になるPythonライブラリ 2019.6.2

videoflowPython framework that facilitates the quick development of complex video analysis applications and other series-processing based applications in a multiprocessing environment GitHub - videoflow/videoflow: Python framework that fac…

AKIBA.AWS #13 ガチ編〜監視(モニタリング)のメモ

AKIBA.AWS #13 ガチ編〜監視(モニタリング) - https://classmethod.connpass.com/event/130740/ AWSと監視SaaSの動向から探る監視(モニタリング)の「現在」 資料:https://dev.classmethod.jp/cloud/aws/201905-akiba-aws-13-monitoring-s01/ ペットと家畜…

DMM x ZOZOを支える基盤技術のメモ

DMM x ZOZOを支える基盤技術 https://dmm.connpass.com/event/129128/ 参加者数:200 DMMを支えるプラットフォーム基盤の裏側 ユーザーの回遊・リテンションを最大化するサイクルとは? 石垣 雅人, DMM.com, @i35_267 資料:https://speakerdeck.com/i35_267…

気になるPythonライブラリ 2019.5.17

Python weeklyからの抜粋 Interesting Projects, Tools and Libraries openpilotopenpilot is an open source driving agent. Currently, it performs the functions of Adaptive Cruise Control (ACC) and Lane Keeping Assist System (LKAS) for selected …

SysML2019論文読み会のメモ

SysML2019論文読み会に参加してきた。 mlxse.connpass.com 日時:2019.5.11 場所:国立情報学研究所 12F会議室 主催:MLSE(機械学習工学研究会) 気になった発表は以下から論文を参照できる https://www.sysml.cc/ 以下、メモ SysML参加報告&紹介 Speaker:…

metaflowとMLOps

MLOps関係でkubeflow,airflowなどのツールがあるが、Netflix開発のmetaflowもあるらしい。 Machine learning infrastructure lessons from Netflix Human-Centric Machine Learning Infrastructure @Netflix - YouTube metaflowでググるとmetaflow-aiやmetaf…

データ可視化のアニメーション

データ可視化でグラフをアニメーション表示する方法はRではgganimateがある。 Rで解析:ggplot2のプロットを簡単アニメーション「gganimate」パッケージ 以下の動画にリッチなアニメーション例がある。 The Grammar of Animation - YouTube 上記よりもリッチ…

Deep LearningにおけるCPUとGPUの性能比較メモ

興味があったので、いくつか記事を漁ってみた。 benchmark 1 以下はNVIDIA 1080ti, Jetson, Qualcomm, Google Vision kit, Intel Core i7などのHWごとの 処理性能をベンチマーク。 https://towardsdatascience.com/benchmarking-hardware-for-cnn-inference-…

Visual Studio 2010でCannot find or open the PDB file error

実行中に以下のエラーメッセージが出た場合の対応。 'C:\Windows\System32\ntdll.dll' を読み込みました。Cannot find or open the PDB file Visual Studioで、ツール→オプション→デバッグ→シンボル→Microsoft シンボル サーバにチェックする。 これで解決。…

Skype for Business自動起動を停止

自動起動は止められないので、停止コマンドを自動実行させる。 以下の内容でstop_skype.bat ファイルを作成(Skypeアプリを停止するバッチ) taskkill /F /IM lync.exe /T Win+Rでshell:startupでスタートアップフォルダを開いて、stop_skype.batファイルを…

Ubuntu16.04でCUDAなどのインストールでログインできなくなった場合の対処

NVIDIAのグラフィックカードをディープラーニング用GPUとして使う場合、 グラフィックカードのドライバ、cuDNN、CUDAをインストールするが、 インストール後に再起動すると画面が正しく表示されず、ログインできなくなる場合がある。 場合があるというか、よ…

メモ: 話が分かりにくい人の条件

@sogitani_baigie のツイート。 https://twitter.com/sogitani_baigie/status/1022282283997310977?s=21 話が分かりにくい人の条件 ・前提の説明がない ・結論を先に言ってない ・質問に答えてない ・全体→部分という構造になってない ・抽象的な言葉が多い …

戦わずして勝つファシリテーション

開発プロジェクトでお客様または企画と打合せする際に打合せ資料を作成し、打合せの流れを考えてアジェンダを作成する。 打合せの目的が進捗報告の場合がある。その場合、プロジェクトを進めるにあたって見つかった課題を議論する。 課題はプロジェクト関係…