シリコンバレーで働く日本人エンジニアの就活事情に興味があったので。 エンジニアとして世界の最前線で働く選択肢 ?渡米・面接・転職・キャリアアップ・レイオフ対策までの実践ガイド作者: 竜盛博出版社/メーカー: 技術評論社発売日: 2015/10/08メディア: K…

pythonで並列処理 - pandazx's blog というブログを以前、書いたが、 並列処理の中でPostgreSQLにSELECTを投げる処理をした時に以下のエラーが発生した。 psycopg2.OperationalError: asynchronous connection attempt underway このエラーは並列処理前にDB…

まず、Ubuntuは標準では、著作権の問題でコーデックがないため、mp4などの動画が再生できない。 そのため、コーデックをインストールする。 sudo apt-get install ubuntu-restricted-extras これでローカルからログインすれば再生できる。 しかし、まだ、VNC…

今更な内容だが、作業ログとして残す。 前提 OS: Centos 7 インストール sudo yum install epel-release sudo yum install -y proj proj-devel proj-epsg sudo yum --enablerepo=epel install gdal sudo yum install postgis # 順番が前後するが、以下でPost…

python2.7で実装した際のメモ。 実装イメージ csvファイルの行ごとに重たい処理をするので、行ごとに並列処理したい 行の先頭列にはIDがあり、IDをキーに並列処理の結果を受け取って、出力したい csv上、IDには重複があるが、同一IDは2回処理したくない 各プ…

基本的には以下のブログの通り。 windowsに公式なsshdをインストールし、linuxからwindowsにssh接続 ｜ Developers.IO これについて補足する。 上記ブログに最新版はこちらと、ダウンロードページを紹介されるが、 OpenSSH-Win32.zipとOpenSSH-Win64.zipがあ…

MessagePackしたファイルの読み込み時にエラーで、少しハマったのでメモ test.rb:27:in `unpack': extra bytes follow after a deserialized object (MessagePack::MalformedFormatError) こうじゃなくて File.open(outpath, "w") do |fout| fout.puts(links…

Faster R-CNNには本家Matlab版とPython版のプログラムが公開されている。 Matlab版 GitHub - ShaoqingRen/faster_rcnn: Faster R-CNN Python版 GitHub - rbgirshick/py-faster-rcnn: Faster R-CNN (Python implementation) -- see https://github.com/Shaoqi…

MATLABをインストール後、アドオンを追加する方法がすぐにわからなかったのでメモ まず、Toolboxを購入。評価版の場合は特になし。 MATLABのインストーラを実行すると、最後の方にインストールするコンポーネントを 追加するページがある。MATLAB本体はイン…

なぜか、普通のやり方で構築すると、ログインした際に灰色の画面（gray screen）になってしまう現象に直面。 以下のサイトを参考に対応できた。 How To Setup VNC For Ubuntu 12 | DigitalOcean 最後のセキュアにするところは、ご自由に。 ちなみに、/etc/in…

Word2vecについて個人メモ(私の理解)。詳しく知りたい人は参考文献を参照して欲しい。参考文献先には元論文のリンクもある。Word2vecは二層のニューラルネットワーク(NN)で構成される。学習して計算された重み付けの値により、学習データに含まれる情報を数…

Mozcが出てこない。 以下のコマンドで言語関連ライブラリをインストール sudo apt-get install fcitx fcitx-mozc fcitx-libs-qt5 fcitx-frontend-qt5 sudo apt-get install language-pack-ja 右上のEnを右クリック→Text Entry Settingsで、 ＋アイコンから、…

大いにハマった。 以下の順に行うことで、うまくいった。 Ubuntuインストール taskselでデスクトップ環境をインストール NVIDIAドライバをインストール 最初に3と2を逆にやったためか、Xorgの設定がうまく行われず、startxすると画面が真っ黒になり、どうに…

追記 NVIDIA AMIではうまく行かなかったので、まっさらなUbuntuを元に以下を参考にコマンドをコピペすれば出来る。 AWSインスタンス上にTensorFlow:GPGPU環境を作成する | テクノスデータサイエンス・マーケティング株式会社 一部、違うのは、ビルドツールBa…

前提 OS: Amazon Linux(CentOSみたいなもの) AMI: Amazon Linux AMI with NVIDIA GRID GPU Driver on AWS Marketplace python 2.7 PFN発のディープラーニングフレームワークchainerで画像分類をするよ(chainerでニューラルネット1) - 人工言語処理入門 この…

前提 OS: Amazon Linux(CentOSみたいなもの) AMI: Amazon Linux AMI with NVIDIA GRID GPU Driver on AWS Marketplace 現在のBazelインストールにはJDK8が必要。以下ではver 0.2.1をインストールする。 公式ドキュメント Installing Bazel - Bazel 以下、作…

前提 OS: Amazon Linux(CentOSみたいなもの) AMI: Amazon Linux AMI with NVIDIA GRID GPU Driver on AWS Marketplace Amazon Linux で、pip install pillowしたらエラー発生 ValueError: jpeg is required unless explicitly disabled using --disable-jpeg…

前提 OS: Amazon Linux(CentOSみたいなもの) AMI: Amazon Linux AMI with NVIDIA GRID GPU Driver on AWS Marketplace 基本的には以下のサイトを参考にすればよい。 AWSのGPU有りインスタンスにChainer 1.5を最も簡単にインストールする - Qiita その際に、…

何かのデータベースソフトウェアでカーディナリティを計算するためにHyperLogLog使ってる、という記述があり、 HyperLogLogがわからん。ということで調べた時のメモ。 まずは、Wikipedia様。 HyperLogLog - Wikipedia, the free encyclopedia HyperLogLogは…

日時：2016/1/23 以下、完全にただのメモ。読みやすさゼロ おでかけスポット検索の難しさ 検索：どこで + だれと、いつ、なにを 初期は全文検索 中目黒は住所的な中目黒ではない など、ノイズ、検索対象にズレが出てしまっていた 他に中目黒駅とした場合に、…

久しぶりの参加。 www.eventbrite.com 本日のお品書き Apache Kylin: Materialized View for Big Data Apache Phoenix: Relational database layer over HBase Upgrading from HDP2.1 to HDP2.4 Kylin, Phoenixって何だろう、という動機で参加。どちらもHBas…

Dockerizing an SSH service 上記Dockerブログを参考にすれば出来る。まず、このブログに書いてあるDockerfileの内容をコピペしたファイルを作成。ファイル名はDockerfile。次に、以下のコマンドを実行。 # Dockerfileがカレントディレクトリにあること # Ub…

（作業中。ローカルにGPU環境を作らずに、Docker上で作れば、すんなり行くのかもしれないが、未確認） 前提 以下のサイトの通り、一通り、CUDA, cuDNNが使える状態になっていること Ubuntu 14.04 にChainer1.7.0環境構築 - pandazx's blog 目標 Dockerコンテ…

構築する環境 CUDA7.5, cuDNN v4, Chainer 1.7.0 のインストール 作業ログ サーバにTITAN Xを取り付ける Ubuntu 14.04 をインストール ハマったこと ubuntu snd_hda_intel failed to add i915 component master - pandazx's blog Ubuntu起動時にAdding ?k sw…

NVIDIAのTITAN XのGPUを挿したサーバに、Ubuntu 14.04 をインストール後、起動したら、このエラーが出た。 まったく解決方法になっていないが、作業ログを残す OnChipのグラフィック機能をオフにすればいい、みたいな書き込みがどこかにあったが、自分のBIOS…

NVIDIAのTITAN XのGPUを挿したサーバにUbuntu 14.04 をインストールして起動したところ、 swapのマウントのような処理で止まる（エラーとは出ない） 対応方法は、起動時にGRUBを編集して、nomodeset を追加すること。 参考にしたページには、そのようなこと…

コンピュータビジョンのセカイ - 今そこにあるミライ | マイナビニュース2011年4月から2015年2月まで、計85回の長期連載。とりあげるトピックが、話題になった技術中心で読みやすい。例えば、ARやKinectなど。コンピュータビジョンの世界を知る入門記事とし…

既存テーブルと同じ構造のテーブルを作成したい場合に使える小技。 （テーブル定義のコピーのようなイメージ） 以下のクエリを実行すれば、対象テーブルのCREATE文が表示される。 select export_tables('','table_name'); 参考にしたサイト：Verticaのオブジ…

１サーバに複数コアがあって、それらを使って並列処理する話。 Hadoopのようなサーバをまたいだ並列処理ではありません。 ビッグデータを処理する際に並列処理したいとします。 前提 ユーザごとに集計を行うとして、指定ユーザだけのデータを読込める ユーザ…

以下の勉強会に参加 eventdots.jp 日時：2015/10/20 19:00-21:00 場所：渋谷 dots community space 参加者：130人ぐらい Hivemall v0.4 新機能紹介 発表者：Treasure Data 油井 @myui スライドは後でUPされるらしい（期待） 以下に記載するSQLのサンプルはテ…