pythonで並列処理
python2.7で実装した際のメモ。
実装イメージ
- csvファイルの行ごとに重たい処理をするので、行ごとに並列処理したい
- 行の先頭列にはIDがあり、IDをキーに並列処理の結果を受け取って、出力したい
- csv上、IDには重複があるが、同一IDは2回処理したくない
- 各プロセスで共通して参照するデータがある。このデータはIDをキーに参照
- csvのどこまで処理が進んだか進捗を見たい
以下のサイトを参考にした。
メモ: multiprocessingを使うまで(Part 2) – Momentum
まずは、上記サイトのmultiprocess_with_instance_method.py をありがたくimportする。
from multiprocessing import Pool, Manager import multiprocess_with_instance_method
以下のようにして並列処理できる
def process(i, line, list, common_result):
# lineを元にした処理
print "i=" + str(i) # 進捗を出力
cols = line.rstrip().split(",")
id = cols[0]
if common_result.has_key(id) == False:
# 同一IDは一回のみ処理
common_result[id] = heavy_func(list[id])
return cols[1]
def heavy_func(data):
# 重たい処理
return data
# 各プロセスの処理結果を代入する変数。各プロセスで共通参照される
common_result = Manager().dict()
# 各プロセスの中で参照するデータ
list = {"1":"a", "2":"b", "3":"c"}
#lines = open(csv_file, "r").readlines()
lines = []
lines.append("1,aaa")
lines.append("2,bbb")
lines.append("3,ccc")
p = Pool(3)
result = [p.apply_async(process, args=(i, line, list, common_result)) for i, line in enumerate(lines)]
p.close()
p.join()
# output
for id, val in common_result.items():
print id + "," + val
# process()でreturnした結果をresultで受け取って出力してもよい
print [r.get(timeout=1) for r in result]
ちなみに、進捗を出力しても、python test.py > log & のように実行すると、バッファリングされてしまい、すぐにはファイルに出力されない。 この場合は python -u test.py > log & とすれば、すぐに出力される。
注意
並列処理するプロセスで参照するデータサイズが大きいと 並列処理のためのオーバーヘッドが大きくて、逆に遅くなるので注意。
KBレベルならいいが、100MBレベルだと厳しい。 その場合、参照データはDBにおいて、SQLでアクセスした方がよい。
Ruby: MessagePackのファイル読み書きでエラー
MessagePackしたファイルの読み込み時にエラーで、少しハマったのでメモ
test.rb:27:in `unpack': extra bytes follow after a deserialized object (MessagePack::MalformedFormatError)
こうじゃなくて
File.open(outpath, "w") do |fout| fout.puts(links.to_msgpack) end
こう
File.open(outpath, "w") do |fout| fout.write(links.to_msgpack) end
改行コードがね。。。
一般物体検出のFaster R-CNNについて
Faster R-CNNには本家Matlab版とPython版のプログラムが公開されている。
Faster R-CNNについては、上記リポジトリのREADME.mdを参照して欲しいが、 日本語のslideshareもある。
Python版しか実行確認していないが、以下の手順で実行できる。
前提：Ubuntu14.04, Anaconda2, CUDA7.5, cuDNN v4, Caffeはインストール済み
ライブラリをインストール
- conda install cython
- conda install -c https://conda.binstar.org/menpo opencv
- conda install -c https://conda.binstar.org/auto easydict
後はpy-faster-rcnnのREADME.mdに従えばOK。デモ画像に対する一般物体検出まで行える
コマンドだけ知りたい人は以下の方が参考になる。
ただし、make前に以下の設定が必要。
Makefile.config から以下をアンコメント
USE_CUDNN := 1 WITH_PYTHON_LAYER := 1
以下を環境に合わせて設定
ANACONDA_HOME := $(HOME)/anaconda2
PYTHON_INCLUDE := $(ANACONDA_HOME)/include \
$(ANACONDA_HOME)/include/python2.7 \
$(ANACONDA_HOME)/lib/python2.7/site-packages/numpy/core/include
PYTHON_LIB := $(ANACONDA_HOME)/lib
Ubuntu 14.04 にVNC serverを構築
なぜか、普通のやり方で構築すると、ログインした際に灰色の画面（gray screen）になってしまう現象に直面。 以下のサイトを参考に対応できた。
How To Setup VNC For Ubuntu 12 | DigitalOcean
最後のセキュアにするところは、ご自由に。
ちなみに、/etc/init.d/vncserver で起動するが、上記サイトでは決め打ちになっていたので、 USER, DISPLAYはserviceコマンド実行時にパラメータを渡すように修正した。
蛇足
操作を誤ったからか、試行錯誤している最中におかしなことをしていたか、 以下のUbuntu 14用のやり方も、ほぼ上記と同じだと思うのだが、以下ではうまく行かなかった。
How to Install and Configure VNC on Ubuntu 14.04 | DigitalOcean
Word2vecの仕組みの勉強
Word2vecについて個人メモ(私の理解)。詳しく知りたい人は参考文献を参照して欲しい。参考文献先には元論文のリンクもある。
Word2vecは二層のニューラルネットワーク(NN)で構成される。学習して計算された重み付けの値により、学習データに含まれる情報を数値ベクトルで表現できる。
NNの隠れ層、出力層のノード数は単語数x200次元程度の次元数。ただし、出力層はコンテキストサイズごとに同じノード数のものを用意する。
コンテキストサイズとは、対象となる単語の前後、何単語まで、その出現位置の関係を学習するか、というもの。サイズが1なら、一つ前に現れる単語、一つ先に現れる単語を学習する。
これは、近い場所に現れる単語は意味的に近い、という考え方を前提としている。
各単語が200次元で表現されるが、これを分散的意味表現と呼ぶ。共起頻度を学習する場合は単語数x単語数の次元数が必要となり、通常、こちらの方が圧倒的に次元数が大きい。こちらは分布的意味表現と呼ばれる。
何らかの単語をNNに入力すると、前後に現れる単語の確率ランキングが得られる。コンテキストサイズが2なら、2つ先と前の確率ランキングも得られる。
Word2vecの使い方でよく説明されるものに、フランス-パリ+東京で、日本が得られる、という計算例がある。
私の理解では、これはフランスから、パリを引くと、パリに意味的に近い単語が除かれる(おそらく、該当単語の値が引かれるので、フランスの確率ランキングにおいて、パリの確率ランキングの上位の単語が下位になる)。次に、東京を足すので、東京に意味的に近い単語が上位に来る。フランスは国であるので、元々、日本とは意味的に近く、パリが引かれて、東京が足されるので、東京に最も意味的に近い国、つまり、日本が確率ランキングの最上位に来るという流れだと思われる(あまり、自信はない)
NNを使うからというのもあるが、なぜ、この方法で意味的に近い単語の表現が可能になるかは、理論的にはわかってないらしい。
参考文献
http://business.nikkeibp.co.jp/article/bigdata/20141110/273649/