pandazx's blog

Hadoop, データ分析など雑多な技術ブログ

GitHub上でブランチ・コミット間の差分を表示

git

時々、特定ブランチ・コミット間の差分を見たい場合がある。 画面からリンクを辿る方法は不明だが、以下の規則で対象リポジトリにアクセスすると、差分を表示できるページにアクセスできる。 https://github.com/{user_name}/{repository_name}/compare アク…

AWS SDKサンプルプログラム(Python2)

Get S3 bucket list # coding:utf-8 from boto3.session import Session import os session = Session( aws_access_key_id = os.environ['access_key'], aws_secret_access_key = os.environ['secret_access_key'], region_name = 'ap-northeast-1', ) s3 = …

VPC内のLambdaから外部サービスにアクセスする方法

AWS

VPC内のEC2やRedshiftなどにアクセスするためにLambdaをVPC内に作成して実行すると、 今度は逆に外部のインターネットやS3, Kinesisなどにアクセス出来なくなる。 その場合の対応方法はAWSの公式ドキュメントに書いてある。 Configuring a Lambda Function t…

EC2にNATサーバ構築

本文 AmazonからはNAT Gatewayというマネージドサービスが提供されているが、お金が少しかかる。 そこで自前で用意する方法を説明する。 OS:Amazon Linux NATサーバの設定 NATサーバを構築するEC2インスタンスはパブリックIPがあり、外につながっているとす…

AMIイメージから作成したEC2にSSHで接続できない

EC2

それまでパスワード認証でsshでログインしていたEC2があったとする。 そのAMIイメージを作成して、別途、EC2を作成するが、sshでログインできず、「Permission Denied」となる。EC2作成時にはキーペアをなしに設定している。 解決方法 キーペアをありにして…

AWS SDK for Ruby V2でS3にアクセスするサンプルプログラム

AWS SDKをインストール gem install aws-sdk サンプルプログラム # coding: utf-8 # # AWS SDKを用いて、S3にアクセスするサンプルプログラム # require 'aws-sdk' # Config AWS_REGION = "ap-northeast-1" AWS_ACCESS_KEY = "xxx" AWS_SECRET_ACCESS_KEY = …

機械学習の用語

評価指標 MAE=Mean Absolute Error(平均絶対誤差) RMSE=Root Mean Square Error(2乗平均平方根誤差)

OpenStreetMapサーバの構築 Ubuntu 14.04

OpenStreetMapサーバはKai Krueger氏がUbuntu14.04向けにパッケージングしてくれているので、 これを利用すると構築が簡単。以下の方法が参考になる。 OpenStreetMapサーバを自作する(Install OpenStreetMap on AWS EC2/Ubuntu14.04) | Developers.IO 以下…

VBoxGuestAdditions.iso の UUID エラー

他からコピーしてきたvboxファイルをVirtualBoxで「追加」で起動しようとすると、 Cannot register the DVD image… であったり、UUID のエラーメッセージが表示されることがある。 この場合、「新規」に作成し、ストレージにコピーしてきたvmdkファイルを指…

cuDNNのバージョン確認

cudaのインストールディレクトリが /usr/local/cuda と仮定する。その場合、以下に書いてある。 /usr/local/cuda/include/cudnn.h のCUDNN_MAJOR, CUDNN_MINOR, CUDNN_PATCHLEVEL /usr/local/cuda/lib64/libcudnn.so.x.x.x x.x.xがバージョン

Ubuntu14.04でメニューが表示されなくなった

再起動してログインしたら、急にメニューバーやランチャーが表示されず、 デスクトップ上のフォルダやファイルのアイコンだけ表示される状態になり、 ターミナルも起動できなくて困った。(Ctrl + Alt + Tでも起動できず。。。) ググると、色々とやりようは…

Bluetooth対応ケーブルありイヤホンTT-BH16

通勤時に使うBluetooth対応イヤホンを検討していたが、AirPodsなどのケーブルなしは見送り、 安価なケーブルありイヤホンを購入した。 知人の口コミ情報を元に、タオトロニクスのTT-BH16(約3000円)に決定。 TaoTronics Bluetooth 4.1 スポーツイヤホン マ…

Rubyの2次元ハッシュの定義

本当にタダのメモ hash = Hash.new{|h,k| h[k] = {} } # 以下のように値を代入できる hash["a"]["b"] = 1 # 上記とは別に、以下のように、存在しなければ、都度、ハッシュを定義してもよい # if文でチェックする必要がないので、シンプルに書ける hash["a"] …

エンジニアとして世界の最前線で働く選択肢、を読んで

シリコンバレーで働く日本人エンジニアの就活事情に興味があったので。 エンジニアとして世界の最前線で働く選択肢 ?渡米・面接・転職・キャリアアップ・レイオフ対策までの実践ガイド作者: 竜盛博出版社/メーカー: 技術評論社発売日: 2015/10/08メディア: K…

psycopg2.OperationalError: asynchronous connection attempt underway

pythonで並列処理 - pandazx's blog というブログを以前、書いたが、 並列処理の中でPostgreSQLにSELECTを投げる処理をした時に以下のエラーが発生した。 psycopg2.OperationalError: asynchronous connection attempt underway このエラーは並列処理前にDB…

Ubuntu14.04にVNCリモートログインで動画再生できない

まず、Ubuntuは標準では、著作権の問題でコーデックがないため、mp4などの動画が再生できない。 そのため、コーデックをインストールする。 sudo apt-get install ubuntu-restricted-extras これでローカルからログインすれば再生できる。 しかし、まだ、VNC…

CentOS7にPostgresql9とPostGISをインストール

今更な内容だが、作業ログとして残す。 前提 OS: Centos 7 インストール sudo yum install epel-release sudo yum install -y proj proj-devel proj-epsg sudo yum --enablerepo=epel install gdal sudo yum install postgis # 順番が前後するが、以下でPost…

pythonで並列処理

python2.7で実装した際のメモ。 実装イメージ csvファイルの行ごとに重たい処理をするので、行ごとに並列処理したい 行の先頭列にはIDがあり、IDをキーに並列処理の結果を受け取って、出力したい csv上、IDには重複があるが、同一IDは2回処理したくない 各プ…

Windows Server 2012R2にssh serverを構築

基本的には以下のブログの通り。 windowsに公式なsshdをインストールし、linuxからwindowsにssh接続 | Developers.IO これについて補足する。 上記ブログに最新版はこちらと、ダウンロードページを紹介されるが、 OpenSSH-Win32.zipとOpenSSH-Win64.zipがあ…

Ruby: MessagePackのファイル読み書きでエラー

MessagePackしたファイルの読み込み時にエラーで、少しハマったのでメモ test.rb:27:in `unpack': extra bytes follow after a deserialized object (MessagePack::MalformedFormatError) こうじゃなくて File.open(outpath, "w") do |fout| fout.puts(links…

一般物体検出のFaster R-CNNについて

Faster R-CNNには本家Matlab版とPython版のプログラムが公開されている。 Matlab版 GitHub - ShaoqingRen/faster_rcnn: Faster R-CNN Python版 GitHub - rbgirshick/py-faster-rcnn: Faster R-CNN (Python implementation) -- see https://github.com/Shaoqi…

MATLABにToolboxをアドオン追加

MATLABをインストール後、アドオンを追加する方法がすぐにわからなかったのでメモ まず、Toolboxを購入。評価版の場合は特になし。 MATLABのインストーラを実行すると、最後の方にインストールするコンポーネントを 追加するページがある。MATLAB本体はイン…

Ubuntu 14.04 にVNC serverを構築

なぜか、普通のやり方で構築すると、ログインした際に灰色の画面(gray screen)になってしまう現象に直面。 以下のサイトを参考に対応できた。 How To Setup VNC For Ubuntu 12 | DigitalOcean 最後のセキュアにするところは、ご自由に。 ちなみに、/etc/in…

Word2vecの仕組みの勉強

Word2vecについて個人メモ(私の理解)。詳しく知りたい人は参考文献を参照して欲しい。参考文献先には元論文のリンクもある。Word2vecは二層のニューラルネットワーク(NN)で構成される。学習して計算された重み付けの値により、学習データに含まれる情報を数…

Ubuntu server 14.04で日本語入力できない

Mozcが出てこない。 以下のコマンドで言語関連ライブラリをインストール sudo apt-get install fcitx fcitx-mozc fcitx-libs-qt5 fcitx-frontend-qt5 sudo apt-get install language-pack-ja 右上のEnを右クリック→Text Entry Settingsで、 +アイコンから、…

NVIDIAドライバ環境でUbuntu serverにGUIインストール

大いにハマった。 以下の順に行うことで、うまくいった。 Ubuntuインストール taskselでデスクトップ環境をインストール NVIDIAドライバをインストール 最初に3と2を逆にやったためか、Xorgの設定がうまく行われず、startxすると画面が真っ黒になり、どうに…

EC2のGPUインスタンスにTensorflowインストール

追記 NVIDIA AMIではうまく行かなかったので、まっさらなUbuntuを元に以下を参考にコマンドをコピペすれば出来る。 AWSインスタンス上にTensorFlow:GPGPU環境を作成する | テクノスデータサイエンス・マーケティング株式会社 一部、違うのは、ビルドツールBa…

ImportError: No module named cv2

前提 OS: Amazon Linux(CentOSみたいなもの) AMI: Amazon Linux AMI with NVIDIA GRID GPU Driver on AWS Marketplace python 2.7 PFN発のディープラーニングフレームワークchainerで画像分類をするよ(chainerでニューラルネット1) - 人工言語処理入門 この…

Bazelインストール

前提 OS: Amazon Linux(CentOSみたいなもの) AMI: Amazon Linux AMI with NVIDIA GRID GPU Driver on AWS Marketplace 現在のBazelインストールにはJDK8が必要。以下ではver 0.2.1をインストールする。 公式ドキュメント Installing Bazel - Bazel 以下、作…

pillowインストールでエラー

前提 OS: Amazon Linux(CentOSみたいなもの) AMI: Amazon Linux AMI with NVIDIA GRID GPU Driver on AWS Marketplace Amazon Linux で、pip install pillowしたらエラー発生 ValueError: jpeg is required unless explicitly disabled using --disable-jpeg…