pandazx's blog

Hadoop, データ分析など雑多な技術ブログ

EC2のGPUインスタンスにChainerインストール

前提 OS: Amazon Linux(CentOSみたいなもの) AMI: Amazon Linux AMI with NVIDIA GRID GPU Driver on AWS Marketplace 基本的には以下のサイトを参考にすればよい。 AWSのGPU有りインスタンスにChainer 1.5を最も簡単にインストールする - Qiita その際に、…

HyperLogLogメモ

何かのデータベースソフトウェアでカーディナリティを計算するためにHyperLogLog使ってる、という記述があり、 HyperLogLogがわからん。ということで調べた時のメモ。 まずは、Wikipedia様。 HyperLogLog - Wikipedia, the free encyclopedia HyperLogLogは…

Cookpad TechConf 2016に行ってきた

日時:2016/1/23 以下、完全にただのメモ。読みやすさゼロ おでかけスポット検索の難しさ 検索:どこで + だれと、いつ、なにを 初期は全文検索 中目黒は住所的な中目黒ではない など、ノイズ、検索対象にズレが出てしまっていた 他に中目黒駅とした場合に、…

Hadoopソースコードリーディング 第20回に行ってきた

久しぶりの参加。 www.eventbrite.com 本日のお品書き Apache Kylin: Materialized View for Big Data Apache Phoenix: Relational database layer over HBase Upgrading from HDP2.1 to HDP2.4 Kylin, Phoenixって何だろう、という動機で参加。どちらもHBas…

ssh接続可能なDockerコンテナ作成

Dockerizing an SSH service 上記Dockerブログを参考にすれば出来る。まず、このブログに書いてあるDockerfileの内容をコピペしたファイルを作成。ファイル名はDockerfile。次に、以下のコマンドを実行。 # Dockerfileがカレントディレクトリにあること # Ub…

nvidia-dockerでコンテナからGPUアクセス環境構築

(作業中。ローカルにGPU環境を作らずに、Docker上で作れば、すんなり行くのかもしれないが、未確認) 前提 以下のサイトの通り、一通り、CUDA, cuDNNが使える状態になっていること Ubuntu 14.04 にChainer1.7.0環境構築 - pandazx's blog 目標 Dockerコンテ…

Ubuntu 14.04 にChainer1.7.0環境構築

構築する環境 CUDA7.5, cuDNN v4, Chainer 1.7.0 のインストール 作業ログ サーバにTITAN Xを取り付ける Ubuntu 14.04 をインストール ハマったこと ubuntu snd_hda_intel failed to add i915 component master - pandazx's blog Ubuntu起動時にAdding ?k sw…

ubuntu snd_hda_intel failed to add i915 component master

NVIDIAのTITAN XのGPUを挿したサーバに、Ubuntu 14.04 をインストール後、起動したら、このエラーが出た。 まったく解決方法になっていないが、作業ログを残す OnChipのグラフィック機能をオフにすればいい、みたいな書き込みがどこかにあったが、自分のBIOS…

Ubuntu起動時にAdding ?k swap on /dev/xxx Priority:-1 extents:1 across:?k で止まる

NVIDIAのTITAN XのGPUを挿したサーバにUbuntu 14.04 をインストールして起動したところ、 swapのマウントのような処理で止まる(エラーとは出ない) 対応方法は、起動時にGRUBを編集して、nomodeset を追加すること。 参考にしたページには、そのようなこと…

コンピュータビジョンの入門記事

コンピュータビジョンのセカイ - 今そこにあるミライ | マイナビニュース2011年4月から2015年2月まで、計85回の長期連載。とりあげるトピックが、話題になった技術中心で読みやすい。例えば、ARやKinectなど。コンピュータビジョンの世界を知る入門記事とし…

Verticaの既存テーブルのCreate文作成

既存テーブルと同じ構造のテーブルを作成したい場合に使える小技。 (テーブル定義のコピーのようなイメージ) 以下のクエリを実行すれば、対象テーブルのCREATE文が表示される。 select export_tables('','table_name'); 参考にしたサイト:Verticaのオブジ…

プログラムをシェルスクリプトで並列処理

1サーバに複数コアがあって、それらを使って並列処理する話。 Hadoopのようなサーバをまたいだ並列処理ではありません。 ビッグデータを処理する際に並列処理したいとします。 前提 ユーザごとに集計を行うとして、指定ユーザだけのデータを読込める ユーザ…

第二回 Hivemall Meetup 参加メモ

以下の勉強会に参加 eventdots.jp 日時:2015/10/20 19:00-21:00 場所:渋谷 dots community space 参加者:130人ぐらい Hivemall v0.4 新機能紹介 発表者:Treasure Data 油井 @myui スライドは後でUPされるらしい(期待) 以下に記載するSQLのサンプルはテ…

Rのggplotでヒートマップ作成時にログスケールとlimitsかけてエラー

R

例えば、以下のようにヒートマップを作成してエラーになったとする。 library(ggplot2) library(reshape2) library(ggthemes) # data.csv には val1, val2, valueというカラムがある data<-read.table("data.csv", header=T, sep=",") # ヒートマップ作成 p …

Hadoopの新ストレージKuduのβ版リリース

HadoopにはHDFS(ファイルシステム)やHBase(列指向DB)といった ストレージシステムがありますが、両者を補完する位置づけであるという 新しいストレージシステムKudu(クドゥ)がリリースされました(β版) Kudu (クドゥ) : HDFSとHBaseを補完する、Hadoo…

JSONファイルを1行で読込む

data = JSON.parse(File.read(filepath)) # または File.open(filepath){|io| JSON.load(io) }

rubyで別ディレクトリのscriptをrequire

作ったスクリプトが増えてくると、昔、作ったスクリプトを使いまわしたいことがあると思います。 ただ、そのスクリプトAが同ディレクトリの別のスクリプトBをrequireしていると、他のディレクトリからスクリプトAをrequireすると パスが違うのでエラーになり…

ダックタイピングとstructural subtyping

プログラミング言語の解説で、ダックタイピングという用語がわからなかったので調べた。これは動的言語において、アヒルのように歩き、同じ鳴き声をするなら、そのオブジェクトはアヒルと同じように扱えるってことらしい(ポリモーフィズム的な感じ)Rubyのサ…

AWS SDK for Ruby(V2)ですべてのS3オブジェクト一覧取得

以下のようにすると、1000個しか取得できない。 s3 = Aws::S3::Client.new response = s3.list_objects(bucket: bucket_name) response.contents.each do |object| puts object.key end これはAWS SDKの制限で一度に1000個しか取れないようになっているから…

Amazon LinuxにPython3とNumpyインストール

Amazon Linux でEC2を作ったら、Python2.7だった。 Python3系とNumpyを使いたかったのでインストールした話。 2015.6.5 追記 もっと簡単な方法があった。Python3はソースからインストール。 pip install numpy で行けた。以下はPython2だが参考になる。 Amaz…

第2回GCPUG in Tokyoメモ

GCP

第二回GCPUG in Tokyo! : ATND Google Cloud Platformユーザ会の勉強会に行って来たが、何故か発表者4人中3人がGoogleの人だったので、ユーザ会じゃなくて、Googleの宣伝活動の場みたいになってた。これから各地に支部が立ち上がる予定らしい。盛り上がる前…

sendmailコマンドで複数人にメール送信

カンマ区切りでスペースを入れずに宛先に以下のように書けばよい。 $sendmail to@test.com,to2@test.com To: to@test.com,to2@test.com From: from@test.com Subject: test test mail desu. .To: のところだけ複数個書いてもダメで、最初のsendmail でも同様…

第1回Vertica勉強会メモ

勉強会ページ第1回 Vertica 勉強会 : ATND非公式ハッシュタグは#vertica_meetup◼︎20分でわかるVertica概要紹介のみ◼︎DeNAアナリスト業務データ発生からVerticaに入るまでの時間は?1時間以下程度。遅くて2-3時間。おそらく、前者がkafka経由、後者がHadoop…

EC2にsshログインできない。タイムアウトする

aws

ネットワーク初心者がハマりやすいかもしれない。作業の流れ VPC作成 サブネット作成 EC2インスタンス作成 セキュリティグループに自分のIPアドレスからのSSHアクセスのみ許可(My IP) これで意気揚々とsshアクセスするとユーザ認証画面すら出ずにタイムア…

out of core とは

実メモリに納まらないデータがある場合に、外部記憶装置から適宜、読み出して処理すること参考http://www.nakl.t.u-tokyo.ac.jp/~masuda/papers/pnt07Symp.pdf

Kernel Panic - not syncing: VFS: Unable to mount root fs on unknown-block(0,0)

yum updateなど全体のアップデートを行った後に再起動すると タイトルのようなKernel Panicが起きることがある。 原因調査 GRUBメニューで昔のカーネルを選択して起動する。 次に、df で /boot が100%スペースを使い切ってないか確認する。 /boot の空きスペ…

C#でzipファイルの16進数文字列をバイナリにして出力

C#

zipファイルのバイナリをテキストダンプした後で 解凍して中身を取り出したい場合のサンプルコード。 以下の例では結果をD:\test.zip として出力する。 using System; using System.Collections.Generic; using System.Linq; using System.Text; using Syste…

C#でzipファイル解凍

C#

src.zipを解凍して、C:\dstフォルダに出力するサンプル。コンソールアプリケーションのプロジェクトを作成して以下を記述 using System; using System.Collections.Generic; using System.IO; using System.Linq; using System.Text; using System.Threading…

iPhoneアプリのTableView表示でエラー「unrecognized selector sent to instance」

Swiftでテストアプリ開発している時に遭遇。設定が間違っていると以下のようなエラーが出る。 2014-11-13 01:28:13.470 iOSApp[7885:126131] -[UIView tableView:numberOfRowsInSection:]: unrecognized selector sent to instance 0x7fa282d76590 2014-11-1…

iPhoneアプリでLabelに文字が表示されない

ios

文字列の最初に改行(\n)が入っていると何も表示されないXMLをパースしたテスト的な文字列が 「\n商品A\n商品B」のような文字列になっていて、 これをラベルのテキストに入れて表示しようとしたら 表示されなくて小一時間悩んだという話。。。