pandazx's blog

データ分析など雑多な技術ブログ

2015-10-01から1ヶ月間の記事一覧

プログラムをシェルスクリプトで並列処理

1サーバに複数コアがあって、それらを使って並列処理する話。 Hadoopのようなサーバをまたいだ並列処理ではありません。 ビッグデータを処理する際に並列処理したいとします。 前提 ユーザごとに集計を行うとして、指定ユーザだけのデータを読込める ユーザ…

第二回 Hivemall Meetup 参加メモ

以下の勉強会に参加 eventdots.jp 日時:2015/10/20 19:00-21:00 場所:渋谷 dots community space 参加者:130人ぐらい Hivemall v0.4 新機能紹介 発表者:Treasure Data 油井 @myui スライドは後でUPされるらしい(期待) 以下に記載するSQLのサンプルはテ…

Rのggplotでヒートマップ作成時にログスケールとlimitsかけてエラー

R

例えば、以下のようにヒートマップを作成してエラーになったとする。 library(ggplot2) library(reshape2) library(ggthemes) # data.csv には val1, val2, valueというカラムがある data<-read.table("data.csv", header=T, sep=",") # ヒートマップ作成 p …