pandazx's blog

データ分析など雑多な技術ブログ

2014-01-01から1年間の記事一覧

verticaのエクスポート

selectの結果をcsvファイルにエクスポートする方法 vsql -U user_name -w password -c "select * from table;" -A -F ',' > result.csv

Verticaのvsqlの結果を保存反映

vsqlでdeleteして\qで終了して、再度、vsqlでselectするとデータが削除されない。 終了する前に COMMIT; でコミットすれば結果が反映される。 create tableやdrop tableはコミットする必要はない。

Verticaのテーブル一覧、カラム一覧取得

テーブル一覧取得 select table_name from tables; # filterあり select table_name from tables where table_name like 'hoge%'; カラム一覧取得 select column_name from columns;

GitHubアクセス時にPermission denied

以下、しょうもないことを書いていたが、以下を参考にすればよい。 GithubにSSH公開鍵を設定 - Perl日記一応、以前に書いた内容を残しておく。GitHubからcloneしたいのにPermission deniedする場合の対処方法。GitHubにSSH keyを登録するあたりは以下を参照…

Verticaのテーブル作成とCSVインポート

テーブル作成 command.sql にcreate文があるとする。 vsql -U dbadmin -w password -f command.sql インポート vsql -U dbadmin -w password -c "copy table_name from 'csv_full_path' delimiter ',' DIRECT"nullという文字列をNULL値としてインポートして…

PXEブート+Kickstartで自動インストール

さんざんブログで書かれているネタだが、個人的なメモとして書いておく。以下のサイトがわかりやすかった。詳細な内容は以下を参照すること。 PXEブート&KickstartによるOSインストール自動化 - IT 東京 楽しいと思うこと linux:インストール自動化:kickstar…

Linuxでログアウトしても処理続行

ssh でログインしていてバッチを実行してログアウトして家に帰りたい時があります。 その場合に使えるのは nohup disown nohupはコマンド実行時に頭につけて実行するもの。 nohup sh batch.sh > nohup.log &disownはコマンド実行後にdisownして、実行中のジ…

お勉強(匿名化、プライバシー、GPS圧縮、誤字脱字対応の照合技術)

匿名化 Scis2014 匿名化(最終版) from Rie Yamaguchi Scis2014 匿名化(最終版) 匿名化にも銀の弾丸はないという話。 直接的な氏名、会員番号を削除するのは当然として、性別、年齢などの情報は組み合わせると個人特定できてしまう場合がある。 匿名化し…

お勉強(MVC, DOM, ツリー構造)

MVC DDD - MVCの流れを簡単にまとめてみる - Qiita [キータ] Twitterで流れてきたMVC変遷の流れに関する記事。 まだまだ疎結合に設計するための考え方、実装方法は進化しているんだな。 DOM DOMとは何か HTMLを操作する時に作るオブジェクトが「DOM」という…

macのEclipseでJava1.7を設定

Eclipse: KEPLER(4.3.1)Java1.7をインストール後、Eclipseを起動したら、JRE1.6のインストールを促された。 仕方ないのでインストール。次に、Eclipse->環境設定をPreferencesを表示。 Java->Compilerで1.7を使うよう設定。 Java->Installed JREs->Addで、JR…

ML advent calendar 2013でお勉強

Machine Learning Advent Calendar 2013 - Qiita [キータ]初学者のため、読んでも理解できなかったものが多いが、参考になったのは、EMアルゴリズムの説明。MLAC2013 数式を使わずイメージで理解するEMアルゴリズム - Wolfeyes Bioinformatics betaadvent201…

GPSデータから場所クラスタを生成するためのクラスタリング

r - Clustering GPS data using DBSCAN but clusters are not meaningful (in terms of size) - Stack OverflowGPSデータにDBSCANを使ったけど、1km以上の大きいクラスタが出来てしまって 思うようなクラスタが作れないよ、という話。コメントでは、1つのク…