入力データが多次元配列でコメントと日付が入ったデータとする。 これを変換して、辞書のデータ構造が年→月→日→辞書（リスト風）→辞書というデータに変換する。 辞書（リスト風）はキーを0,1,2,3というようにして辞書を登録することを意味する。 VBAの設定と…

DynamoDBストリームを読み込んでLambdaで処理する実装を行った際に勘違いしたことがあるので、メモ。 DynamoDBにはストリームという更新情報をストリームで流す機能があり、 更新発生をトリガにLambdaで処理することが可能。 ストリーム機能を有効にした際に…

Drillで変換する方法 CSV ファイルを Parquet ファイルに変換してクエリを高速化 - nagix Drill in 10 Minutes - Apache Drill CASE WHENの書き方 Error while creating Parquet table from CSV using Apache Drill - Stack Overflow

以下のようにしておけば、sample.py が他のスクリプトから呼ばれた時に main()を実行することを避けられる。 # sample.py import sys def calc(val): x = val + 1 def main(): calc(1) if sys.argsv[0] == __file__: main() これにより、前に作ったスクリプ…

/etc/sysconfig/network-scripts/ifcfg-enp0s3 を開いて、ONBOOTをyesにする。 再起動でつながるようになる。

CUI環境を想定。 GuestAdditionsをインストールすればいいのだが、エラーが発生する場合がある。 GuestAdditionsのCDイメージを挿入した後 # Guest Additions CDをマウント mkdir /mnt/cdrom mount -o ro /dev/cdrom /mnt/cdrom # 必要なソフトウェアをイン…

lsした時にディレクトリの色が濃い青で見づらい場合があるので、色を変更する。 まず、デフォルト色の設定ファイルをコピー cp /etc/DIR_COLORS ~/.dir_colors DIRと書いてある行を以下のように変更すると、緑で表示されるようになる。リンクのディレクトリ…

以下で指摘されている問題で、「共有フォルダーをダウンロード」設定をオフにする方法を説明する。 他のユーザーの予定表を表示するのが遅い – Outlook Support Team Blog JAPAN Outlookで、ファイル→情報タブのアカウント設定→メールタブの変更→詳細設定ボ…

時々、特定ブランチ・コミット間の差分を見たい場合がある。 画面からリンクを辿る方法は不明だが、以下の規則で対象リポジトリにアクセスすると、差分を表示できるページにアクセスできる。 https://github.com/{user_name}/{repository_name}/compare アク…

Get S3 bucket list # coding:utf-8 from boto3.session import Session import os session = Session( aws_access_key_id = os.environ['access_key'], aws_secret_access_key = os.environ['secret_access_key'], region_name = 'ap-northeast-1', ) s3 = …

VPC内のEC2やRedshiftなどにアクセスするためにLambdaをVPC内に作成して実行すると、 今度は逆に外部のインターネットやS3, Kinesisなどにアクセス出来なくなる。 その場合の対応方法はAWSの公式ドキュメントに書いてある。 Configuring a Lambda Function t…

本文 AmazonからはNAT Gatewayというマネージドサービスが提供されているが、お金が少しかかる。 そこで自前で用意する方法を説明する。 OS：Amazon Linux NATサーバの設定 NATサーバを構築するEC2インスタンスはパブリックIPがあり、外につながっているとす…

それまでパスワード認証でsshでログインしていたEC2があったとする。 そのAMIイメージを作成して、別途、EC2を作成するが、sshでログインできず、「Permission Denied」となる。EC2作成時にはキーペアをなしに設定している。 解決方法 キーペアをありにして…

AWS SDKをインストール gem install aws-sdk サンプルプログラム # coding: utf-8 # # AWS SDKを用いて、S3にアクセスするサンプルプログラム # require 'aws-sdk' # Config AWS_REGION = "ap-northeast-1" AWS_ACCESS_KEY = "xxx" AWS_SECRET_ACCESS_KEY = …

評価指標 MAE＝Mean Absolute Error（平均絶対誤差） RMSE＝Root Mean Square Error（2乗平均平方根誤差）

OpenStreetMapサーバはKai Krueger氏がUbuntu14.04向けにパッケージングしてくれているので、 これを利用すると構築が簡単。以下の方法が参考になる。 OpenStreetMapサーバを自作する(Install OpenStreetMap on AWS EC2/Ubuntu14.04) ｜ Developers.IO 以下…

他からコピーしてきたvboxファイルをVirtualBoxで「追加」で起動しようとすると、 Cannot register the DVD image… であったり、UUID のエラーメッセージが表示されることがある。 この場合、「新規」に作成し、ストレージにコピーしてきたvmdkファイルを指…

dpkg -l | grep "cudnn" dpkg -L <Package Name> このコマンドは下記ページからの引用。 ja.stackoverflow.com ちなみに、CUDAのバージョン確認は nvcc -V GPUとの疎通確認は nvidia-smi</package>

再起動してログインしたら、急にメニューバーやランチャーが表示されず、 デスクトップ上のフォルダやファイルのアイコンだけ表示される状態になり、 ターミナルも起動できなくて困った。（Ctrl + Alt + Tでも起動できず。。。） ググると、色々とやりようは…

通勤時に使うBluetooth対応イヤホンを検討していたが、AirPodsなどのケーブルなしは見送り、 安価なケーブルありイヤホンを購入した。 知人の口コミ情報を元に、タオトロニクスのTT-BH16（約3000円）に決定。 TaoTronics Bluetooth 4.1 スポーツイヤホン マ…

本当にタダのメモ hash = Hash.new{|h,k| h[k] = {} } # 以下のように値を代入できる hash["a"]["b"] = 1 # 上記とは別に、以下のように、存在しなければ、都度、ハッシュを定義してもよい # if文でチェックする必要がないので、シンプルに書ける hash["a"] …