pandazx's blog

Hadoop, データ分析など雑多な技術ブログ

python

AWS SDKサンプルプログラム(Python2)

Get S3 bucket list # coding:utf-8 from boto3.session import Session import os session = Session( aws_access_key_id = os.environ['access_key'], aws_secret_access_key = os.environ['secret_access_key'], region_name = 'ap-northeast-1', ) s3 = …

psycopg2.OperationalError: asynchronous connection attempt underway

pythonで並列処理 - pandazx's blog というブログを以前、書いたが、 並列処理の中でPostgreSQLにSELECTを投げる処理をした時に以下のエラーが発生した。 psycopg2.OperationalError: asynchronous connection attempt underway このエラーは並列処理前にDB…

pythonで並列処理

python2.7で実装した際のメモ。 実装イメージ csvファイルの行ごとに重たい処理をするので、行ごとに並列処理したい 行の先頭列にはIDがあり、IDをキーに並列処理の結果を受け取って、出力したい csv上、IDには重複があるが、同一IDは2回処理したくない 各プ…

ImportError: No module named cv2

前提 OS: Amazon Linux(CentOSみたいなもの) AMI: Amazon Linux AMI with NVIDIA GRID GPU Driver on AWS Marketplace python 2.7 PFN発のディープラーニングフレームワークchainerで画像分類をするよ(chainerでニューラルネット1) - 人工言語処理入門 この…

pillowインストールでエラー

前提 OS: Amazon Linux(CentOSみたいなもの) AMI: Amazon Linux AMI with NVIDIA GRID GPU Driver on AWS Marketplace Amazon Linux で、pip install pillowしたらエラー発生 ValueError: jpeg is required unless explicitly disabled using --disable-jpeg…