2018-11-02

S3のクロスアカウント問題をSTS AssumeRole で解決する

AWS python awscli

背景

例えばアカウントAにある my-bucket という S3 バケットに対して、アカウントBのリソースからオブジェクトをアップロードした時に、
my-bucket に付与されているバケットポリシーが効かずにハマることがあります。

バケットポリシーでIPアドレス制限だけして他のアカウントのクレデンシャルからアップロードするようなケースです。

アカウントBからオブジェクトをアップロードした場合、
オブジェクトの所有者はアカウントB（バケット所有者のアカウントAとは別のアカウント）になるためバケットポリシーがオブジェクトに適用されません。
例えば、静的ウェブホスティングを有効にしているバケットに、アカウントBからオブジェクトをアップロードしても、
バケットポリシーが適用されないため、アップロードしただけではそのコンテンツは公開できません
(公開するためには、アップロード後にオブジェクトの権限を変更する必要があります）。

blog.serverworks.co.jp

この問題を STS Assume Role を使って解決します。
以降、アクセスされる側を アカウントA、アクセスする側を アカウントB とします。

アカウントAにIAM Roleを作成する

IAM → Roles → Create Role → Another AWS account を選択して必要事項を入力。
作成する IAM Role は AllowPutToS3 という名前にします。

f:id:rriifftt:20181102122453p:plain

external id は事前共有鍵のようなもの？。
一致しなければ認証エラーとなるものなので、取扱には注意が必要です。

なお、人間がAssumeRoleをして他AWSアカウントのリソースを触るのならば、セキュリティの観点から MFA を利用した方がよいでしょう。
今回はシステム的にアクセスをしたいので、MFAではなく external id のみで進めてみます。

また、このウィザードからは1つのアカウントしか登録できないので、複数登録したい場合はウィザード完了後にポリシーを編集する必要があります。

IAM Policy

作成した AllowPutToS3 Role に Policy をアタッチします。
今回は S3 への Put のみを許可するポリシーとします。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowPutToS3",
            "Effect": "Allow",
            "Action": "s3:PutObject",
            "Resource": "arn:aws:s3:::my-bucket/*"
        }
    ]
}

Trust relationships

IAM Role を触ることができるアカウントを指定します。
Trust relationships タブから Edit trust relationships を選択し、以下の様に設定します。
複数のアカウントから許可したい場合は、ここでアカウントIDを指定することで増やすことができます。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": [
          "arn:aws:iam::アカウントBのアカウントID:root",
        ]
      },
      "Action": "sts:AssumeRole",
      "Condition": {
        "StringEquals": {
          "sts:ExternalId": "hoge"
        }
      }
    }
  ]
}

アカウントBからAssume Roleする

IAM Policy の設定

my-bucket をさわりたいアカウントBのリソースに以下の様なPolicyを設定します。
IAM UserでもGroupでもIAM Roleでもなんでもいいです。

{
    "Action": "sts:AssumeRole",
    "Effect": "Allow",
    "Resource": "arn:aws:iam::アカウントAのアカウントID:role/AllowPutToS3"
}

Credential の取得

上記の IAM Policy が設定されたリソースから Credential を取得します。
以下は AWS CLI での例です。

$ aws sts assume-role \
    --role-arn arn:aws:iam::アカウントAのアカウントID:role/AllowPutToS3 \ 
    --role-session-name hoge \ # セッションに付与する任意の名前
    --external-id hoge # IAM Role に設定した内容と一致しなければエラー

以下の様なレスポンスが返ってきます。

{
    "AssumedRoleUser": {
        "AssumedRoleId": "**************************",
        "Arn": "arn:aws:sts::アカウントAのアカウントID:assumed-role/******************"
    },
    "Credentials": {
        "SecretAccessKey": "*************",
        "SessionToken": "******************************************************************************************",
        "Expiration": "2018-03-05T04:45:01Z",
        "AccessKeyId": "******************"
    }
}

この認証情報をつかってオブジェクトを Put すると、他アカウントからのアクセスでもバケットポリシーが効くようになります。
ややこしいけど便利ですね。

AWS CLI では .aws/config などに必要な設定をすることで自動的に AssumeRole をすることも可能のようです。
とても便利そうですね。

dev.classmethod.jp

boto3 で AssumeRole したクライアントを作成する実装例

を晒してみます。
微妙に client と resource を選択することができて便利な気がします。

gist.github.com

ご査収くださいませ。

2018-06-04

AWS Tools for PowerShell で S3 から指定した prefix のオブジェクトをダウンロードする

PowerShell

新しめの AWS Tools for PowerShell では Copy-S3Object に -KeyPrefix オプションがあるので、表題のことができそうです。

ツールのバージョンアップ

自分のローカルにインストールされていた Version 3.1**** には -KeyPrefix オプションがなかったので、以下の手順でバージョンアップしてみます。

プログラムと機能から AWS Tools for PowerShell を削除
管理者権限で起動した PowerShell で Install-Module -Name AWSPowerShell を実行
- PowerShell version 5 以上

一度ターミナルを閉じてバージョンアップができたか確認します。

PS C:\> Import-Module AWSPowerShell
PS C:\> get-Module AWSPowerShell

ModuleType Version    Name                                ExportedCommands
---------- -------    ----                                ----------------
Binary     3.3.283.0  AWSPowerShell                       {Add-AASScalableTarget, Add-ACMCertificateTag, Add-ADSConf...

3.1.**** からバージョンアップできました。

やってみる

こんな感じのバケットがあるとして

PS C:\> (Get-S3Object  -BucketName my-bucket -Prefix test).Key
test/hige_hoge.txt
test/hoge_hige.txt
test/hoge_hoge.txt

以下の様に実行します。

PS C:\test> Copy-S3Object -BucketName my-bucket -LocalFolder . -KeyPrefix test

Mode                LastWriteTime         Length Name
----                -------------         ------ ----
d-----         6/4/2018   3:28 PM                test

PS C:\test> ls


    Directory: C:\test


Mode                LastWriteTime         Length Name
----                -------------         ------ ----
-a----         6/4/2018   3:28 PM              0 hige_hoge.txt
-a----         6/4/2018   3:28 PM              0 hoge_hige.txt
-a----         6/4/2018   3:28 PM              0 hoge_hoge.txt

いい感じです。
が、↓のようにファイル名の一部まで prefix を指定しようとすると、うまくダウンロードできませんでした。

PS C:\test> Copy-S3Object -BucketName my-bucket -LocalFolder . -KeyPrefix test/hoge


Mode                LastWriteTime         Length Name
----                -------------         ------ ----
d-----         6/4/2018   3:30 PM                test


PS C:\test> ls

ちょっと残念。

2018-06-04

boto3 で S3 から指定した prefix のオブジェクトをダウンロードする

python

というスクリプトを書いたので晒してみます。

gist.github.com

$ python download_s3_objects.py --help
Usage: download_s3_objects.py [OPTIONS]

Options:
  -p, --profile TEXT
  -b, --bucket-name TEXT
  -d, --destination TEXT
  -P, --prefix TEXT
  --help                  Show this message and exit.

こんな感じでファイルが格納されているとして

$ aws s3 ls s3://my-bucket/test/
2018-06-04 14:46:19          0 hige_hoge.txt
2018-06-04 14:46:26          0 hoge_hige.txt
2018-06-04 14:46:23          0 hoge_hoge.txt

以下の様に使います。

$ python download_s3_objects.py --bucket-name my-bucket --prefix test/hoge
downloaded ./hoge_hoge.txt
downloaded ./hoge_hige.txt

なお、新しめの powershell なら Copy-S3Object コマンドレット一発でできそうです。

AWS Tools for PowerShell Reference

追記:

rriifftt.hatenablog.com

以上です！

2018-05-23

list を CSV っぽく置換する

python

python バージョンは

>>> sys.version
'3.6.2 (default, Oct  5 2017, 11:51:36) \n[GCC 4.2.1 Compatible Apple LLVM 9.0.0 (clang-900.0.37)]'

です。
やりたいことは

l = ['aoba', 'nene', 'hotaru']

といったリストを

'aoba','nene','hotaru'

というふうにしたい。 (例えば SQL の IN 句を生成したい時など)
単純に join すると先頭と末尾に ' が付与されない。

>>> print("','".join(l))
aoba','nene','hotaru

しかたなく format を使います。

>>> print("'{}'".format("','".join(l)))
'aoba','nene','hotaru'

こんなんでいいのかわからないけど、やりたいことはできました。

2018-02-23

A client error (AuthFailure) occurred when calling the DescribeInstances operation: AWS was not able to validate the provided access credentials

awscli

はじめに

何気なく awscli を叩いたら表題のエラーが出たので調査しました。

つい先日当該アカウントの IAM User 棚卸しをしてアクセスキーの整理をしたのでその影響だろうと思われました。
当該インスタンスには IAM Role が付与されてはいたものの、実際はローカルに残存していたアクセスキーで API を叩いているのでは？という状況です。

環境

EC2
CentOS 6.7
やりたい操作を許可する IAM Role 付与済み

調査

まず、アクセスキーが残存しているのだろうと思い、 ~/.aws/credentials を確認。
たしかに鍵の記述があったのでそれを削除。ただ、依然としてエラーのまま。

よくわからないためぐぐると awscli には --debug オプションがあることがわかり、早速実行すると以下のメッセージを発見。

MainThread - botocore.credentials - INFO - Found credentials in boto config file: ~/.boto

なるほどと ~/.boto を確認すると、こちらにもアクセスキーが記述されていました。

対応

~/.boto を削除してエラーが解消されました。

さいごに

--debug 便利ですね。

2017-12-18

富士そば渋谷明治通り店

富士そば

TLを眺めていたらなんだか目に止まってしまった富士そばアドベントカレンダー。
18日めが空いていたので参加させていただきます。
富士そばしゅき度で言えば富士そばのカレーうどんを1日3食したことがある程度の者です。 adventar.org

ぼくは google map にごはん写真が自動でアップロードされてしまう人なのですが、
もっとも閲覧回数の多い写真が 富士そば渋谷明治通り店でいただいた赤富士 であり、
空腹と承認欲求を満たしてくれてシンプルに素晴らしいと思います。

というわけでおひひ富士そば。

おひひ富士そば pic.twitter.com/DBRRuVwXgl
— ~/ (@rriifftt) 2017年12月18日

紅生姜天そば + いなりにしました。
美しポップなピンク色した紅生姜の爽やかな酸味と意外にオイリーな天ぷらと、どこにでもあるような質実剛健なおいなりさん、控えめに言って最強では。

また、渋谷明治通り店は老若男女問わない広い客層で、いつも店員さんが何やら楽しそうでとても雰囲気のよい店内となっております。
本日もごちそうさまでした。明日は musumi_takuma さんの担当です。よろしくおねがいします。

こちらからは以上です。

2017-05-30

第35回 PostgreSQL 勉強会に行ってきました

初めて PostgreSQL 勉強会にお邪魔させていただきました。

connpass.com

殴り書きメモですが、記録として。

トランザクション入門

oss-db silver の出題範囲とのことでした

同時実行制御

完了しない状態のデータが残ってしまう
- 一連の処理が完了した上で COMMIT する
一貫性がないデータが読めてしまう
不正な更新データが書き込まれてしまう
- dirty read
- 一連の処理に割り込まない

トランザクションの使い方

一貫した処理を保証するためのDB処理の集合
- begin ~ commit or rollback
ACID 特性
- 更新データは処理が完了した状態でのみ保存できる
- 一貫性のあるで０多の読み書きを保証する
- 同時に1つのトランザクションだけが実行しているように見える
- 書き込んだデータは確実に保存する
begin は postgres 独自コマンド
トランザクションとエラー
- トランザクション内のある SQL がエラーになったら、一連の SQL は全て失敗する
SAVEPOINT による部分的 ROLLBACK
- 使ってるアプリケーションはあるんだろうか。。

begin;
intert into ...
SAVEPOINT SP1;
insert into ...
-> ERROR
ROLLBACK TO SP1;
-> ROLLBACK

トランザクションの分離

分離性
- 複数のトランザクションを同時に実行しても異常が生じないこと
  - 一度に1つずつトランザクションを実行した場合には同時実行処理による異常は生じない
分離レベル
- Serializable
  - 遅い
- Repeatable read
  - 直列化の失敗
- Read committed
  - 反復不能読み取り
  - ファントムリード
    - 行の集合として見た場合、再度読み込むと1回目にはなかった行が読み込まれることがある
  - 直列化異常
分離レベルの使い方
- SET TRANSACTION ISOLATION LEVEL ****
分離レベルと性能はトレードオフ

ロック

トランザクションを実現する仕組み
- ロックはDBMSが自動で獲得、開放する
- 明示的ロックもあるよ
ロックの種類
- http://www.postgresql.jp/document/9.3/html/explicit-locking.html
- レベル
  - 表、行、ページなど
- モード
  - 共有(share)
    - 複数のトランザクションでアクセスできる
  - 占有(exclusive)
    - 排他モード
- 表レベルロック
  - Share update
  - share update exclusive
  - access exclusive
- 行レベルロック
  - FOR UPDATE
  - FOR NO KEY UPDATE
  - FOR SHARE …
デッドロック
- 2つのトランザクションが互いに[相手がロックしているデータにアクセスしようとする]と相手を永久に待つ
- PostgreQLではデッドロックが発生すると、デッドロックを検出して「無作為で」トランザクションをどれか1つアボートする
- 予防
  - 必要なロックは一度にまとめて要求
  - 表や行へのロックを順番に行う
- 対策
  - デッドロックをハンドリングしてリトライ
  - 独自のエラーコードであり、エラー内に SQL が入ってくる

postgresql 10 がやってくる

https://www.postgresql.org/docs/10/static/release-10.html

logical replication

pgpool-II / slony-I
logical decoding
- BDR(Bi-Direction Replication)
- logical replication(postgresql10)
logical decoding
- wal -> wal の変換プラグイン -> 論理ログ -> 論理ログの適用
logical replication
- postgresql.conf
  - wal_level = logical
    - デカい
  - max_wal_senders
  - max_replicaiton_slots
- pg_hba.conf
  - いつもの
- create database
  - logical replication は DB 単位で設定
- create table
- logical replication の設定
  - 複製元
    - create publication
    - insert update delete が複製
    - 複製させない指定も可能
  - 複製元
    - create subscription
      - CONNECTION に接続文字列を書く
- レプリケーション非対象
  - trancate
  - DDL
  - vacuum
- meta-data
  - pg_stat_subscriptino
- conflict
  - conflict が発生したら伝搬があぼーん
  - ぐえーむずい
- 異なる構造間のレプリケーションが可能
  - ただし複製元にある列は複製先にもなければならない
  - 異文字コード間の複製が可能
- 応用編
  - マルチマスタ
  - マルチバージョン
  - マルチプラットフォーム
declarative partitioning
- レンジパーティション
- リストパーティション
- create table partition by
  - 子テーブルにも設定可能
- トリガよりちょっぱや
- 制約もある
  - パーティション間の制約
    - パーティションキーのupdateは不可
      - delete -> insert で大体可能
      - returning 句を使うこともできる
  - INDEX の制約
    - パーティションの親テーブルには PKEY が設定できない
    - 子テーブルを持つ親テーブルには INDEX 作成不可
others
- GUC に多数いろいろ
- パラレルクエリの改善
- pg_hba_rules いいじゃん
- hash index の wal 対応
  - uuid にはいいかも
  - イコール比較しかできない
- JSON/JSONB + textsearch

togetter

ぬこ@横浜さんが当日の #jpug_study をまとめておられます。

togetter.com

set setting reset

脂肪と糖にはたらくやつ