set setting reset

脂肪と糖にはたらくやつ

AWS CLI v2 で 'ascii' codec can't encode characters in position 1-14: ordinal not in range(128)

背景 AWS CLI v2 をインストールし、 EventBridge のリストを取得しようしたところ表題のエラーが発生。 環境 $ /usr/local/bin/aws --version aws-cli/2.6.0 Python/3.9.11 Linux/5.10.16.3-microsoft-standard-WSL2 exe/x86_64.ubuntu.20 prompt/off エラ…

富士そば 日暮里店と渋谷明治通り店

この記事は 富士そばアドベントカレンダー 2019 9日目の記事です。 adventar.org がっつり遅刻です。申し訳ございません。 富士そば好き度で言えば先日、ラスベガスで開催された某カンファレンスに参加したのですが、 行く前から「帰ってきたら富士そばに行…

SSM Session Manager のポートフォワードを使って EC2 に RDP する

はじめに SSM Session Manager でポートフォワードができるようになったそうなので、表題のことを試してみます。 環境 ローカルマシン Windows 10 です。 > Get-WmiObject Win32_OperatingSystem SystemDirectory : C:\WINDOWS\system32 Organization : Buil…

Mac の pbcopy と同じことを Windows Subsystem For Linux (ubuntu) でもやりたい

はじめに 最近ギョームマシンをMacからWindowsに変えました。 Windows Server Container を使うかもしれないし、WSL がよくなっているという噂を聞いたので、もしかして Windows を使わない理由がないのではと考えたからです。 ただ、細かいところで Mac での慣…

宛先ごとに並列でpingする

というものをpythonで作りました。 github.com pacemaker で ping RA というものを使い、スプリットブレイン対策のためにNW監視をしているのですが、 宛先ごとにシーケンシャルに ping を撃つという仕様であることから、対象に増減があると timeout などの調…

SHIROBAKOとチームビルディングについて

この記事はSHIROBAKOアドベントカレンダーの12日目です。 adventar.org SHIROBAKOといえば最高なわけですが、なぜ最高なのかは人それぞれでしょう。 ただ、モノづくりの現場を描ききった本作に何かしらのシンパシーを感じている方は多いのではないでしょうか…

pgpool インストール時に configure: error: header file <libmemcached/memcached.h> is required for memcached support

背景 pgpool-4.0.1 を検証していたら pgpool-4.0.2 が出たのでインストールしてみたところ表題のエラーとなりました。 エラー発生時のインストール手順 pgpoolのインストールはソースから行いますが、インメモリクエリキャッシュを使いたいのでlibmemcached…

翻訳してみた AWS re:Invent 2018: Building SRE from Scratch at Coinbase during Hypergrowth

SRE

Sansan Advent Calander 2018 の4日目の記事です。 adventar.org 先日参加させてもらったre:Invent、超たのしかったっす。 その中で面白かったCoinbase社、及びDataDog社によるSREの取り組みについてのセッションをご紹介したいと思います。 www.youtube.com…

富士そば 巣鴨店

富士そばアドベントカレンダー、今年も発見してしまったので2日目に参加させていただきます。 adventar.org 富士そばしゅき度としては、先日まで会社のお金でAWS re:Inventに参加しており、1週間ほどラスベガスにいたのですが、 滞在残り2日くらいになったこ…

20181121. Aurora Architecture Night メモ

AWS

表題のイベントに参加してきました。 ハイパー殴り書きです。Auroraすげーくらいの感想しかなかった。 postgresql compatibility pg10 に対応 RDS Snapshot -> Aurora Migration 様々なExtensionをサポート GIS pgceypto plpgsql pg_hint_plan postgres_fdw …

S3のクロスアカウント問題をSTS AssumeRole で解決する

背景 例えばアカウントAにある my-bucket という S3 バケットに対して、アカウントBのリソースからオブジェクトをアップロードした時に、 my-bucket に付与されているバケットポリシーが効かずにハマることがあります。 バケットポリシーでIPアドレス制限だ…

AWS Tools for PowerShell で S3 から指定した prefix のオブジェクトをダウンロードする

新しめの AWS Tools for PowerShell では Copy-S3Object に -KeyPrefix オプションがあるので、表題のことができそうです。 ツールのバージョンアップ 自分のローカルにインストールされていた Version 3.1**** には -KeyPrefix オプションがなかったので、…

boto3 で S3 から指定した prefix のオブジェクトをダウンロードする

というスクリプトを書いたので晒してみます。 gist.github.com $ python download_s3_objects.py --help Usage: download_s3_objects.py [OPTIONS] Options: -p, --profile TEXT -b, --bucket-name TEXT -d, --destination TEXT -P, --prefix TEXT --help Sh…

list を CSV っぽく置換する

python バージョンは >>> sys.version '3.6.2 (default, Oct 5 2017, 11:51:36) \n[GCC 4.2.1 Compatible Apple LLVM 9.0.0 (clang-900.0.37)]' です。 やりたいことは l = ['aoba', 'nene', 'hotaru'] といったリストを 'aoba','nene','hotaru' というふう…

A client error (AuthFailure) occurred when calling the DescribeInstances operation: AWS was not able to validate the provided access credentials

はじめに 何気なく awscli を叩いたら表題のエラーが出たので調査しました。 つい先日当該アカウントの IAM User 棚卸しをしてアクセスキーの整理をしたのでその影響だろうと思われました。 当該インスタンスには IAM Role が付与されてはいたものの、実際は…

富士そば 渋谷明治通り店

TLを眺めていたらなんだか目に止まってしまった富士そばアドベントカレンダー。 18日めが空いていたので参加させていただきます。 富士そばしゅき度で言えば富士そばのカレーうどんを1日3食したことがある程度の者です。 adventar.org ぼくは google map に…

第35回 PostgreSQL 勉強会に行ってきました

初めて PostgreSQL 勉強会にお邪魔させていただきました。 connpass.com 殴り書きメモですが、記録として。 トランザクション入門 oss-db silver の出題範囲とのことでした 同時実行制御 完了しない状態のデータが残ってしまう 一連の処理が完了した上で COM…

vim のヤンクでクリップボードにコピーしたかった話、あるいは vim 8 へのアップグレード (mac)

vim

環境 OS vim version OSX 10.11.6 7.3 目的 mac の vim でヤンクしてクリップボードにいれたかった。 記事にしようと思ったきっかけ よくある設定を .vimrc に書いてみましたが、有効にならず。 set clipboard=unnamed,autoselect $ vim --version | grep cl…

boto3 で指定された日付以前の snapshot を削除する

という python script を晒してみます。 #!/usr/bin/env python # -*- coding: utf-8 -*- """ 指定された日付以前の snapshot を削除します ただし ami に紐付いている snapshot は削除しません example: $ python delete_expired_snapshots.py -p profile_n…

argparse をつかってコマンドライン引数をよしなにする

よくつかうのでメモとして残してみます。 argparse とは python の組み込みライブラリで、引数をよしなにしてくれるいい人です。 python 2.7 から追加されました。 15.4. argparse — コマンドラインオプション、引数、サブコマンドのパーサー — Python 2.7.x…

CentOS7 で再起動後に vm.swappiness の設定が元に戻ってしまう

環境 AWS EC2 の CentOS 公式 AMI です。 CentOS 7 (x86_64) - with Updates HVM on AWS Marketplace 事象 デフォルトは vm.swappiness = 30 sysctl -w vm.swappiness=任意の値 すると任意の値に変更可能 sysctl -p するも reboot 後に元に戻ってしまう 原因…

python でディレクトリ配下の最新のファイル名(フルパス)を取得する

前提 最新かどうかはファイルの最終変更日時 = mtime で判定します。 準備 こんな感じでファイルを作成します $ for ((i=0;i>10;i++)); do touch $i.txt; sleep 5; done 最終変更日は以下の様になりました。 9.txt の最終変更日時が最も新しいものになってい…

vagrant で windows server 2012R2 を動かす

vagrant-winrm プラグインのインストール windows server の vagrant box を make する packer のダウンロード もう一回 make VIX SDK のインストール 再々 make vmware workstation player のインストール 再再再 make VMware tools for windows 再再再再 m…

de:code 2016 5/25 メモ

de:code 2016 5/24 メモ - set setting reset の続きです。 powershell DSC コード書く mof ファイルができる これを送って実行させる start-dscconfiguration LCM local configuration manager push は windows から実行 pull server http だけでなく smb …

de:code 2016 5/24 メモ

会社のお金で de:code 2016 に参加させてもらいました。 とにかく Azure と DevOps 推しでした。 以下、なぐりがきメモです。 Active Directory 最新動向 Azure AD Azure AD 13 億の認証 transaction / day ms が内部でも利用している (yammerも) マルチデバ…

boto3 で S3 オブジェクトのコピー

boto3 で S3 の操作メモ バケットに接続 import boto3 s3 = boto3.resource('s3') bucket_name = "my-bucket" bucket = s3.Bucket(bucket_name) prefix の文字列で bucket 内のオブジェクトをフィルタ prefix = 'myfolder/original.txt' bucket.objects.filt…

powershell の連想配列を JSON に変換する

ハッシュを作成します。 @{"Key" = "Value"; } の形式です。 $Members = @{ "id" = 1; "Name" = "hoge"; } PSObject を生成します $MessageObject = New-Object -TypeName PSObject PSObject にメンバーを追加します foreach ($key in $Members.Keys) { Add-…

はじめての AWS Lambda python で boto3 から ec2 を起動する

はじめての AWS Lambda で boto3 から ec2 を起動する いまさら感ありありですが表題のことを Management Console からやってみます。 初期画面 bluprint Get Started で進むとたくさんのサンプルから選ぶことができますが、今回は Skip します Configure fu…

CentOS7 on vagrant に docker をインストールして nginx で hello world するまで

CentOS7 (vagrant) に docker をインストールして nginx で hello world するまでの記録です。 CentOS7 が vagrant up されていることが前提です。 docker インストール 公式 にあったワンライナーでインストール後、起動します。 なお、このワンライナーは …

apache で X-Forwarded-For をログに記録する

記事としてよくありますが、ちょっとハマったので記録として。 <VirtualHost *:80> ServerName hoge.com DocumentRoot "/var/www/html" LogFormat "%{X-Forwarded-For}i %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined_x CustomLog "/var/log/httpd/acc</virtualhost>…