2017年11月13日月曜日

特定のコンテナの中で動作してるプロセスの物理メモリ消費量の総計を MB 単位で出力するワンライナー

docker exec -it chinachu echo "scale=3; $(ps aux | awk '{sum += $6}END{print sum}')/1024" | dos2unix | bc
docker execps aux の RSS 値を全部足して bc(1) に渡してるだけ。
あれ,これ docker コンテナにワンライナー渡したのを bc で計算してるけど,そもそもコンテナからは ps(1) の出力だけさせて手元で足し合せたりしたほうが良いのでは,と今ここまで書いてから気がつきました。
echo "scale=3; $(docker exec -it chinachu ps aux|awk '{sum += $6}END{print sum}')/1024" | bc
これでいいですね。

P.S.
chinachu のところは好きなコンテナ名にしてね。

P.S. その 2
docker stats --format "{{.MemUsage}}" --no-stream chinachu
でよかった……(無駄なことをした……)unarist さんありがとうございます。

2017年10月25日水曜日

Unix 系 OS で コマンドの実行時により正確なタイムスタンプをつける

前回の記事の続編のようなもの
Unix 系 OS でコマンド実行間にタイムスタンプを付ける
前回の設定では精度が秒なので,ミリ秒やマイクロ秒が欲しいときに困る。

次のようにシェル組込みの trap コマンドを使うことでより細かい日時を正確にとれる
$ trap 'echo -e "\n$(date -I"ns")\n"' DEBUG
Bash でも Zsh でも trap は特定のシグナルのハンドラ(のようなもの)をシェルに設定するものだが, シグナルではなく DEBUG を指定するとコマンドやシェル関数の実行直前に設定したコマンドを実行してくれる。
ここでは,date(1)-I あるいは --iso-8601= でナノ秒単位の ISO 8601 形式のフォーマットを指定しているが,
date +"%F %T.%N"
のように + でフォーマットを與えるのでも良かろう。

ちなみにこれを自分の手元の zsh でやったらプロンプトの文字列に色々仕込みすぎてたせいでコマンド実行前にかなりタイムタンプが出てきた上にプロンプトが若干壊れました。

2017年10月23日月曜日

Unix 系 OS でコマンド実行間にタイムスタンプを付ける

Bash や Zsh 向け。POSIX sh だとたぶん出来ない。

Bash の例
20 2017-10-23 18:30:54 echo $PATH | sed -e 's/:/\n/g'
21 2017-10-23 18:30:54 uname -a
22 2017-10-23 18:30:54 exit
23 2017-10-23 18:30:56 cd
24 2017-10-23 18:31:04 HISTTIMEFORMAT='%F %T '
25 2017-10-23 18:31:06 history
Zsh の例
16384 2017-10-23 18:37:02 popd
16385 2017-10-23 18:38:30 ls
16386 2017-10-23 18:38:31 pwd
16387 2017-10-23 18:38:34 cd Desktop
16388 2017-10-23 18:38:37 cd
16389 2017-10-23 18:38:39 exit
ではどうやってやるか紹介。
まず Bash,これは次のように環境変数を設定すれば良い
export HISTTIMEFORMAT="%F %T "
この環境変数は日時以外も色々文字列を埋めることができる。ここで使える書式指定子は,おおむね strftime(3) に従っているのでこれの man page を見ると良い。
だがしかしミリ秒やマイクロ秒といった単位は使えないのか %L%N は無視される……。

次に Zsh。
setopt extended_history
これを .zshrc に書けば,history コマンドを使うときに,
history -i
an zshbuiltinan zshbuiltinなどオプションを與えることで実行時間が出てくる。
-i 以外にも様々なオプションがあり,
-d オプションは日付しか出さないが,-f を加えるとアメリカ式で年月日も表示する。
Bash のように好きなフォーマットで出力するには,
history -t "%F %T "
のように -t オプションに strftime(3) に準じる書式指定子を埋めたフォーマット文字列を渡せば良い。常にこの表示が好ましいなら alias を設定すると良いと思われる。

history で指定できる他のオプションは,man 1 zshbuiltins にて fc コマンドのオプション一覧を見ると良い。

2017年9月28日木曜日

readline を使うアプリケーションでの入力を便利にする .inputrc

Linux で使われる主要なアプリケーションは,標準入力から入力を受け取るプロンプトを readline で実装していることが多い。最も有名なのは bash だろう。
実は,Ruby や Python で素朴に標準入力を受け取るプログラムを書いたときも,rlwrap コマンドを噛ましてやると,readline を使うようになる。

bash で vi モードや emacs モードの行内編集を有効化する人は多いのではないかと思うが,実はこれも readline の機能である。
つまり,これらの機能を設定するにあたり,bashrc を編集するより inputrc を編集するほうが,bash のみならず他のアプリケーションでも便利な入力機能が享受できる,というわけだ。そこで以下に私の設定を晒してみる。

set editing-mode vi
$if mode=vi
        set keymap vi-command
        Control-l: clear-screen

        set keymap vi-insert
        Control-l: clear-screen
$endif

"\C-p": history-search-backward
"\C-n": history-search-forward
TAB: complete
この設定は次の通りの機能をもつ
  • 行内編集で vi モードが使えるのでプロンプト上でやおら ESC すると hjkl で移動したり  x で削除できたりする
  • vi モードを有効化してても <C-L> でスクリーンクリアを有効化されるようにした
  • <C-P>,<C-N> で入力履歴から前方一致検索する
  • TAB での補完が効くようにした
設定ファイルのオプションの意味の説明は割愛(見ればわかるので)

2017年9月27日水曜日

Kubernetes 上の heapster に curl でダイレクトアクセス

まず前提として, https://kubernetes.io/docs/setup/independent/create-cluster-kubeadm/ に従い,kubernetes を bare metal サーバに kubeadm でインストールしたものとする。 今回は,CNI に Project Calico を使用した。

Kubernets v1.6.1
Calico v2.1.4

作業をはじめる前に,このバージョンで kubeadm を使い導入していると,クレデンシャルが自動生成されて,それを使わなければ kubectl での API アクセスが弾かれる
# cp /etc/kubernetes/admin.conf $HOME/admin.conf
$ export KUBECONFIG="$HOME/admin.conf"
また,curl でのアクセスも同様に弾かれるため,kube-proxy を利用する。
$ kubectl proxy --port=8080 &
ポートはお好きなように。この記事では 8080 で進めていく。

それではまず,heapster を導入する。
$ git clone https://github.com/kubernetes/heapster
$ kubectl create -f heapster/deploy/kube-config/influxdb
$ kubectl create -f heapster/deploy/kube-config/rbac/heapster-rbac.yaml
ちなみにこの記事を書いたときの heapster の最新の stable は v1.4.2 だが, git checkout v1.4.2 をしてこれを行ったとき,grafana の pod が無限再起動に陥ってしまいしばらく気がつかずに苦しんだ。
くそぅ……罠だ……k8s なんて嫌いです……ぐすん。
それはともかく,気分を切り替えて張り切って API アクセスしようと思う。
$ curl http://127.0.0.1:8080
{
  "paths": [
    "/api",
    "/api/v1",
    "/apis",
    "/apis/apps",
    "/apis/apps/v1beta1",
    "/apis/authentication.k8s.io",
    "/apis/authentication.k8s.io/v1",
    "/apis/authentication.k8s.io/v1beta1",
    "/apis/authorization.k8s.io",
    "/apis/authorization.k8s.io/v1",
    "/apis/authorization.k8s.io/v1beta1",
    "/apis/autoscaling",
    "/apis/autoscaling/v1",
    "/apis/autoscaling/v2alpha1",
    "/apis/batch",
    "/apis/batch/v1",
    "/apis/batch/v2alpha1",
    "/apis/certificates.k8s.io",
    "/apis/certificates.k8s.io/v1beta1",
    "/apis/extensions",
    "/apis/extensions/v1beta1",
    "/apis/policy",
    "/apis/policy/v1beta1",
    "/apis/rbac.authorization.k8s.io",
    "/apis/rbac.authorization.k8s.io/v1alpha1",
    "/apis/rbac.authorization.k8s.io/v1beta1",
    "/apis/settings.k8s.io",
    "/apis/settings.k8s.io/v1alpha1",
    "/apis/storage.k8s.io",
    "/apis/storage.k8s.io/v1",
    "/apis/storage.k8s.io/v1beta1",
    "/healthz",
    "/healthz/ping",
    "/healthz/poststarthook/bootstrap-controller",
    "/healthz/poststarthook/ca-registration",
    "/healthz/poststarthook/extensions/third-party-resources",
    "/healthz/poststarthook/rbac/bootstrap-roles",
    "/logs",
    "/metrics",
    "/swaggerapi/",
    "/ui/",
    "/version"
  ]
}
まず,kubernertes 自体の API について,ちゃんと kube-proxy が仕事して curl で API 一覧が見えることがわかる。

ここで,確認してみると良いのだが,/api/v1/namespaces をみるとわかるように,calico や heapser,kube-dns といった kubernetes のシステムの関連する Pod は kube-system という名前空間に存在する。
これは,kubectl get namespace でも確認可能。

そして,/api/v1/services を見にいくと,heapster というサービスが起動しており,これは,/api/v1/namespaces/kube-system/services/heapster に selfLink されている。
これもまた kubectl -n kube-system get svc と名前空間を指定して kubectl でサービス一覧を取得すれば同様のことがわかる。

さて,今回アクセスしたいのは heapster そのものの API なので,ここで,kube-apiserver の proxy を使う。
$ curl http://127.0.0.1:8080/api/v1/proxy/namespaces/kube-system/services/heapster/api/v1/model/namespaces/
[
  "default",
  "kube-system"
]
Kuernetes の API のルートに proxy というディレクトリが追加されているのがわかる。その下にサービスを指定して,その下に heapster 自体の REST API のエンドポイントを書くとこのように結果が得られる。
$ curl http://127.0.0.1:8080/api/v1/proxy/namespaces/kube-system/services/heapster/api/v1/model/namespaces/kube-system/pods/
[
  "kube-proxy-xw0k2",
  "calico-policy-controller-1777954159-3zcdp",
  "monitoring-influxdb-3871661022-g6dzx",
  "monitoring-grafana-973508798-98hcz",
  "kube-scheduler-cluster00",
  "kube-controller-manager-cluster00",
  "heapster-1528902802-mln1m",
  "calico-node-fxq75",
  "calico-node-bc4tk",
  "kube-proxy-9tnmn",
  "etcd-cluster00",
  "kube-dns-3913472980-093xh",
  "kube-apiserver-cluster00",
  "kube-proxy-lbgb2",
  "calico-etcd-3d4bf",
  "calico-node-r3rvh"
]
pod の一覧も取得できるし,
curl http://127.0.0.1:8080/api/v1/proxy/namespaces/kube-system/services/heapster/api/v1/model/namespaces/kube-system/pods/etcd-cluster00/metrics/uptime
{
  "metrics": [
  {
    "timestamp": "2017-09-27T07:09:00Z",
    "value": 13986309
  },
  {
    "timestamp": "2017-09-27T07:10:00Z",
    "value": 14046297
  },
  {
    "timestamp": "2017-09-27T07:11:00Z",
    "value": 14106296
  }
  ],
  "latestTimestamp": "2017-09-27T07:11:00Z"
}
特定の Pod について,メトリクスを取得することも自由自在,というわけだ。
なおここで得られるメトリクスの一覧は次からわかる。リンクは最新のタグの v1.5.0-beta.0 のもの。
https://github.com/kubernetes/heapster/blob/v1.5.0-beta.0/docs/storage-schema.md
このリンク先の表を以下に引用しておく。
Metric Name Description
cpu/limit CPU hard limit in millicores.
cpu/node_capacity Cpu capacity of a node.
cpu/node_allocatable Cpu allocatable of a node.
cpu/node_reservation Share of cpu that is reserved on the node allocatable.
cpu/node_utilization CPU utilization as a share of node allocatable.
cpu/request CPU request (the guaranteed amount of resources) in millicores.
cpu/usage Cumulative CPU usage on all cores.
cpu/usage_rate CPU usage on all cores in millicores.
filesystem/usage Total number of bytes consumed on a filesystem.
filesystem/limit The total size of filesystem in bytes.
filesystem/available The number of available bytes remaining in a the filesystem
filesystem/inodes The number of available inodes in a the filesystem
filesystem/inodes_free The number of free inodes remaining in a the filesystem
memory/limit Memory hard limit in bytes.
memory/major_page_faults Number of major page faults.
memory/major_page_faults_rate Number of major page faults per second.
memory/node_capacity Memory capacity of a node.
memory/node_allocatable Memory allocatable of a node.
memory/node_reservation Share of memory that is reserved on the node allocatable.
memory/node_utilization Memory utilization as a share of memory allocatable.
memory/page_faults Number of page faults.
memory/page_faults_rate Number of page faults per second.
memory/request Memory request (the guaranteed amount of resources) in bytes.
memory/usage Total memory usage.
memory/cache Cache memory usage.
memory/rss RSS memory usage.
memory/working_set Total working set usage. Working set is the memory being used and not easily dropped by the kernel.
network/rx Cumulative number of bytes received over the network.
network/rx_errors Cumulative number of errors while receiving over the network.
network/rx_errors_rate Number of errors while receiving over the network per second.
network/rx_rate Number of bytes received over the network per second.
network/tx Cumulative number of bytes sent over the network
network/tx_errors Cumulative number of errors while sending over the network
network/tx_errors_rate Number of errors while sending over the network
network/tx_rate Number of bytes sent over the network per second.
uptime Number of milliseconds since the container was started.
すべてのカスタムのメトリクスは custom/ に置かれるそうな。

P. S.
各サービスの API のエンドポイント,kubectl cluster-info みたら普通に書いてあるやんけ……。

macOS で Mach-O バイナリにリンクされてる動的リンクのライブラリを調べる

普段 CLI を使う環境が Linux/*BSD なもんでつい手癖で ldd を使ってしまったが,ldd は glibc の付属ツールである。macOS の場合,
otool -L a.out
とかすれば良いらしい。他にも Mach-O のオブジェクトファイルの情報を出せる ObjectDump とか dyld の情報出せる dyldinfo とか知らないコマンドがいっぱいあるっぽいので難しい。

gcc のバージョン番号の大小をシェルスクリプトで判別するやつ

$ gcc -dumpversion | awk -F. '{printf "%2d%02d%02d", $1,$2,$3}'
70200
これで整数になるのであとは test -gt とか test -ne とか使う

P. S.
最初
$ gcc -v 2>&1 | tail -n 1 | awk '{print $3}'
とかやってバージョン番号をダンプしてたがもっと便利なオプションがあってよかった。