Kubernetes 上の heapster に curl でダイレクトアクセス

まず前提として, https://kubernetes.io/docs/setup/independent/create-cluster-kubeadm/ に従い,kubernetes を bare metal サーバに kubeadm でインストールしたものとする。 今回は,CNI に Project Calico を使用した。

Kubernets v1.6.1
Calico v2.1.4

作業をはじめる前に,このバージョンで kubeadm を使い導入していると,クレデンシャルが自動生成されて,それを使わなければ kubectl での API アクセスが弾かれる
# cp /etc/kubernetes/admin.conf $HOME/admin.conf
$ export KUBECONFIG="$HOME/admin.conf"
また,curl でのアクセスも同様に弾かれるため,kube-proxy を利用する。
$ kubectl proxy --port=8080 &
ポートはお好きなように。この記事では 8080 で進めていく。

それではまず,heapster を導入する。
$ git clone https://github.com/kubernetes/heapster
$ kubectl create -f heapster/deploy/kube-config/influxdb
$ kubectl create -f heapster/deploy/kube-config/rbac/heapster-rbac.yaml
ちなみにこの記事を書いたときの heapster の最新の stable は v1.4.2 だが, git checkout v1.4.2 をしてこれを行ったとき,grafana の pod が無限再起動に陥ってしまいしばらく気がつかずに苦しんだ。
くそぅ……罠だ……k8s なんて嫌いです……ぐすん。
それはともかく,気分を切り替えて張り切って API アクセスしようと思う。
$ curl http://127.0.0.1:8080
{
  "paths": [
    "/api",
    "/api/v1",
    "/apis",
    "/apis/apps",
    "/apis/apps/v1beta1",
    "/apis/authentication.k8s.io",
    "/apis/authentication.k8s.io/v1",
    "/apis/authentication.k8s.io/v1beta1",
    "/apis/authorization.k8s.io",
    "/apis/authorization.k8s.io/v1",
    "/apis/authorization.k8s.io/v1beta1",
    "/apis/autoscaling",
    "/apis/autoscaling/v1",
    "/apis/autoscaling/v2alpha1",
    "/apis/batch",
    "/apis/batch/v1",
    "/apis/batch/v2alpha1",
    "/apis/certificates.k8s.io",
    "/apis/certificates.k8s.io/v1beta1",
    "/apis/extensions",
    "/apis/extensions/v1beta1",
    "/apis/policy",
    "/apis/policy/v1beta1",
    "/apis/rbac.authorization.k8s.io",
    "/apis/rbac.authorization.k8s.io/v1alpha1",
    "/apis/rbac.authorization.k8s.io/v1beta1",
    "/apis/settings.k8s.io",
    "/apis/settings.k8s.io/v1alpha1",
    "/apis/storage.k8s.io",
    "/apis/storage.k8s.io/v1",
    "/apis/storage.k8s.io/v1beta1",
    "/healthz",
    "/healthz/ping",
    "/healthz/poststarthook/bootstrap-controller",
    "/healthz/poststarthook/ca-registration",
    "/healthz/poststarthook/extensions/third-party-resources",
    "/healthz/poststarthook/rbac/bootstrap-roles",
    "/logs",
    "/metrics",
    "/swaggerapi/",
    "/ui/",
    "/version"
  ]
}
まず,kubernertes 自体の API について,ちゃんと kube-proxy が仕事して curl で API 一覧が見えることがわかる。

ここで,確認してみると良いのだが,/api/v1/namespaces をみるとわかるように,calico や heapser,kube-dns といった kubernetes のシステムの関連する Pod は kube-system という名前空間に存在する。
これは,kubectl get namespace でも確認可能。

そして,/api/v1/services を見にいくと,heapster というサービスが起動しており,これは,/api/v1/namespaces/kube-system/services/heapster に selfLink されている。
これもまた kubectl -n kube-system get svc と名前空間を指定して kubectl でサービス一覧を取得すれば同様のことがわかる。

さて,今回アクセスしたいのは heapster そのものの API なので,ここで,kube-apiserver の proxy を使う。
$ curl http://127.0.0.1:8080/api/v1/proxy/namespaces/kube-system/services/heapster/api/v1/model/namespaces/
[
  "default",
  "kube-system"
]
Kuernetes の API のルートに proxy というディレクトリが追加されているのがわかる。その下にサービスを指定して,その下に heapster 自体の REST API のエンドポイントを書くとこのように結果が得られる。
$ curl http://127.0.0.1:8080/api/v1/proxy/namespaces/kube-system/services/heapster/api/v1/model/namespaces/kube-system/pods/
[
  "kube-proxy-xw0k2",
  "calico-policy-controller-1777954159-3zcdp",
  "monitoring-influxdb-3871661022-g6dzx",
  "monitoring-grafana-973508798-98hcz",
  "kube-scheduler-cluster00",
  "kube-controller-manager-cluster00",
  "heapster-1528902802-mln1m",
  "calico-node-fxq75",
  "calico-node-bc4tk",
  "kube-proxy-9tnmn",
  "etcd-cluster00",
  "kube-dns-3913472980-093xh",
  "kube-apiserver-cluster00",
  "kube-proxy-lbgb2",
  "calico-etcd-3d4bf",
  "calico-node-r3rvh"
]
pod の一覧も取得できるし,
curl http://127.0.0.1:8080/api/v1/proxy/namespaces/kube-system/services/heapster/api/v1/model/namespaces/kube-system/pods/etcd-cluster00/metrics/uptime
{
  "metrics": [
  {
    "timestamp": "2017-09-27T07:09:00Z",
    "value": 13986309
  },
  {
    "timestamp": "2017-09-27T07:10:00Z",
    "value": 14046297
  },
  {
    "timestamp": "2017-09-27T07:11:00Z",
    "value": 14106296
  }
  ],
  "latestTimestamp": "2017-09-27T07:11:00Z"
}
特定の Pod について,メトリクスを取得することも自由自在,というわけだ。
なおここで得られるメトリクスの一覧は次からわかる。リンクは最新のタグの v1.5.0-beta.0 のもの。
https://github.com/kubernetes/heapster/blob/v1.5.0-beta.0/docs/storage-schema.md
このリンク先の表を以下に引用しておく。
Metric Name Description
cpu/limit CPU hard limit in millicores.
cpu/node_capacity Cpu capacity of a node.
cpu/node_allocatable Cpu allocatable of a node.
cpu/node_reservation Share of cpu that is reserved on the node allocatable.
cpu/node_utilization CPU utilization as a share of node allocatable.
cpu/request CPU request (the guaranteed amount of resources) in millicores.
cpu/usage Cumulative CPU usage on all cores.
cpu/usage_rate CPU usage on all cores in millicores.
filesystem/usage Total number of bytes consumed on a filesystem.
filesystem/limit The total size of filesystem in bytes.
filesystem/available The number of available bytes remaining in a the filesystem
filesystem/inodes The number of available inodes in a the filesystem
filesystem/inodes_free The number of free inodes remaining in a the filesystem
memory/limit Memory hard limit in bytes.
memory/major_page_faults Number of major page faults.
memory/major_page_faults_rate Number of major page faults per second.
memory/node_capacity Memory capacity of a node.
memory/node_allocatable Memory allocatable of a node.
memory/node_reservation Share of memory that is reserved on the node allocatable.
memory/node_utilization Memory utilization as a share of memory allocatable.
memory/page_faults Number of page faults.
memory/page_faults_rate Number of page faults per second.
memory/request Memory request (the guaranteed amount of resources) in bytes.
memory/usage Total memory usage.
memory/cache Cache memory usage.
memory/rss RSS memory usage.
memory/working_set Total working set usage. Working set is the memory being used and not easily dropped by the kernel.
network/rx Cumulative number of bytes received over the network.
network/rx_errors Cumulative number of errors while receiving over the network.
network/rx_errors_rate Number of errors while receiving over the network per second.
network/rx_rate Number of bytes received over the network per second.
network/tx Cumulative number of bytes sent over the network
network/tx_errors Cumulative number of errors while sending over the network
network/tx_errors_rate Number of errors while sending over the network
network/tx_rate Number of bytes sent over the network per second.
uptime Number of milliseconds since the container was started.
すべてのカスタムのメトリクスは custom/ に置かれるそうな。

P. S.
各サービスの API のエンドポイント,kubectl cluster-info みたら普通に書いてあるやんけ……。