Mackerelでは、登録しているホストを監視し、状況に応じてアラートを通知できます。

監視機能を有効にする

アラートが発生しても通知されない場合、後述のアラート設定やアカウント設定が正しいか確認してください。

監視対象となるホスト

監視対象となるホストは、そのステータスが "working" または "standby" であるもののみです。
新規登録されたホストのステータスのデフォルト値の設定は[オーガニゼーショントップ]→[設定]タブより行えます。もしくは https://mackerel.io/my?tab=setting リンクより直接設定も可能です。初期状態を”working”にすることにより、ホスト登録直後からアラート通知を受け取れます。
ステータスが "standby" であるホストについては後述する通知が行われず、ウェブでの確認のみとなります。

ステータス	監視	通知
working	される	される
standby	される	されない
maintenance	されない	されない
poweroff	されない	されない

ホストの退役やステータス変更時のアラートの扱いについて

ホストを退役させた際には、そのホストに関連するアラートは自動的に閉じられます。この自動的に閉じられたアラートの復旧通知は送られません。

ホストステータスの変更時には、アラートに対する自動的な操作は一切おこなわれません。

"standby" 状態時に発生したアラートは、その後ホストステータスを "working" に変更したとしても、アラートの発生通知はおこなわれません。このケースでは、その後アラートの状態が変更された場合か、通知の再送間隔が設定されており、その間隔が過ぎた場合に通知がおこなわれます。

ホストステータスを "maintenance" や "poweroff" に変更した場合、その時既に発生していたアラートについては、その後閾値異常や疎通が回復したとしても自動的には閉じられません。"working" や "standby" にステータスを戻し、異常状態が回復すればアラートは自動的に閉じられます。

監視ルールを作成する

監視ルール一覧画面で監視ルールを一覧できます。画面右上の「監視ルールを追加」から監視ルールを新規作成できます。

死活監視

mackerel-agentをインストール・起動したホストに対しては、死活監視が自動的に行なわれます。

死活監視はmackerel-agentからのメトリックの定期投稿を監視しています。一定期間この投稿がない場合、Mackerelはそのホストに異常が発生したと判断してアラートを発生させます。

ホストメトリック監視・サービスメトリック監視

ホストやサービスに投稿されたメトリックに対して、閾値による監視を行えます。閾値にはWarningとCriticalの2段階を設定可能です。

監視ルールには以下の項目が含まれます。

メトリック
- 監視対象のメトリックを指定します。
  - メトリックの種類についてはメトリック仕様を参照してください。
  - 監視ルールの作成後、監視対象のメトリックは変更できません。
- 一部のメトリックは使用率の監視が可能です。
  - 割合監視「CPU %」などの監視ルールについて
閾値
- Warning条件およびCritical条件
  - 比較演算子および閾値を指定します。WarningとCriticalを同じ条件にした場合、Criticalアラートが発生します。
- 平均値監視
  - 最新のメトリックの値から、指定した点数分過去に遡ったメトリックの平均値に対して監視を行います。1点を指定した場合は最新のメトリックの値を監視します。
  - 詳しくは平均値の算出方法を参照してください。
アラート発生までの最大試行回数
- 閾値を超えた状態が連続した時にアラートを発生させます。一度でも閾値を下回ればアラートは閉じられます。
絞込（ホストメトリック監視のみ）
- 監視対象のホストが所属するサービスおよびロールを指定します。ひとつも指定しない場合、すべてのホストが監視対象となります。
途切れ監視（サービスメトリック監視のみ）
- メトリックの投稿が途絶えてから設定された時間経過するとアラートを発生させます。
基本設定
- 監視ルール名
  - 監視ルールの名前。重複可。
- 監視ルールのメモ
  - 監視ルールの意図や、アラートが発生した時の対応などを自由に記述できます。この内容はアラート詳細画面やアラート通知に表示されます。
オプション
- 通知の再送間隔
  - アラートが発生している状態が続いている間、設定された時間間隔で通知を送り続けることができます。
注意事項
- 監視ルールは監視対象のメトリックが投稿されたホストに適用されます。監視対象のメトリックが一度も投稿されたことがないホストには適用されません。
  - 平均値監視の指定がある場合は、指定した点数分のメトリックが投稿された時点で適用されます。
- 閾値を変更すると、既に発生済みのアラートはそのままの状態になりますので、手動で閉じていただく必要があります。
- 同じメトリックに対して複数の監視ルールがある場合、それぞれの監視は個別に実行されます。
- 最新のメトリックのタイムスタンプが現在時刻よりも20分以上古い場合と、以前に送られたメトリックよりも古いタイムスタンプのメトリックが送られた場合は、監視が実行されません。

平均値の算出方法

平均値は最新のメトリックから指定した点数分過去に遡ったメトリックの合計値から算出されます。指定した時間（分）ではない点に注意してください。

以下は最新のメトリックのタイムスタンプが 15:10 の場合に、平均値がどのタイムスタンプの値をもとに算出されるかを示した例です。

タイムスタンプ	値	3点平均	5点平均	10点平均
15:00	1			✓
15:01	1			✓
15:02	1			✓
15:03	1			✓
15:04	1			✓
15:05	1		✓	✓
15:06	null
15:07	1		✓	✓
15:08	1	✓	✓	✓
15:09	1	✓	✓	✓
15:10	1	✓	✓	✓

メトリックのタイムスタンプが1分間隔ではない場合も算出方法は同じですが、24時間以内に指定した点数分のメトリックが存在しない場合は、平均値を算出できません。たとえば、1日に1度しか投稿されないメトリックの場合、2点以上の平均値監視を設定しても動作しません。

タイムスタンプの異なる複数のメトリックが同時に投稿された場合の動作について

クラウドインテグレーションやメトリック投稿の API などによって、タイムスタンプの異なる複数のメトリックが同時に投稿された場合、監視ルールはその時の最新のメトリックの値を監視対象にします。

たとえば以下のように 5 分間のメトリックが同時に投稿された場合、監視ルールは 15:05 の値に対して動作します。もし 15:05 よりも前の値が監視条件の閾値を超えていたとしても、アラートは発生しません。

タイムスタンプ	値
15:01	1
15:02	2
15:03	3
15:04	4
15:05	0

平均値監視やアラート発生までの最大試行回数に関しても、最新のメトリックの値を基準に動作します。

平均値監視が3点の場合は、15:03, 15:04, 15:05 の値から算出されます。
- 15:05 よりも前の時点で平均値が閾値を超えていても、15:05 を含めた平均値が閾値を下回っている場合はアラートが発生しません。
アラート発生までの最大試行回数が3回の場合は、15:03, 15:04, 15:05 の値が連続して閾値を超えているかどうかを判定します。
- 15:05 よりも前の時点で閾値を連続で超えていても、15:05 の値が閾値を下回っている場合はアラートが発生しません。

この仕様により、グラフ上ではアラートが発生する状況に見えても、アラートが発生しないケースがある点にご留意ください。

外形監視

URL外形監視を行うを参照してください。

式による監視

式による監視を行うを参照してください。

ロール内異常検知

ロール内異常検知による監視を行うを参照してください。

クエリによる監視

クエリによる監視を行うを参照してください。

アラートを確認する

アラート一覧画面でアラートを確認できます。

アラートを閉じる

発生したアラートは異常状態が回復すれば（ホストからの疎通が復活する・メトリックが閾値を外れる）自動的に閉じられますが、アラート一覧画面や個別のアラート画面から「アラートを閉じる」ボタンにより手動で閉じることもできます。

アラート通知を抑制する

アラート設定より、アラート通知を一時的・恒久的に抑制できます。この設定がDisabledまたはSuspendedになっている場合、アラートが生成される際に通知を行いません（アラートの生成は通常どおり行われます）。

アラートをまとめる

アラートをまとめるアラートグループ機能については以下のドキュメントを参考してください。

通知

Mackerelは、アラートが生成された際・アラートの状態に変化があった際・閉じられた際に通知をおこないます。

通知チャンネルの設定より、アラートの通知チャンネルを編集できます。対応している通知チャンネルはEメールとWebhookの他に、Slack、TypeTalk、Chatwork、PagerDuty など多くのWebサービスと連携可能になっています。対応チャンネルは随時追加していきます。

メールブロードキャストはそのオーガニゼーションに所属しているすべてのメンバーにメールを一斉送信します（アカウント設定により受け取らないように変更できます）。その他の通知チャンネルの設定の詳細については、ヘルプのサイドバー「アラート/alerts」をご確認下さい。

通知メールを受け取らない（アカウント設定）

アカウント設定ページのメール通知で「アラート通知」をOffにすると、通知メールを受信しない設定にできます。この設定はチャンネル設定の「通知するイベント」すべてが対象になります。

監視ルール単位で通知を抑制する

監視ルール一覧画面で操作することにより、監視ルール単位で通知の抑制（ミュート）を設定できます。

Web API からも設定可能です。一時的に通知を抑制したい場合などに活用してください。

通知グループで柔軟な通知条件を設定する

Mackerelでは、通知グループを作成することでチームの通知チャンネルに特定のサービスの通知のみを行うなどの柔軟な通知条件を設定できます。通知グループは通知チャンネルと同じように通知チャンネル設定のページから作成することが出来ます。

設定したサービス/監視ルールに関する通知のみが、通知グループに所属するチャンネルに送られるようになります。

全ての通知を受け取る通知グループ

オーガニゼーションにはそれぞれ一つ全ての通知を受け取るデフォルト通知グループが存在します。新しい通知チャンネルを登録した時は自動的にデフォルト通知グループに所属します。

対象となる通知グループを限定する

通知グループの通知対象に監視ルールを設定する際、監視ルール名の左にあるアイコンをクリックして「この通知グループのみに通知する」オプションを有効にすると、設定した監視ルールからの通知はその通知グループにのみ通知され、他の通知グループには通知されなくなります。

設定例

CPU% と connectivity の監視ルールによるアラート通知は運用チームの Chatwork に通知し、それ以外は Email と Slack に通知する場合は下図のようになります。

通知レベル

Critical onlyがOnの場合、Warningは通知されません。詳細な通知条件は以下のとおりです。

Critical以上(Critical, Unknown)のエラーレベルは通知される
Critical以上になったことのあるアラートのOKは通知される

GitHub - mackerelio/cookbook-mackerel-agent: Chef cookbook for mackerel-agent installation を利用するとmackerel-agentを簡単にセットアップできます。

必要なソフト

Chef 12.5 以上
Ruby 2.0 以上

インストール

cookbook の管理に Berkshelf をお使いの場合は Berksfileに以下の設定を追加してください。

cookbook 'mackerel-agent'

使い方

お使いの chef cookbook の recipe に以下の設定を追加してください。 'Your API KEY' にはオーガニゼーションページにて表示されるAPIキーを指定してください。Chef 用の API キーを新規作成することを推奨します。

node.default['mackerel-agent']['conf']['apikey'] = 'Your APIKEY'

include_recipe 'mackerel-agent'
include_recipe 'mackerel-agent::plugins' # Option for installation of mackerel-agent-plugins package

アトリビュート

次のようなアトリビュートを用意しています。 default['mackerel-agent']['conf']['apikey'] については「使い方」のように、必ず指定する必要があります。

default['mackerel-agent']['conf']['apikey']  = "YOUR APIKEY"
default['mackerel-agent']['conf']['pidfile'] = "/path/to/pidfile"
default['mackerel-agent']['conf']['root'] = "/var/lib/mackerel-agent"
default['mackerel-agent']['conf']['verbose'] = false
default['mackerel-agent']['conf']['roles'] = ["My-Service:app", "Another-Service:db"]

# ホストのカスタムメトリックプラグインの指定
default['mackerel-agent']['conf']['plugin.metrics.vmstat'] = {
   'command' => '["ruby", "/etc/sensu/plugins/system/vmstat-metrics.rb"]',
}

ホストのカスタムメトリックについては、以下のエントリを参照してください。

ホストのカスタムメトリックを投稿する - Mackerel ヘルプ

Mackerel ヘルプ

便利なツール

fluentd

クライアントライブラリ

mackerel-agentプラグイン集

chefレシピ

監視・通知を設定する