Mackerel ブログ #mackerelio

Mackerelの公式ブログです

mackerel-agent-plugins などをアップデートしました ほか

9月も半ばを過ぎ、ようやく季節も秋めいてきましたね。 急に肌寒くなる日も増えてきそうです。みなさん、くれぐれも体調にはお気をつけください。

それでは、今週のアップデート情報をお伝えします。

5分間隔で投稿されたホストメトリックを25時間以上遡って確認できるようになりました

今年の2月に、AWSインテグレーションにより取得可能なEC2カスタムメトリックの粒度と、Mackerelの時系列データの仕様について - Mackerel ブログ #mackerelio でもお知らせしておりましたが、これまでの Mackerel では、毎分間隔で投稿されることを前提としているホストメトリックを5分以上の間隔で投稿した場合、時間の経過に伴う丸め処理により、25時間以上のデータは消失する仕様でした。

これが、今週のアップデートにより、25時間以上のデータも遡って確認できるようになりました。これにより、AWSインテグレーションにより取得されるメトリックのうち5分粒度のデータについても、過去の推移を Mackerel 上で確認できるようになっています。

こちらのお知らせでもお知らせしていた、「新時系列データシステム」の開発成果の一部となります。引き続き改善を進めていきますので、今後のアップデートにご期待ください。

Ansible Galaxy に登録している公式ロールの名称を変更しました

Ansible Galaxy に登録している公式ロールを更新しました。バージョンは 0.7.0 になっています。 これに伴い、ロール名を mackerel から mackerelio に変更しています。今までの名前ではご利用いただけなくなっていますので、ご注意ください。

また今回のバージョンアップにより、check プラグインのオプションを指定できるようになっています。ぜひ活用してください。

mackerel-agent-plugins などをアップデートしました

mackerel-agent-plugins などをアップデートしました。以下に詳細をまとめてお伝えします。

mackerel-agent-plugins v0.32.0

  • [memcached] evicted.reclaimedevicted.nonzero_evictions メトリックを追加しました
  • [accesslog] 長いログをスキャンできるよう調整しました
  • [mysql] 微調整をおこないました
  • [Redis] 微調整をおこないました

mkr v0.18.0

  • create サブコマンドで --customIdentifier オプションにより custom_identifier を指定できるようになりました

cookbook-mackerel-agent

コントリビュートいただいた皆様、ありがとうございました!

AWS Cloud Roadshow 2017 大阪 に Mackerel もブース出展します!

先週もこちらでお知らせしましたが、Mackerel もブース出展をおこなうAWS Cloud Roadshow 2017 大阪 の開催が、来週・9月21日に迫っています!

AWS Cloud Roadshow 2017 大阪 powered by Intel® 広島、大阪、名古屋、福岡の 4 都市を巡る無料クラウドカンファレンス開催! | アマゾン ウェブ サービス

Mackerel について直接質問したい!という方、ぜひお立ち寄りください!

グラフ共有の際に特定のメトリックを指定して投稿できるようになりました ほか

こんにちは。Mackerelチームディレクターの粕谷 (id:daiksy) です。

この毎週の新機能をお知らせするブログは毎週金曜日に公開しているのですが、今週は木曜日の公開となります。

Mackerel開発チームでは先週から、はてなサマーインターンの参加者がチームでの機能開発を体験しています。 はてなインターンは明日が最終日となり、各チームに配属されたインターン生が成果発表を行います。

そこで今週は、明日のインターン生の成果発表に備えて1日早く新機能をお知らせすることになりました。

今週お知らせする新機能は、いずれもインターン生が開発チームのサポートを受けて実装したものになります!

それでは今週のアップデートです。

通知チャンネルへのグラフ投稿の際に特定のメトリックを指定して投稿できるようになりました

これまでMackerelのグラフ投稿機能では、グラフ内に含まれるすべてのメトリックのグラフが表示された状態でグラフが共有されていました。 例えば、 memory.usedの傾向について議論がしたいのに、凡例を絞ってチャンネルに投稿しても、全てのメトリックが表示されたグラフが表示されていました。

今回のアップデートでは、ホストメトリックグラフにて特定のメトリックを選択した状態でグラフが共有できるようになりました。

下のスクリーンショットは、memory.used のみを選択した状態でSlackにグラフ共有されている様子です。

もちろんこの共有グラフのパーマリンクも、memory.used のみが選択されたリンクになっています。

アラート詳細画面にログに、通知先のチャンネルが表示されるようになりました

アラート詳細画面にて、アラートログそれぞれに対して、どの通知先にアラートが通知されたかが表示されるようになりました。

アイコンによって、通知成功・失敗して再送処理中・規定回数再送にトライして結果失敗 の3種の状態を確認することができます。

アラート一覧で監視ルールごとの絞込みができるようになりました

アラート一覧の絞込み条件に「監視ルール」が追加されました。

たとえばclose済みのチェック監視のみの一覧を表示して、アプリケーションの稼働率を取得する手がかりとしたり、 外形監視のアラートのみ絞り込んでWebアプリケーションの様子を把握したり、といったことが手軽にできるようになります。

アラートの手動クローズ時に、クローズした人とその理由が通知されるようになりました

アラートの手動クローズ時の通知に、クローズした人とその理由が通知されるようになりました。

これにより、アラート詳細画面に遷移することなく手動クローズの詳細な様子が把握できるようになります。

Mackerelの今後のイベント情報

Mackerelでは、イベント開催や出展を通じてユーザーの皆さんとお会いする機会を設けています。

9月21日 AWS Cloud Roadshow 2017 大阪

9月21日に開催される AWS Cloud Roadshow 大阪 にMackerelがスポンサー出展します。 お近くの方は是非ご来場ください!!

AWS Cloud Roadshow 2017 大阪 powered by Intel® 広島、大阪、名古屋、福岡の 4 都市を巡る無料クラウドカンファレンス開催! | アマゾン ウェブ サービス

9月26日 Drinkup Osaka

東京での開催が多いMackerelのイベントですが、今月は大阪でドリンクアップを開催します。

mackerelio.connpass.com

関西の皆さんとお会いできるのを楽しみにしています!

メタデータAPIでnamespaceの一覧を取得できるようになりました ほか

こんにちは。Mackerelチームディレクターの粕谷 (id:daiksy) です。

弊社では、夏の風物詩でもある、はてなサマーインターンが絶賛開催中です。

はてなサマーインターン2017

前半の講義パートを終えたインターン生たちが、今週から各チームに配属され、機能開発を体験しています。 今年はどんな機能がリリースされるのか楽しみですね。

ちなみに去年Mackerelチームに配属されたインターン生によって開発された機能はこちらです。

mackerel.io

mackerel.io

それでは今週のアップデート情報です。

メタデータAPIでnamespaceの一覧を取得できるようになりました

メタデータAPIで、ホストに登録されているメタデータのnamespaceの一覧を取得するAPIを実装しました。

これと、メタデータの取得APIとを組み合わせることで、ホストに登録されている情報を管理しやすくなります。

詳しくは以下のヘルプをご覧ください。 mackerel.io

ちなみにこちらは、今年のインターン生が開発チームのサポートの下、実装した機能となります!!

mackerel-agentでメトリックの投稿に失敗した際のログレベルを変更しました

mackerel-agentがメトリック投稿に失敗した場合、agentのログにこれまではErrorログとして出力されていました。 ただ、メトリック投稿の失敗はリトライされ、agentの停止などがなされない限りいずれ取りこぼすことなくMackerelに投稿されます。

そのため、この場合のログレベルをWarningに変更しました。

mackerel-agent, mackerel-agent-pluginsのその他の更新は以下のとおりです。

mackerel-agent 0.44.2

  • メトリック投稿失敗時のログレベルを変更
  • ホスト詳細にLinux/MIPSのCPU/SoC モデル名が表示されるように

mackerel-agent-plugins 0.31.1

  • [redis] queriesメトリックの取得方法を修正
  • [plack] JSONのパースに失敗したときにエラーを発生させないように
  • [jmx-jolokia]Jmx Threading グラフの取得メトリックの追加

AWS Cloud Roadshow 大阪 に出展します

9月21日に開催される AWS Cloud Roadshow 大阪 にMackerelがスポンサー出展します。 お近くの方は是非ご来場ください!!

AWS Cloud Roadshow 2017 大阪 powered by Intel® 広島、大阪、名古屋、福岡の 4 都市を巡る無料クラウドカンファレンス開催! | アマゾン ウェブ サービス

新機能「グラフボード」をリリースしました! ほか

こんにちは。Mackerelチーム CRE の井上(id:a-know)です。

先週土曜日は Mackerel 初のハッカソンイベント、Mackerel Plugin Hackathon #1を無事開催することができました。 こちらのブログにも開催レポートをアップしていますので、ぜひご覧いただけたらと思います。

mackerel.io

それでは、今週のアップデート情報です。

新機能「グラフボード」をリリースしました!

今週のアップデートで、「グラフボード」という新機能をリリースしました!

f:id:mackerelio:20170825070357p:plain

これはどういう機能かというと、

  • そのサービスのロールグラフ
  • そのサービスのサービスメトリックグラフ

を任意に選び、自由に配置・並び替えができる、というダッシュボードのような機能になります。多くのロールを持っていたり、たくさんのサービスメトリックを活用されている方にはうってつけの機能だと思います。

ドラッグ&ドロップによる直感的なグラフ配置の変更も可能です!

https://cdn-ak.f.st-hatena.com/images/fotolife/m/mackerelio/20170817/20170817125359.gif

配置された任意のグラフに対して、自動更新機能や、「30min」「1M」といった表示期間を一括で切り替える機能も、他の画面と変わらず利用可能です。

f:id:mackerelio:20170825070432p:plain

グラフボードの作り方や設定の仕方は、以下のヘルプをご覧ください。

mackerel.io

監視ルールに付けたメモの内容がメール通知の本文に含まれるようになりました

Mackerel で作成した監視ルールには、「このアラートが上がったらまず○○を確認」とか「○○や△△が発生するとこのアラートが発生する」といったメモを残すことができます。

mackerel.io

このメモの内容のアラート通知情報への表示は、Slack や ChatWork といったいくつかのチャンネルには既に対応していたのですが、今回のアップデートでメール通知の本文にも含まれるようになりました。より円滑な障害対応に役に立てていただけるかと思います。

mackerel-agent などをアップデートしました

mackerel-agent v0.44.1

  • 微調整をおこないました。

mackerel-agent-plugins v0.30.0

  • mackerel-plugin-openldap を新規追加しました。
  • [aws-ec2-ebs] Burst Balance メトリックを追加しました。

go-check-plugins v0.12.0

  • check-disk プラグインを新規追加しました。
  • [check-postgresql] database オプションにより、データベース名を指定できるようになりました。

mkr v0.17.0

  • [dashboards] 式グラフにおける unit, title パラメータのサポートを追加しました。

Mackerel User Group Meeting Vol.3 が開催されました

8月23日(水)、Mackerel ユーザーの有志の方々で立ち上げていただいた「Mackerel User Group」のイベント、Mackerel User Group Meeting Vol.3 が無事開催されました!

mackerel-ug.connpass.com

当日のLTでは、便利なツールについての発表やまさかのMackerelのゲーム?!についての発表もあったりと、大変な盛り上がりだったようでした。

さっそく参加レポートを書いてくださっている方も!

今回残念ながら参加できなかった方は、ぜひ次回の User Group Meeting にはご参加くださいね!

8月30日(水)〜 9月1日(金)、CEDEC 2017 に出展します

来週の水曜日から金曜日までの日程で、CEDEC 2017にブース出展します。

会場はパシフィコ横浜です。私たちは3階の会場で出展しています。また、MackerelのCREの曽根(id:Soudai)が、「Mackerelで楽しむパフォーマンスモニタリング」というセッションで登壇します。

お越しになられた方はぜひお立ち寄りください!

Mackerel Plugin Hackathon #1 開催レポート!

こんにちは。Mackerel チーム CRE の井上(id:a-know)です。

以前よりこちらのブログでもお伝えしておりました Mackerel Plugin Hackathon #1 ですが、無事開催し盛況のうちに会を終えることができました。今日は、そのハッカソンの様子をレポートとしてお届けしたいと思います!

会場は VOYAGE GROUP 様の素敵スペース『AJITO』!

記念すべき第1回のハッカソン会場には、VOYAGE GROUP様の素敵スペースである『AJITO』をお借りさせていただきました!

voyagegroup.com

最近ではこのスペースの名前を冠したポッドキャストも配信されているようです。

ajito.fm

素敵な会場を快くお貸しいただき、本当にありがとうございました!

ハッカソン専用の slack チャンネルにジョイン!

会の開始も近づき、徐々に参加者のみなさんも集まり始めました。

そんななか、今回のハッカソンのオーガナイザーである CRE の曽根(id:Soudai)から、「ハッカソン専用の slack チャンネルを用意していますので、そちらにジョインしてください!」とのアナウンスが。

Mackerel には、ユーザーの皆様により立ち上げていただいた User Group があり、その slack チームもあるのですが(まだの方はぜひこちらからご参加ください!)、そこに、今回のハッカソン参加者が集まるためのチャンネルを作っておいたのですね。

f:id:mackerelio:20170821093416p:plain

このチャンネル(チャンネル名は #hackathon です)は今でも見ることができますので、当日の雰囲気がどのようなものだったのか気になった方は、ぜひ覗いてみてくださいね!

まずはオリエンテーション

そんなこんなであっという間に開始の時間となり、イベントスタート。

いきなりハッカソンに入る前に、Mackerel のプロダクトオーナーであり、はてなのチーフエンジニアでもある松木(id:Songmu)よりオリエンテーションをおこないました。

f:id:mackerelio:20170821092948j:plain

「Mackerel の “プラグイン” にどのようなものがあるのか・その種類について」の話から、「各プラグインの仕様や作り方」まで、濃密なオリエンテーションがおこなわれました。

そのオリエンテーションに使われた資料は以下のものです。興味のある方はぜひ一度ご覧ください。

Plugin Hackathon オリエンテーション

ハッカソン開始!

オリエンテーションもおわり、いよいよハッカソン開始です。

まずはアイディアソンのような形で、アイデアを出し合ったり「今日はこれを作ろうと思います!」という宣言をしてもらうような時間をとりました。

f:id:mackerelio:20170821093018j:plain

その後、ハッカソンの本編がスタート。

応募の際には、一応「初心者枠」「開発者枠」という区分を設けていたのですが、いざ始まってみるとどなたが初心者枠でどなたが開発者枠なのかがまったくわからないほど、みなさん一心不乱にコードを書かれていたのがとても印象的でした(笑)

f:id:mackerelio:20170821093045j:plain

私も当初は「初心者枠」のメンターとして参加するつもりだったのですが、あまりにもみなさんが集中していたので、気がつくと私自身も一参加者としてプラグイン開発に没頭してしまっていました……(笑)

あっという間に時間は過ぎ、成果発表!

3時間の実装時間はあっという間に終わりを迎え、参加者ひとりずつからの成果発表の時間です。

この場で発表されたプラグインなどの概要は、以下のようなものでした。

  • memached プラグインへの機能追加
  • JSON形式のデータを、スキーマの定義をおこなうことなくカスタムメトリックとして送信できるようなプラグイン
  • デプロイされているアプリケーションのバージョンをメタデータに登録するオリジナルプラグイン
    • グラフアノテーションへの活用まで!
  • aws-elasticsearch プラグインの改善・機能追加
  • OpenLDAP プラグインの開発
  • インストールされているプログラミング言語のバージョンをメタデータに登録するオリジナルプラグイン
  • 稼働しているプロセスの上位20をメタデータに登録するためのオリジナルプラグイン・それを AWS Lambda を経由して slack に通知する
  • mackerel-agent が利用できない環境での Mackerel を活用する方法について
  • チェック監視の結果、ステータスが変化したら任意のコマンドを実行させられるようなパッチを当てたお話
  • Raspberry-Pi に載っているセンサーから取得できる値を Mackerel に投稿するためのオリジナルプラグイン
  • CIタスクの異常な状態を検知できるようなオリジナルプラグイン

……と、見ていただいてもわかるように、本当に多種多様な成果がみなさんから発表されました。

f:id:mackerelio:20170821132659j:plain

このうちいくつかの発表ははてな社員からおこなわれたもので、「これは近々公式リリースを予定しています」といった驚き?の発表も! いつ・どれがリリースされるのか? 今から楽しみですね!

そして懇親会!

そしてそのまま流れるように懇親会へ。

お酒は VOYAGE GROUP 様からのご提供のもと(何から何まで、本当にありがとうございます!)、おいしいお寿司とピザとともにあちこちで楽しい会話に花を咲かせました。

私もお食事を楽しみつつ、普段はなかなかおうかがいできない、Mackerel に関する貴重なご意見・ご要望を直接ヒアリングさせていただくこともできました。

ここでいただいたご意見は、さっそくチーム内にも共有させていただきました!本当にありがとうございます。

ご参加いただいた皆様、ありがとうございました!

そんなわけで、Mackerel Plugin Hackathon #1 の開催レポートでした。場の雰囲気が少しでも伝わっていれば幸いです。

また、参加された方で早くもブログを書いていただいた方もおられます!

Mackerelのメタデータプラグインを書いてみた。 - トマトに砂糖をかけますか?

id:Soudai「ブログを書くまでがハッカソン!」と言っていた甲斐がありました。(笑)

メトリックプラグイン・チェックプラグイン、そしてメタデータプラグイン。今回のハッカソンでは、「アイデアと他の技術との組み合わせ次第で無限の可能性を持たせられるんだな」ということに、私たち自身が気付かされたような気持ちでもあります。

今後も Mackerel は「エンジニアをワクワクさせる サーバー監視サービス」であり続けるために、開発をすすめてまいります!

今回のイベントに参加いただいた皆様、そして会場をご提供くださいました VOYAGE GROUP 様、ありがとうございました!

プラットフォーム移行メンテナンス第2弾及び、一連の移行作業の終了お知らせ

Mackerelサブプロデューサーの id:Songmu です。以前よりお知らせしていたメンテナンスを本日8/21(月)の14:30(日本時間)より開始し、予定通り、15:30に終了いたしました。ユーザーの皆様のご協力ありがとうございました。

mackerel.io

メンテナンス時間帯

以下の手順で作業を実施いたしました。

  • 14:30-15:00 変更作業
  • 15:00-15:30 動作確認

メンテナンス後の影響について

一部のURL外形監視や、通知先にて、移行前には発生していなかったアラートや通知失敗が発生しています。こちらは、IPアドレス制限等のアクセス制限の設定を実施されている関係だと思われますが、必要に応じて設定の見直し等をお願い致します。

これで、今回のMackerelのプラットフォーム移行に係わるメンテンナンスはこれで終了となります。ユーザーの皆様のご協力、誠にありがとうございました。

ただし、今後1ヶ月(2017年9月21日(木)まで)、Mackerelの新旧システムの平行運用を念の為おこなう予定です。その間は、旧システムへ切り戻す可能性がわずかながらございます。IPアドレス制限等の設定をおこなわれている場合には、しばらく両方のIPアドレス帯の設定をお願いいたします。並行運用停止の際には改めて当Blogにてアナウンス致します。

このプラットフォーム移行を機に、Mackerelのさらなる機能拡充、安定稼働につとめてまいります。今後共Mackerelをよろしくお願いいたします。

APIでメンバー招待を取り消しできるようになりました ほか

今週前半まで、夏季休業ということで、緊急の場合を除くサポート窓口対応などをお休みさせていただいていました。ご迷惑をおかけしました。

現在サポート窓口での対応は再開しております。引き続きよろしくお願いします。

それでは、今週のアップデート情報です。

APIでメンバー招待を取り消しできるようになりました

招待APIを用いることで、メールアドレスを指定してメンバーをオーガニゼーションに招待することができますが、今週のアップデートでAPIによる招待の取り消しができるようになりました。

これまで、招待の取り消しはWeb UIからのみおこなうことが可能でしたが、同様の操作をAPIからご利用いただけます。別の権限で招待し直したい時などにも利用することができると思います、ぜひご活用ください。

APIの利用方法などに関して、詳しくは下記のヘルプをご覧ください。

mackerel.io

メタデータAPIで最終更新日時が取得できるようになりました

メタデータAPIを使うことで、ホストに対して様々な情報を登録することができますが、その最終更新日時が取得できるようになりました。

ホストメタデータの取得APIを実行した際のレスポンスヘッダに、Last-Modified というフィールドを追加しました。ここにメタデータの最終更新日時が設定されています。

% curl --dump-header - https://mackerel.io/api/v0/hosts/<host_id>/metadata/<namespace> -H "X-Api-Key: <API_KEY>"
HTTP/1.1 200 OK
(中略)
Last-Modified: Sat, 01 Jul 2017 13:25:08 GMT

メタデータAPIに関しては、以下のヘルプも参照してください。

mackerel.io

8/21(月)のメンテナンス第2弾の実施について

週明けの2017年8月21日(月)14:30~15:30(JST)に、プラットフォーム移行のためのメンテナンス第2弾を実施しますので改めてお知らせいたします。

これで今回のプラットフォーム移行に係わるメンテンナンスはこれで終了となります。ご協力のほどよろしくお願いいたします。詳細は以下のエントリをご覧ください。

mackerel.io

Mackerelについての書籍が出ます

今月26日、Mackerelの書籍が出ます!

Mackerelの使い方に限らず、サーバー監視の基礎知識や、インフラ管理の入門としても読んでいただける書籍になっていますので、どうぞよろしくお願いします。

gihyo.jp

Mackerel User Group Meeting Vol.3 が開催間近です!

先日もこちらのブログでお知らせしましたが、Mackerel ユーザーの有志の方々で立ち上げていただいた「Mackerel User Group」のイベント、Mackerel User Group Meeting Vol.3 の開催が間近となっています!

mackerel-ug.connpass.com

User Group イベントではあるのですが、Mackerelチームからも CRE の id:Soudai やサブプロデューサーの id:Songmu が登壇を予定しています!

その他の発表も大変興味深いものが揃っていますので、ぜひみなさん、ご参加ください!