Mackerel ブログ #mackerelio

Mackerelの公式ブログです

8/21(月)のメンテナンス第2弾の実施について

Mackerelサブプロデューサーの id:Songmu です。

今週、8/7(月)にメンテナンス第1弾を実施いたしました。また、このメンテナンスに続くメンテナンス第2弾を、以前の告知通り、8/21(月)に実施致します。

今回のメンテナンスでは、サブシステムの移設のみで、データベースの移設などは行わないため、サービスの停止はありません。

これで、今回のプラットフォーム移行に係わるメンテンナンスはこれで終了となります。ご協力のほどよろしくお願いいたします。

以下のエントリにも記載がありますが、本件についての詳細を改めてご案内いたします。

メンテナンス第2弾 日時

2017年8月21日(月)14:30~15:30(JST)

実施内容

URL外形監視、AWSインテグレーション、Azureインテグレーションのサブシステムの移設をおこないます。

影響範囲

サービスの停止はありません。ただ、上記実施対象のサブシステムによる監視が、数回程度実施されない可能性があります。

メンテナンス終了後は、MackerelからのURL外形監視、AWSインテグレーション、Azureインテグレーション、Webhookなどの通知チャンネルに利用している送信元IPアドレスが変更となります。メール通知は変更ありません。

また、URL外形監視に関してはロケーションを含めた観測条件が変更になるため、計測されるレスポンスタイムの傾向が若干変動する可能性があります。

IPアドレス制限をかけられているご利用者様は、メンテナンス日までに、現IPアドレスに加えて新IPアドレスを通信許可対象へ追加下さい。

※メンテナンス完了後にロールバックする可能性もあるため、現IPアドレスは数ヵ月程度並行で許可下さい。また、現IPアドレスの削除に関しては別途告知します。

現IPアドレス

  • 59.106.108.64/26

新IPアドレス

  • 52.193.111.118/32
  • 52.196.125.133/32
  • 13.113.213.40/32
  • 52.197.186.229/32
  • 52.198.79.40/32
  • 13.114.12.29/32
  • 13.113.240.89/32
  • 52.68.245.9/32
  • 13.112.142.176/32

当日のアナウンスに関して。

ステータスページ(http://status.mackerel.io)にて告知をおこないます。

状況のアップデートはステータスページにて随時お知らせしていきます。万が一メンテナンスが延長となった場合も、ステータスページにてお知らせします。

また、メンテナンス完了後に実際の実施時間等を含めた詳細をブログに記載します。

本件に関するお問い合わせは support@mackerel.io へメールでお問い合わせ下さい。

今後ともMackerelをご愛顧くださりますよう、よろしくお願いいたします。

メンテナンスの完了報告及びデータ消失とカスタムダッシュボード、式監視の不具合に関するお詫び

Mackerelサブプロデューサーの id:Songmu です。以前よりお知らせしていたメンテナンスを本日8/7(月)の14:30(日本時間)より開始し、18時に終了いたしました。ユーザーの皆様のご協力ありがとうございました。

本件の詳細について報告いたします。以降記載している時刻は全て日本時間となります。

アクセス停止時間帯

14:30-14:50 及び 15:30-15:33

上記時間帯にシステム全体がアクセス受付を停止していました。

データの消失に関して

今回のメンテナンスでは、本来は想定していなかったデータの消失が発生しました。ご迷惑をおかけして大変申し訳ありません。

メンテンス中の 14:30-15:31 の時間帯にMackerelのデータベース上に作成された時系列データ以外のデータが消失しました。具体的には、上記時間帯に登録された、アラートやホスト情報を含むデータが消失しています。

データ消失の原因と対応について

原因はメンテナンス時間中のデータベースの意図せぬfailoverにより、メンテナンス開始時からfailover時のデータが失われたことです。本来failover時にデータの消失は発生しないような構成をとっておりましたが、作業中の特殊な状態であったためデータが消失することとなりました。

当該時間帯のデータ復旧を試みましたが、failover後に更新されたデータとの整合性を取ることが困難であるため、復旧を断念しました。

failover後に改めてデータベースの冗長構成を精査し、同様の障害が発生しないことが確認できたため、復旧と判断しました。本件の技術的な詳細は改めて報告いたします。

(8/15 追記) 詳細情報公開しました。

システム移行メンテナンスにおける一部時間帯に更新されたデータが消失した原因のご報告 - Mackerel ブログ #mackerelio

データ消失期間中に登録されたホストに関する作業のお願いについて

上記 14:30-15:31 の時間帯にmackerel-agentにより新規登録されたホストに関しては、データを正しく投稿できておりません。大変お手数ですが、ホストの再登録処理をお願いいたします。

具体的には、idファイル( /var/lib/mackerel-agent/id )の削除をおこない、その後、mackerel-agentの再起動をお願いいいたします。

カスタムダッシュボードの不具合に関して (8/8修正済み)

メンテナンス以降に作成、更新されたカスタムダッシュボードに関して、グラフが表示されない状況が発生しています。本件に関しては、8/8(火)に修正予定です。

(8/8 追記 ) こちら8/8(火)のリリースで修正済みです。

式監視の不具合に関して (8/8修正済み)

メンテナンス移行後に、いくつかのオーガニゼーションにて式監視の不具合の発生を確認しています。こちらに関しては、大変申し訳無いのですが、すぐの対応が難しい状況です。こちらは、当該オーガニゼーションのオーナー宛に個別にアナウンスさせていただきます。

(8/8 追記 ) こちら8/8(火)のリリースで修正・解決済みです。

ユーザーの皆様にはご迷惑をおかけして申し訳ございません。今後はさらなるサービス品質向上に努めてまいりますので、引き続きMackerelをご愛顧くださりますよう宜しくお願い申し上げます。

所属しているオーガニゼーションから退出できるようになりました ほか

8月になりました。先週も少しご紹介したとおり、私たちの会社・はてなは8月から新しい期を迎えることになります。7月31日には全社納会も開かれ、Mackerelチームメンバーも全員、一堂に会しました。

新しいメンバーのジョインもありました。心機一転、ますます開発を進めていきたいと思います。

それでは、今週のアップデート情報です。

所属しているオーガニゼーションから退出できるようになりました

所属済みのオーガニゼーションから退出するためには、今までは管理者権限を持つユーザーによる操作が必要でしたが、これを自分自身でおこなっていただけるようにしました。

f:id:mackerelio:20170803190725p:plain

退出操作は、アカウント画面 > オーガニゼーションタブから実施することができます。

mackerel-agent-plugins、cookbook-mackerel-agent をアップデートしました

mackerel-agent-plugins は v0.29.1 に、cookbook-mackerel-agent は v1.3.0 に、それぞれアップデートしています。

mackerel-agent-plugins

  • [accesslog] パース対象のログ判定処理を見直しました
  • [solr] グラフ定義を見直しました

cookbook-mackerel-agent

  • 環境変数を指定できるようにしました
  • その他、README などの修正をおこないました

上記リポジトリに対しコントリビュートいただいた皆様、ありがとうございました!

来週 8/7(月)は、大型メンテナンス第1弾実施予定日です

こちらのブログでもお伝えしてきました8月の大型メンテナンスですが、 いよいよその第1弾の実施が来週 8/7(月)に迫っています。

以下に、その詳細情報についてのエントリをまとめています。ぜひ改めてご確認ください。

mackerel.io

mackerel.io

Mackerel UG Meeting vol.3 が 8/23(水)に開催予定です

Mackerelユーザーの有志の方々によって立ち上げていただいた、Mackerel User Group。そのユーザーグループによる3回目のイベントが、8/23(水)に開催されます。

mackerel-ug.connpass.com

今回のテーマは XaaS meets Mackerel とのことで、今回も便利な使い方・おもしろい活用方法が聞ける場となりそうです! Mackerelチームスタッフも、何人かお邪魔する予定です。ぜひご参加いただけたらと思います!

【8/11(金) 〜 8/16(水)】お盆休みのお知らせ

8/11(金)から8/16(水)まで、Mackerelチームはお盆休みをいただきます。 この期間中は、このブログでのアップデートのお知らせと、サポート窓口対応(障害の発生など、緊急のものを除きます)をお休みさせていただきます。

次回のアップデートのお知らせは 8/18(金)の予定です。みなさんも、良い夏休みをお過ごしください!

2017年5月30日以降に作成されたOpsGenieのアカウントへのMackerelからの通知が失敗しています

いつもMackerelをご利用いただきありがとうございます。

現在、特定の条件によってOpsGenieへのMackerelからの通知が失敗する事象が発生しています。

通知に失敗するのは、2017年5月30日以降に作成されたOpsGenieのアカウントに対して、Mackerelから通知が送信された場合となります。 それ以前に作成されたアカウントに対する通知は正常に行われています。

原因としては、OpsGenieのREST APIがV2に移行したことによるものです。

Mackerelでは、OpsGenieへの連携にOpsGenieのREST APIのV1を使用しています。 V1とV2に互換性はなく、2017年5月30日以降に作成されたアカウントでは強制的にV1の利用が閉じられており、そのためにMackerelからの通知が失敗するという事象が発生しています。

Mackerelとしては速やかにAPI V2利用へ移行すべきなのですが、仕様の変更が大きく対応方針の検討など含めて時間を要している状況です。

OpsGenieのAPI移行のアナウンスは下記となります。 www.opsgenie.com

ご利用の皆様にはご迷惑をおかけします。

対応完了の際はアナウンスさせていただきます。

mackerel-agent などをアップデートしました ほか

こんにちは。Mackerel セールスエンジニアの井上(id:a-know)です。

私たちの会社・はてなについての話なのですが、期の変わり目が7月末となっており、来月からは新しい期が始まることになります。Mackerelチームでも、来期に向けた新しい施策をあれこれと考えているところです。

特に、ユーザーの方との交流に重きを置いた新しいイベントの開催については、毎日のように議論を重ねています。今回の記事でものちほど紹介するハッカソンイベントは、その第一弾となります。来期のMackerelに、ぜひご期待ください!

それでは、今週のアップデート情報です。

mackerel-agent などをアップデートしました

OSSである mackerel-agent、mackerel-agent-plugins、go-check-plugins のアップデートをおこないました。以下がそのアップデート内容の概要です。

mackerel-agent v0.44.0

  • 微修正をおこないました。

mackerel-agent-plugins v0.29.0

  • [aws-dynamodb] TimeToLiveDeletedItemCount メトリックを取得できるようにしました。
  • [aws-dynamodb] オプションとグラフ定義を調整しました。
  • [mysql] ラベルプリフィクスの改善をおこないました。

go-check-plugins v0.11.0

  • [check-http] -i オプションを追加しました。
    • ソースIPアドレスを指定することができます。
  • [check-http] -s オプションを追加しました。
    • このオプションを使用し -s 404=ok-s 300-404=critical などとすることで、ステータスコードとチェック結果を対応付けることができるようになりました。

上記リポジトリにコントリビュートしてくださった皆様、ありがとうございました!

8月後半のメンテナンス・第2弾についてお知らせしています

8月後半に実施予定のメンテナンスの第2弾について、詳細をご連絡しています。

mackerel.io

このメンテナンスの終了後は、MackerelからのURL外形監視、AWSインテグレーション、Azureインテグレーション、Webhookなどの通知チャンネルに利用している送信元IPアドレスが変更となります。

IPアドレスの一覧は、今回のメンテナンスに関する最初のお知らせをさせていただいたエントリに記載しています。

mackerel.io

Mackerelからのアクセスのみを許可するなどの目的でIPアドレスを指定しておられる方は、ぜひ改めてご確認ください。

Mackerel Plugin Hackathon #1 を開催します!

冒頭でも紹介しましたが、来月以降は今まで以上にさまざまなイベントを開催していきたいと考えています。まずはその第一弾として、Mackerel 初のハッカソンイベント、Mackerel Plugin Hackathon #1 を開催することになりました!

mackerelio.connpass.com

会場には、VOYAGE GROUP様の素敵なスペースをお借りすることができました!

Mackerelチームの id:Songmu , id:Soudai , そして私 id:a-know もこの場に参加し、Mackerelのプラグインを作り慣れていないエンジニアの方でも安心して参加できるようにサポートします!

「こういうプラグインが無いのなら自分で作ってやる!」という方はもちろんのこと、「Mackerelを開発しているエンジニアやユーザの人たちと交流したい」「ハッカソンを通じてプラグインやMackerelに対する理解を深めたい」といった方々の参加も大歓迎ですので、予定の合う方はぜひお気軽にご参加ください!

8月後半のメンテナンス第2弾の日程確定(8/21)について

Mackerelサブプロデューサーの id:Songmu です。

既報の通り、8/7(月)にメンテナンス第1弾をおこないますが、その後のメンテナンス第2段の日程が決まりましたのでお知らせ致します。

メンテナンス第2弾 日時

2017年8月21日(月)14:30~15:30(JST)

実施内容

URL外形監視、AWSインテグレーション、Azureインテグレーションのサブシステムの移設をおこないます。

影響範囲

サービスの停止はありません。ただ、上記実施対象のサブシステムによる監視が、数回程度実施されない可能性があります。

メンテナンス終了後は、MackerelからのURL外形監視、AWSインテグレーション、Azureインテグレーション、Webhookなどの通知チャンネルに利用している送信元IPアドレスが変更となります。メール通知は変更ありません。

また、URL外形監視に関してはロケーションを含めた観測条件が変更になるため、計測されるレスポンスタイムの傾向が若干変動する可能性があります。

IPアドレス一覧は、前述のエントリに記載しておりますので、併せてご確認下さい。

mackerel.io

当日のアナウンスに関して。

ステータスページ(http://status.mackerel.io)にて告知をおこないます。

状況のアップデートはステータスページにて随時お知らせしていきます。万が一メンテナンスが延長となった場合も、ステータスページにてお知らせします。

また、メンテナンス完了後に実際の実施時間等を含めた詳細をブログに記載します。

本件に関するお問い合わせは support@mackerel.io へメールでお問い合わせ下さい。

今後ともMackerelをご愛顧くださりますよう、よろしくお願いいたします。

8月7日予定のメンテナンス内容の詳細について

Mackerelサブプロデューサーの id:Songmu です。先日告知した、8月上旬のメンテナンスに関し、メンテナンスの内容の詳細をお知らせいたします。

メンテナンス時間: 2017年8月7日(月)14:30~16:30(JST)

システムのオンライン切り替えを実施しますが、その関係で、上記の時間帯の中で1回から2回、Mackerelのメインシステムで以下の状況が発生します。

  • 10分弱の応答停止
  • その後20分程度の不安定な時間帯

応答停止中に発生すること

  • APIアクセスの停止
    • agentやmkrからのリクエストが一律失敗します
  • Web画面へのアクセスも失敗します
  • 死活監視アラートの停止
  • サブシステム(外形監視・AWSインテグレーション・Azureインテグレーション)の停止

不安定な時間帯に発生すること

  • 応答のパフォーマンスの低下
  • アクセスの確率的な失敗

アクセス失敗時の影響について

mackerel-agentやfluentdで投稿しているメトリックに関しては、プロセス内でバッファリングされ、再送されるため、データの欠損は発生しません。cronなどで自前の仕組みで投稿しているメトリックに関しては欠損が発生する可能性があります。

システムの応答の再開直後は、一時的にグラフデータの欠けが観測される状況が発生しますが、mackerel-agent内のバッファの再送が終わり次第、グラフは正常に表示されます。

上記時間帯、アラートに関しては誤報は発生しませんが、アラートが正常に発報されない可能性はあります。

メトリック監視のアラートに関しては、Mackerelのシステムはメトリックの受信を契機にアラートの判定を行っているため、上記の時間中に何か誤報が発生することはありません。

但し、mackerel-agentのバッファの再送時に投稿順番が前後する関係で、平均値監視を設定している場合などに、アラートが発報されなくなる可能性があります。また、チェック監視に関しても、APIリクエストに失敗した場合は、アラートが発報されません。

当日のアナウンスに関して

メンテナンス前後に、ニュースレター及びステータスページ(http://status.mackerel.io)にて告知をおこないます。

状況のアップデートはステータスページにて随時お知らせしていきます。万が一メンテナンスが延長となった場合も、ステータスページにてお知らせします。

また、メンテナンス完了後に実際の停止時間等を含めた詳細をブログに記載します。

メンテナンスの目的

リリース後に新機能が追加されるわけではありませんが、スケーラビリティの向上や、時系列データベースの性能向上、今後の機能拡張を見据えたメンテナンスとなります。特に時系列データベースに関しては、1分粒度のデータの長期保存が可能になるような変更を入れる予定です。

時系列データベースに関する技術的な詳細については、弊社 id:y_uuki の以下のブログエントリを参照下さい。

時系列データベースという概念をクラウドの技で再構築する - ゆううきブログ

本件に関するお問い合わせは support@mackerel.io へメールでお問い合わせ下さい。

今後ともMackerelをご愛顧くださりますよう、よろしくお願いいたします。