どうも。びっくりしましたよ。はにまです。
いろいろとミスや不運が重なって「目が飛び出る」といっていい金額の請求が来てしまいました。
当時当然に慌ててあれこれ調べましたが、結構食らっている方は個人〜法人含めていらっしゃるようで、当時のことの経緯を記録しておこうと思います。
ミスや不運
正直1個の問題では起こらなかった事態ですが、大変不運なことにいくつかの事象が重なって発生しました。
1.ソースコードにアクセスキーがハードコーディングされていた
まじで?っていう話なのですがこれが結構あるらしいんです。
オフショアしているのでまあそれもあるのかなあと思ったのですが、社内外にヒアリングすると案外普通に行われていました。。
知り合いの会社もインターン生の不手際でダメージ受けてましたし。
2.転職希望人員がGithubに実績としてのコードをPublicで公開
これはこれで非常識な、、というふうに断ずることもできますが、割と普通に行われていることでもあるかなあと。。
もちろんその中にアクセスキーが書いてなければ問題としては大きくないのですが。。
3.実は気づいていたのに少しの間放置してしまった
2019年の9-10月にまたがった高額請求なのですが、9月がしまった時点で、アレ??とはなっていたんです。
ですが、そのタイミングでエンジニアの古参がAmazonに問い合わせを出していたので、
お。やってるのね、という解釈で静観してしまったんですね。。不運。
このように複数の事象が重なってしまった結果、3ケタ万円のしかも大きめの請求がきてしまいました。。
配るはずだったボーナスが飛んでいく。。みんなごめんよ。
やられたこと
EC2の巨大なインスタンスを立ち上げられてしまって、そこで暗号通貨のマイニングをされてしまったみたいです。
暗号通貨以前の世界であれば、巨大なEC2とかただの嫌がらせでしかなかったわけですが、現代ではCPUを動かすことがそのまま金銭になる、という仕組みが実装されてしまったという見方ができるというわけです。
本来意味のなかったことが価値を持ってくるというのもなんともですね。。
行った対応
もちろん、はいそうですかと支払うわけにも行かずいくつかの対応を試みました。
1.Amazonに問い合わせ
もちろん本命はこれです。
これらのインスタンスは我々が意図して立ち上げたものではないからなんとかしてほしい、と。
とはいえ当方にも小さくない過失があることを理解していたため、過度な期待はせずに。。
あと補足すると、AmazonはアクセスキーがGithubに上がってるからやばいよ、というアラートをメールで入れてくれてるんですよね。
英語メールで割とよく来る感じのメールなのでみんなして見落としてたという。。過失。
巡回してくれているようです、が悪い人のほうが早いみたい。それは仕方ない。
2.カード会社に問い合わせ
クレジットカード決済なので、この決済は我々の意図したものではなく、ある意味では不正利用なのだと訴えてみました。
これはあえなく却下されました。Amazonが不正であると断じた場合は対応できるが、カード会社の立場では無理、との回答でした。
結果 Amazon様の神対応
Amazon様の指示に応じてあれこれと対応し、過度な期待をせずに半分くらいでもかえってきたらうれしいなあ、、、と待ちわびていたところ、なんと!!!
90%返金頂きました!
当方の過失も多いことは認めた上でしたので、こんなに対応いただけるとは!!!
さすがCloudの王者!
このようなヒューマンエラーも包括して、Cloudの普及に全力を傾けていらっしゃるAmazon様神様です。
これからもよろしくお願いします。
今後の防止策
ほんとにすみませんでした。
儲かったのはマイナーだけでAmazon様にもご迷惑を。。
もちろん、今後このようなことが発生しない様にするため、諸々のアカウントの運用指針の見直しや、社員教育を行いました。
窮屈な世の中にはなってしまいますが、実害が出てしまっては仕方ありません。
おしまい
自由なインターネット、自由な社風、驚きの新入社員への権限付与、などインターネット的幸福論をこれからも支持したいですが、そうも言っていない世の中ですかね。
仕方ないので一つ一つ対応していこうと思います。
なお、今回慌てた時に参考にさせていただいたページをいくつか。
ではまたー。
コメント