こんにちは。
今回は技術的な内容ではなく、私がOSDAを受験し合格した際のエピソードについて少しまとめたいと思います。
具体的なOSDAの受験記については会社のブログに掲載していますので、興味がある方は以下のリンクからぜひご覧ください。
本題
2023年3月3日にOffsec社のOSDA（Offsec Defense Analyst）を受験し、無事に1回目で合格することができましたが、試験中になんと4回もトラブルに見舞われました。今回はその内容について共有したいと思います。
トラブルの詳細に移る前に、OSDAの試験形式について軽く説明しておきます。受験者はVPNを経由して試験機のSIEMにアクセスします。SIEMで収集されるログは、従業員の端末のログやWebサーバーのログなど、様々なものです。
監視対象の環境に対して攻撃フェーズを実行すると、SIEMには何らかのセキュリティインシデントのログが追加されます。
端的に説明すると、この試験ではその攻撃をSIEMから探し出し、「何が起きたか」「原因は何か」「どの程度の影響がでたか」などをレポートにまとめることが求められます。
それでは、試験の概要をざっくりと説明したところで、今回の本題に戻りたいと思います。
以下、試験中に起きた4つのトラブルを詳しく説明します。
- 攻撃フェーズを実行後も、インシデントに関するログが追加されない（1回目）
- 攻撃フェーズを実行後も、インシデントに関するログが追加されない（2回目）
- SIEMの操作ができなくなる
- レポートの提出を拒否された
この4つのトラブルを文字に起こしてみると、思うところがありますね・・・w
とはいえ、合格できたのでまぁまぁという感じです。
もし、この記事を読んでいる方がOSDAを受験される際に、同じような事象に遭遇した場合は、私が試した方法を参考にしてみてください。
それでは、1つ目のトラブルについて詳しく説明します。
1. 攻撃フェーズを実行後も、インシデントに関するログが追加されない（1回目）
まずは1回目のトラブルです。
試験は日本時間の9時30分から始まりましたが、事前確認に時間がかかり、少し遅れてスタートしました。
最初の攻撃フェーズを実行した後、SIEMからインシデントを探しましたが、一向に「これだ！」と思えるログが見つかりませんでした。OSDAの試験の攻撃フェーズは一連の攻撃が連なっています。そのため、侵入フェーズから始まると考えていましたが、何も見つけることができませんでした。
この時点で「実力足りなかったかなぁ〜・・・」とショックを受けましたが、攻撃フェーズは10段階あるので、次の攻撃フェーズを実行して調査を続行続けることにしました。
しかし。その結果も、フェーズ1と同じく何も見つけることができませんでした。
「終わった〜・・・」と思いましたが、最後のフェーズまで実行すれば何か見つかるかも知れないと思い、攻撃フェーズの実行と調査を続けました。しかし、結局全てのフェーズで何も見つけることができませんでした。
受験前にはSOC-200のLABを全てクリアし、内容も理解していたので、「これはおかしいのでは？」と感じました。そこで、試験監督（受験中は画面共有で監視されます）に、「全フェーズ実行したが、何も見つからないという状況は異常では？」とチャットで問い合わせました。
もちろん、自分の実力不足で見つけられない可能性もありましたが、それでも恥を忍んで質問しました。
試験監督からの返信は、「Offsecの技術チームが調査するので、試験環境は全てリセットされます」とのことでしたので、調査を依頼しました。
約30分後、「試験環境に問題が確認されましたので、環境を再構築しました」と連絡がありました。
この時点で試験開始からすでに3時間が経過していたので、その時間分を補填してもらい、再度試験を開始しました。
2. 攻撃フェーズを実行後も、インシデントに関するログが追加されない（2回目）
このようなトラブルも仕方がないと、気を取り直して試験を再開しました。
「問題は解決した」との連絡を受けて、安心して攻撃フェーズを再度実行しました。
しかし・・・・
結果は同じ、何も見つかりませんでした。
Offsecの方から「問題が解決した」と言われていたので、そうだろうと思いました。しかし、どの攻撃フェーズを実行しても、前回と同じく何も見つけられませんでした。
一応、最後の攻撃フェーズまで実行した後に、再びチャットで問い合わせました。すると、再度調査が行われることになりました。
調査の結果、バグは解決しておらず、SIEMにインシデントのログが追加されない状態でした。再度、調査と復旧にかかった時間は補填してもらいましたが、試験開始からすでに6時間も過ぎていました。
当初の試験時間は23時間45分だったのに、既に30時間に延びてしまっていました。
しかし、"三度目の正直"という言葉通り、3回目の攻撃フェーズでは無事にインシデントのログを発見することができ、問題が解決されました。
3. SIEMの操作ができなくなる
ここでは3度目のトラブルについて話ます。
2回目のトラブル解決後、順調に試験を進めていき、夜中の4時まで作業を続けました。
この段階で調査が約80%完了していたので、一度休憩を取ることにしました。試験監督に「ちょっと寝ますが、何か対応が必要ですか？」とチャットで確認したところ、「そのままで大丈夫です」との返信があり、仮眠を取ることにしました。
約4時間睡眠した後、試験を再開しようとしたところ、SIEMで何か操作をすると全てエラー表示が出てしまい、試験を続行することができなくなっていました。まだ未実行のフェーズもあったため、再度試験監督にチャットで状況を説明したところ、「試験環境はリセットされますが、それでもよろしいですか？」と返信がありました。
正直、リセット以外の選択肢はなかったのでので了承しました。しかし。これによりこれまで調査してきたフェーズを遡って調査することができなくなりました。
リセット後、調査中だったフェーズまで進めてくれた状態で再開しましたが、どのフェーズを何時何分に実行していたか記録していたメモが意味をなさなくなりました。結局、何分にどのフェーズが実行されたかを自分で調査する必要がありました。
それでも、何はともあれ試験を再開できたのは良かったのですが、試験時間の補填について試験監督から何も連絡がなかったので、「調査と修正に2時間かかりましたが、それに対する補填はありますか？」と質問したところ、「1時間追加しました」との返信がありました。
「2時間失ったのに1時間しか補填されないの・・・？？？？？」
これには納得がいきませんでしたので、再度試験監督に状況を説明しました。それにより、1時間補填されました。ただ、こちらから積極的に問い合わせしなければ対応してくれない状況であったため、いい勉強になりました。
4. レポートの提出を拒否された
試験中には様々なトラブルが発生しましたが、何とかレポートを完成させることができました。しかし、英文の確認に時間がかかり、提出締め切りの15分前までになってしました。レポートは指定の形式で圧縮し、指定されたサイトからアップロードする必要があります。無事に圧縮などを済ませて10分前にアップロードしたところ・・・
「受付時間を過ぎたのでレポートは受け付けません。」
この表示に私の心情は
「？？？？？？？？？？？？？？」
その原因はすぐに予想できました。「試験時間が3回延長されたことが、レポート提出期限に反映されていなかった」という状況が考えられました。ただ、一応レポートを時間内に作成して提出した証拠を残したかったので、Offsecのサポート宛にメールを送りました。
内容は「提出期限が反映されていないためアップロードできず、ひとまずメール経由でレポートを送ります」という旨を記載し、レポートを添付したところ・・・
「時間を過ぎているため、レポートは受け付けれません。再試験はポータルから申し込んでください。」
流石にビックリの返信でした。
試験で起きたトラブルを乗り越え、レポートまで作成した後、スコアが足りずに不合格なら理解できます。しかし、レポートすら見てもらえずに不合格というのは納得できませんでした。そのため、OffsecのDiscordに参加していたので連絡を入れ、メンターやサポーターに事情を伝えました。
その結果、Offsecでは今回の事情を社内で確認し、レポートのアップロード期限を30分延長してくれました。これにより、無事にレポートを提出することができました。
その後
10日ほどして合格の知らせが届き、無事にOSDAに合格することができました。
おそらく日本人初のOSDA合格者であるため、非常に嬉しい結果となりました。
今回の試験で学んだこととしては、同じようなトラブルに遭遇した場合の対応策を以下にまとめておきます。
- トラブル起きたら迷わずチャットで質問する
- 念のため最後のフェーズまで実行して調査を行い質問する
- 時間の補填がない場合は、自分からから積極的に提案を行う
- メールでの問い合わせには期待できないため、OffsecのDiscordで関係者に直接連絡を取る
私が試験を受けてから約1ヶ月後に、新規でOSDAの試験を受けることができなくなっていました。これはおそらく、さまざまなのバグ対応などが行われたからだと思います。
そのため、私が経験したようなトラブルは今後起きにくいと考えられます。しかし、何が起きるかわからないので、OSDAやOffsecの試験を受ける方は注意してください。
長文になりましたが、最後まで読んでいただきありがとうございました。
