Publications by Shintaro Watanabe
Censysを題材にウェブAPIのページ分割を学ぶ
はじめに 2024年1月の記事「アドホックなログをSplunkに転送する」では、 httr2パッケージを利用して Splunk HEC（HTTP Event Collector）にログを転送する方法を紹介しました。 しかしhttr2の存在価値は、データの送信ではなく受信にあります。公式案内に「パイプ処理�...
3623 sym 2 tbl
SOF-ELKからデータを抽出する
はじめに SOF-ELKは Elasticスタックを用いたOSSのログ分析ツールであり、 SANS FOR572（Advanced Network Forensics and Analysis）や FOR509（Enterprise Cloud Forensics and Incident Response）の授業で採用されています。NetflowログからGCPログに至るまで、事前に定義されたディレクトリに�...
3527 sym Python (4150 sym/17 pcs) 5 tbl
アドホックなログをSplunkに転送する
はじめに 情報セキュリティ関連業務にはログ分析が付き物であるものの、当該ログが最初からログ基盤に入っているとはかぎりません。システム担当者からログを圧縮ファイルとして受け取ることも多々あります。 受け取ったログを直接Rに取り込んで分析す�...
4098 sym 2 img 1 tbl
MSTICPyでSplunkからデータを取り込む
はじめに MSTICPyは、 Jupyter Notebookで情報セキュリティ調査を行うためのPythonライブラリで、 Microsoftが開発しています。 MSTICPyの機能の1つとして、さまざまなログ基盤にクエリーを投げて、結果をPandasデータフレームとして取り込むことができます。 Microsoft Sent...
2355 sym Python (3639 sym/17 pcs)
MSTICPyでSplunkからデータを取り込む
はじめに MSTICPyは、 Jupyter Notebookで情報セキュリティ調査を行うためのPythonライブラリで、 Microsoftが開発しています。 MSTICPyの機能の1つとして、さまざまなログ基盤にクエリーを投げて、結果をPandasデータフレームとして取り込むことができます。 Microsoft Sent...
2132 sym Python (2694 sym/13 pcs)
フィッシングサイトの週次集計グラフを作る
はじめに 今回は番外編です。2023年7月15日にISACA名古屋支部のSR分科会にお邪魔した際、次のようなハンズオンのお題がありました。 JPCERT/CCのフィッシングURLのCSVファイルから、2022年度（4月～3月）における事業者ごとの週次集計を図示すること。 ただし、個�...
2411 sym 2 img 1 tbl
複数データフレームから指定列の出席簿を作る
はじめに 複数のログを分析しているとき、共通するフィールドの値の分布が気になることがあります。たとえば、あるIPアドレスはログAとログBとに出てくるが、ログCには出てこない、など。 フィールドとしてsrc_ipしか持たない単純なログのデータフレームで�...
2044 sym Python (1547 sym/9 pcs) 5 tbl
特定の文字の前後を抜き出す
はじめに 文字列から部分文字列を抽出するとき、特定の文字（区切り文字）より前もしくは後を取り出したいことがあります。たとえば日付と時刻とがパイプ文字で区切られた下の文字列 teststr <- "April 29, 2023 | 8:45 AM - 9:30 AM" から、日付部分（April 29, 2023）や時�...
975 sym
イベントを時系列に変換して視覚化する
はじめに 情報セキュリティ業務で眺めるログは、イベント（点過程）であることが多く、 時系列であるケースは少ないです。このログを、日次・週次などと一定の時間間隔で集計して視覚化を行うことは、一種の典型業務かもしれません。 今回は、元イベ�...
2306 sym 7 img
20200928_IPアドレスをCIDRブロックにマッチさせる
はじめに 情報セキュリティのログ調査では、入手したIPアドレスに情報を付加することが少なくありません。この際、付加する対象のデータベースのキーがCIDRブロックなことがあります。この記事では、IPアドレスからAS番号を引くという仮設例をもとに、IP�...
1281 sym R (2468 sym/7 pcs)