Publications by Shintaro Watanabe
Squidログを取り込む
はじめに ここでは、オープンソースのプロキシであるSquidのログをRのデータフレームに取り込む方法を記載します。今回はサンプルを「SecRepo」から借りてきました。 サンプル ログは160万行ほどあります。先頭の5行を見てみましょう。それぞれの列の意味は...
929 sym R (5437 sym/11 pcs)
JSONデータを矩形化する
はじめに 多くの情報提供サービスにおいて、利用者が検索文字列をREST APIで叩き、結果がJSONで返ってくる仕組みが採用されています。 JSONはXMLと比較すると人間にも読みやすい言語であり、ここからリスト構造に変換するのは比較的容易です。ところが、tidyve...
2139 sym R (3469 sym/19 pcs)
Linuxの認証ログをパースする
はじめに Linuxの認証ログは、Red Hat系では/var/log/secure、Debian系では/var/log/auth.logに格納されています。形式はsyslog（RFC3164）であることが一般的でしょう。けっこう厄介な半構造データで、awkやgrepなどのシェル芸を駆使して調査することが多いのではないでしょ�...
2616 sym R (4580 sym/10 pcs)
イベントの発生を視覚化する
はじめに 事案報告では、イベントの発生状況を視覚的にわかりやすく表現したいものです。このとき私がけっこう使う図解として、横軸に時間を、縦軸にアセットをとって、発生したイベントをプロットする方法があります。 実例を出すことはできないので�...
2317 sym R (7380 sym/12 pcs) 7 img
Shift_JISのURLをデコードする
はじめに Webサーバーのログを分析するときなど、URLエンコーディングされたままだと読みづらいので、デコードしたいことがあります。このとき、元の文字コードがUTF-8であれば urltoolsパッケージの url_decode()を使えばよいのですが、ファイル名のURLなどでShi...
2594 sym R (4377 sym/17 pcs)