awkコマンドの使い方|列の取り出し・条件抽出・集計を実行結果つきで解説
「ログの 1 列目(IP アドレス)だけ取り出したい」「ステータスコードごとに件数を数えたい」「CSV の点数の平均を出したい」。こうした列(項目)単位の作業が得意なのが awk(オーク)です。テキストを 1 行ずつ読み、空白などで区切った列を取り出したり、条件に合う行だけ選んだり、合計や件数を数えたりできます。
この記事では、列の取り出し、区切り文字の指定、条件での抽出、BEGIN・END、集計、連想配列を使ったグループ集計、printf での整形を、実行結果つきで解説します。実行結果は Windows の Git Bash に入っている awk(awk --version の表示は「GNU Awk 5.0.0」。GNU 版の awk で、gawk とも呼びます)で確かめたものです。cd や cat などの基本に自信がない場合は、先に「Linuxの基本コマンド一覧」をどうぞ。
awk とは?grep との違い
awk は、テキストを処理するための小さなプログラミング言語でもあり、コマンドでもあります。もとの awk はベル研究所の Alfred Aho・Peter Weinberger・Brian Kernighan の 3 人が作ったもので、名前は 3 人の名字の頭文字です。よく一緒に使われる grep との違いは次のとおりです。
| コマンド | 得意なこと | 例 |
|---|---|---|
| grep | パターンを含む行を探す | ERROR を含む行を表示 |
| awk | 行を列に分けて、取り出す・比べる・計算する | 3 列目が 80 以上の行の 1 列目を表示、列の合計を出す |
awk は読み込んだファイルを書き換えません(GNU awk のマニュアルにも「awk は入力ファイルを変更しない」と書かれています)。結果は画面に出るだけなので、気軽に試せます。結果を残したいときは > 新しいファイル名 でリダイレクト(出力先をファイルに変えること)します。
基本の形と練習用ファイル
形は「awk ‘パターン {アクション}’ ファイル」です。パターンは「どの行を対象にするか」、アクションは「その行で何をするか」です。パターンを省略すると全部の行が対象になり、アクションを省略すると行をそのまま表示します。プログラム全体はシェルに解釈されないよう、シングルクォート(’)で囲みます。
この記事では、Web サーバーのアクセスログ風に作った次のファイル access.log を使います(実在のログではなく、練習用に作ったものです)。空白で区切ると、1 列目が IP アドレス、7 列目がアクセスされたパス、9 列目がステータスコード、10 列目(最後の列)が送ったバイト数です。
192.168.0.10 - - [18/Oct/2026:09:00:01 +0900] "GET /index.html HTTP/1.1" 200 5120
192.168.0.11 - - [18/Oct/2026:09:00:03 +0900] "GET /about.html HTTP/1.1" 200 3072
192.168.0.10 - - [18/Oct/2026:09:01:15 +0900] "GET /missing.png HTTP/1.1" 404 512
192.168.0.12 - - [18/Oct/2026:09:02:40 +0900] "POST /login HTTP/1.1" 302 256
192.168.0.10 - - [18/Oct/2026:09:03:05 +0900] "GET /index.html HTTP/1.1" 200 5120
192.168.0.13 - - [18/Oct/2026:09:04:22 +0900] "GET /api/users HTTP/1.1" 500 128
192.168.0.11 - - [18/Oct/2026:09:05:10 +0900] "GET /index.html HTTP/1.1" 200 5120
192.168.0.12 - - [18/Oct/2026:09:06:30 +0900] "GET /old-page HTTP/1.1" 404 512
列を取り出す($1・$NF・$0)
awk は 1 行を読むたびに、空白で区切って $1、$2、$3… に入れます。$0 は行全体です。1 列目の IP アドレスだけを表示してみます。
awk '{print $1}' access.log
192.168.0.10
192.168.0.11
192.168.0.10
192.168.0.12
192.168.0.10
192.168.0.13
192.168.0.11
192.168.0.12
複数の列はカンマで区切って並べます。カンマの位置には空白が 1 つ入ります。
awk '{print $1, $9}' access.log
結果は「192.168.0.10 200」「192.168.0.11 200」「192.168.0.10 404」…のように、IP とステータスコードが並びました。
NF は「その行の列の数」です。access.log では awk '{print NF}' access.log がどの行も 10 を表示しました。$NF と書くと「最後の列」、$(NF-1) は「最後から 2 番目の列」になります。列の数が行によって違っても、最後の列を確実に取れます。
awk '{print $NF}' access.log
結果は 5120、3072、512、256、5120、128、5120、512 の 8 行(バイト数の列)でした。$(NF-1) なら 200、200、404…とステータスコードが出ます。
列は文字とつなげて表示することもできます。awk -F: '{print NR": "$1}' passwd.txt(後で使うファイル)は「1: root」「2: daemon」…と表示しました。NR は「今が何行目か」を表す変数です。
区切り文字を変える(-F):CSV・TSV・コロン
何も指定しないと、awk は空白やタブの並びで区切ります。空白が 2 つ続いても空の列はできず、行頭の空白も無視されます。printf ' a b\tc\n' | awk '{print $1 "|" $2 "|" $3}' の結果は「a|b|c」でした。カンマやコロンで区切りたいときは -F で区切り文字を指定します。
CSV(カンマ区切り)
次の scores.csv(名前・部署・点数)を使います。
name,dept,score
tanaka,dev,82
suzuki,sales,65
sato,dev,91
ito,sales,74
kato,hr,58
awk -F, 'NR > 1 {print $1, $3}' scores.csv
tanaka 82
suzuki 65
sato 91
ito 74
kato 58
NR > 1 は「2 行目以降」という意味で、1 行目の見出し(name,dept,score)を飛ばしています。付けないと先頭に「name score」も表示されます。
TSV(タブ区切り)
タブは -F'\t' と書きます。値の中に空白がある TSV では、-F を付けないと空白でも区切られてしまいます。「2(タブ)banana split(タブ)300」という行を含む items.tsv で比べた結果です。
awk -F'\t' '{print $2}' items.tsv
-F’\t’ ありでは「banana split」と表示され、-F なしの awk '{print $2}' items.tsv では「banana」だけになりました。
コロン区切り(/etc/passwd 形式)
Linux のユーザー一覧ファイル /etc/passwd は「ユーザー名:x:ユーザーID:グループID:説明:ホームディレクトリ:ログインシェル」の形をしています。ここでは同じ形で作った練習用ファイル passwd.txt を使います(実際の /etc/passwd ではありません)。
root:x:0:0:root:/root:/bin/bash
daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
tanaka:x:1000:1000:Tanaka Taro:/home/tanaka:/bin/bash
suzuki:x:1001:1001:Suzuki Hanako:/home/suzuki:/bin/zsh
backup:x:34:34:backup:/var/backups:/usr/sbin/nologin
awk -F: '{print $1, $7}' passwd.txt
結果は「root /bin/bash」「daemon /usr/sbin/nologin」「tanaka /bin/bash」「suzuki /bin/zsh」「backup /usr/sbin/nologin」でした。説明の列「Tanaka Taro」は空白を含みますが、区切りはコロンだけなので 1 つの列のままです。
出力の区切り文字を変える(OFS)
入力の区切り文字は FS、print のカンマの位置に入る出力の区切り文字は OFS という変数に入っています(どちらも初期値は空白)。-v で値を指定すると、CSV から CSV を作れます。
awk -F, -v OFS=, '{print $1, $3}' scores.csv
結果は「name,score」「tanaka,82」「suzuki,65」…となりました。後で説明する BEGIN を使って awk 'BEGIN {FS = ":"; OFS = "\t"} {print $1, $3, $7}' passwd.txt と書くと、「root(タブ)0(タブ)/bin/bash」のようにタブ区切りに変換できます。
条件に合う行だけ処理する(パターン)
{ } の前に条件を書くと、その条件に合う行だけが処理されます。アクションを省略すると行全体が表示されます。
awk '$9 >= 400 {print $1, $7, $9}' access.log
192.168.0.10 /missing.png 404
192.168.0.13 /api/users 500
192.168.0.12 /old-page 404
ステータスコードが 400 以上(エラー)のアクセスだけを取り出せました。grep で「404」を探すと、バイト数や時刻に 404 を含む行まで出てしまうことがありますが、awk なら「9 列目が」と列を指定して比べられます。よく使う書き方をまとめます。
| パターン | 意味 | 結果 |
|---|---|---|
| $9 == 404 | 9 列目が 404 | access.log の 3・8 行目 |
| /POST/ | 行のどこかに POST を含む(正規表現) | access.log の 4 行目 |
| $7 ~ /\.html$/ | 7 列目が .html で終わる | /index.html など 4 行 |
| $7 !~ /\.html$/ | 7 列目が .html で終わらない | /missing.png・/login・/api/users・/old-page |
| -F: ‘$3 >= 1000’ | ユーザー ID が 1000 以上 | passwd.txt の tanaka・suzuki |
| -F: ‘$NF == “/bin/bash”‘ | 最後の列が /bin/bash(文字列は ” で囲む) | root・tanaka |
| -F, ‘NR > 1 && $3 >= 80’ | 2 行目以降かつ点数 80 以上(&& は「かつ」) | tanaka,dev,82 と sato,dev,91 |
| -F, ‘NR == 1 || $2 == “dev”‘ | 1 行目または部署が dev(|| は「または」) | 見出しと dev の 2 行 |
| NR == 2, NR == 4 | 2 行目から 4 行目まで(範囲) | passwd.txt の daemon・tanaka・suzuki |
/ / の中は正規表現(文字の並び方を記号で表す書き方)です。awk の正規表現は grep -E と同じく +、?、|、( ) がそのまま使えます。記号の意味は「正規表現の基本」で解説しています。
BEGIN と END:最初と最後に 1 回だけ実行する
BEGIN {…} はファイルを読む前に 1 回、END {…} は全部の行を読み終わった後に 1 回だけ実行されます。見出しを付けたり、最後に合計を表示したりするのに使います。
awk 'BEGIN {print "IP STATUS"} $9 != 200 {print $1, $9} END {print "---", NR, "lines"}' access.log
IP STATUS
192.168.0.10 404
192.168.0.12 302
192.168.0.13 500
192.168.0.12 404
--- 8 lines
END の中の NR は、最後に読んだ行の番号=全体の行数になります。awk 'END {print NR}' access.log は 8 を表示し、wc -l の代わりにもなります。ファイルを読まずに awk 'BEGIN {print 7/2, int(7/2), 10%3}' と BEGIN だけ書けば、電卓のようにも使えます(結果は「3.5 3 1」。awk の割り算は小数まで計算し、int で整数部分だけにできます)。
合計・平均・件数・最大を出す
awk の変数は宣言がいらず、最初は 0(空)として扱われます。そのため「各行で足し込み、END で表示する」だけで集計できます。access.log のバイト数(10 列目)の合計・件数・平均です。
awk '{sum += $10} END {print "合計:", sum, "件数:", NR, "平均:", sum/NR}' access.log
合計: 19840 件数: 8 平均: 2480
sum += $10 は「sum に $10 を足す」という意味です。見出し行がある CSV では、NR だと見出しも数えてしまうので、自分で件数を数えます。
awk -F, 'NR > 1 {sum += $3; n++} END {print "人数:", n, "平均:", sum/n}' scores.csv
結果は「人数: 5 平均: 74」でした(82+65+91+74+58=370、370÷5=74)。n++ は「n を 1 増やす」です。条件に合う行の件数だけ数えるなら、awk -F, 'NR > 1 && $3 >= 70 {n++} END {print n " 人"}' scores.csv で「3 人」と表示されました。
最大値とその人を探すには、今までの最大より大きい行で値を覚え直します。
awk -F, 'NR > 1 && $3 > max {max = $3; who = $1} END {print who, max}' scores.csv
結果は「sato 91」でした。なお、この書き方は点数がすべてマイナスだと最初の max(0)を超えないので、そのようなデータでは NR == 2 の行で max を初期化してください。
連想配列でグループごとに集計する
awk の配列は、番号の代わりに文字列を添え字(キー)にできる「連想配列」です。count[$9]++ と書くと、「200」「404」などのステータスコードごとに別々の数を数えられます。Excel のピボットテーブルや SQL の GROUP BY に近い集計が 1 行でできます。
awk '{count[$9]++} END {for (s in count) print s, count[s]}' access.log
200 4
302 1
404 2
500 1
for (s in count) は「count のキーを 1 つずつ s に入れて繰り返す」という書き方です。並び順は決まっていないので(後述)、順番が大事なときは sort コマンドに渡します。IP アドレスごとのアクセス数を、多い順に並べる例です。
awk '{count[$1]++} END {for (ip in count) print ip, count[ip]}' access.log | sort -k2,2nr
192.168.0.10 3
192.168.0.11 2
192.168.0.12 2
192.168.0.13 1
sort -k2,2nr は「2 列目を数値(n)として大きい順(r)に並べる」という意味です。数えるだけでなく、合計と件数を両方持てばグループごとの平均も出せます。部署ごとの人数と平均点です。
awk -F, 'NR > 1 {sum[$2] += $3; cnt[$2]++} END {for (d in sum) printf "%-6s %d人 平均 %.1f\n", d, cnt[d], sum[d]/cnt[d]}' scores.csv
dev 2人 平均 86.5
hr 1人 平均 58.0
sales 2人 平均 69.5
連想配列は「初めて出てきた値だけ」を取り出すのにも使えます。awk '!seen[$1]++ {print $1}' access.log は、192.168.0.10、192.168.0.11、192.168.0.12、192.168.0.13 と、重複を除いた IP を最初に出てきた順に表示しました。seen[$1] が 0(まだ出ていない)のときだけ条件が真になる、という仕組みです。sort | uniq と違い、元の順番が保たれます。
printf で桁をそろえて表示する
print は値を空白でつないで表示するだけですが、printf を使うと幅や小数の桁数を指定できます。print と違って改行が自動で入らないので、最後に \n を書きます。
awk '{bytes[$1] += $10} END {for (ip in bytes) printf "%-15s %6d\n", ip, bytes[ip]}' access.log | sort
192.168.0.10 10752
192.168.0.11 8192
192.168.0.12 768
192.168.0.13 128
| 書き方 | 意味 | 例 → 結果 |
|---|---|---|
| %s | 文字列 | “tanaka” → tanaka |
| %-8s | 幅 8 で左寄せ | “ito” → 「ito 」 |
| %d | 整数(小数は切り捨て) | 86.5 → 86 |
| %5d | 幅 5 で右寄せ | 82 → 「 82」 |
| %.1f | 小数第 1 位まで表示 | 86.5 → 86.5、58 → 58.0 |
| %% | % という文字 | “%6.1f%%” と 82 → 「 82.0%」 |
%d は四捨五入ではなく切り捨てなので、awk 'BEGIN {printf "%d\n", 86.5}' は 86 を表示しました。平均点などは %.1f のように小数で表示するほうが安全です。
よく使う組み込み変数
| 変数 | 意味 | 使い方の例 |
|---|---|---|
| $0 | 行全体 | print $0(print だけでも同じ) |
| $1、$2… | 1 列目、2 列目… | print $1, $3 |
| NF | その行の列の数 | $NF で最後の列、NF == 0 で空行 |
| NR | 今が何行目か(END では全体の行数) | NR > 1 で見出しを飛ばす |
| FS | 入力の区切り文字(初期値は空白) | -F, または BEGIN {FS = “,”} |
| OFS | 出力の区切り文字(初期値は空白) | -v OFS=, で CSV 形式で出力 |
シェルの変数を awk に渡すときも -v を使います。min=80 としておいてから awk -F, -v min="$min" 'NR > 1 && $3 >= min {print $1}' scores.csv とすると、tanaka と sato が表示されました。awk のプログラムの中に $min と直接書いても、シングルクォートの中なのでシェルの変数にはなりません。
よくある間違い・つまずく点
プログラムをダブルクォートで囲んでしまう
awk -F, "{print $1}" scores.csv と書くと、1 列目ではなく「name,dept,score」「tanaka,dev,82」と行全体が表示されました。ダブルクォートの中では、awk に渡る前にシェルが $1 を自分の変数(ここでは空)に置き換えてしまい、awk には {print } が届くからです。awk のプログラムは必ずシングルクォートで囲みましょう。
CSV の引用符の中のカンマで列がずれる
Excel などが出力する CSV では、カンマを含む値を “Tokyo, Japan” のようにダブルクォートで囲みます(CSV の決まりをまとめた RFC 4180 の書き方です)。-F, は引用符を気にせずカンマで区切るので、列がずれます。
name,address,age
yamada,"Tokyo, Japan",30
kimura,Osaka,25
awk -F, '{print $2}' quoted.csv
結果は「address」「”Tokyo」「Osaka」となり、yamada の行だけ列が 4 つ(NF が 4)に分かれてしまいました。GNU awk のマニュアルによると、引用符つきの CSV を扱う –csv オプションは gawk 5.3 で追加されたもので、この PC の Git Bash の awk(5.0.0)では awk --csv は使い方の説明を表示して終了しました。引用符を含む CSV は、次の方法をおすすめします。
- 中身を確かめたり JSON に変えたりするなら、「CSV⇔JSON変換ツール」(引用符・カンマ・改行を含む値も RFC 4180 どおりに読み、表で確認できます)
- プログラムで処理するなら Python の csv モジュール。
csv.readerで quoted.csv を読むと、2 列目は「Tokyo, Japan」と正しく 1 つの値になりました。使い方は「PythonでCSVを読み書きする方法」で解説しています。
自分で出力した CSV のように、値にカンマや引用符が入らないと分かっている場合は、awk -F, で問題ありません。
OFS を変えたのに print の結果が変わらない
awk -F, -v OFS=';' '{print}' scores.csv は、「name,dept,score」のままでした。OFS が使われるのは、カンマで並べた print か、列を書き換えて行が組み立て直されたときだけです。$1 = $1 と自分自身を代入すると組み立て直しが起き、awk -F, -v OFS=';' '{$1 = $1; print}' scores.csv は「name;dept;score」「tanaka;dev;82」…と区切り文字が変わりました。
数値のつもりが文字列として比べられる
比べる相手を “9” のように引用符で囲むと、文字列として(辞書の順で)比べられます。awk -F, '$3 > "9"' scores.csv の結果は、見出しと sato,dev,91 だけでした。文字列の比較では「82」は 1 文字目の「8」が「9」より小さいため、9 より小さいと判定されたのです。数値として比べるときは $3 > 9 のように引用符を付けずに書きます。
for (キー in 配列) の順番がばらばら
GNU awk のマニュアルには、for (… in …) で取り出す順番は awk の内部の並びで決まり、標準の awk では制御できないと書かれています。この記事の結果がたまたま並んでいても、データが変われば順番も変わり得ます。並べたいときは、上の例のように | sort に渡します。GNU awk だけで動けばよい場合は、END の最初に PROCINFO["sorted_in"] = "@ind_str_asc" を書くと、キーの文字列順(dev、hr、sales)で取り出せました。
該当が 0 件のとき何も表示されない
一度も足されなかった変数は空のままなので、awk '$9 == 999 {n++} END {print n}' access.log は空行を表示しました。print n + 0 と 0 を足すと、数値の 0 が表示されます。件数を別のコマンドに渡すときは + 0 を付けておくと安心です。
Windows で作ったファイル(改行が CRLF)
Windows のファイルは行末が CR+LF のことが多く、行末の列に見えない CR(\r)が付いて、比較や表示がおかしくなることがあります。この PC の Git Bash の awk では、CRLF のファイルを読んでも CR が取り除かれ、問題は起きませんでした。ただし GNU awk のマニュアルには、Cygwin 版はファイルをバイナリモードで開くため CRLF のファイルには工夫が要る、と書かれており、環境によって違います。CR が残る環境では、awk -F, '{sub(/\r$/, "")} $3 == 82' crlf.csv のように、最初に行末の \r を消してから処理します。改行コードの違いは「改行コードCRLFとLFの違いと確認・変換方法」で解説しています。
日本語の文字数が合わない
length(文字数)や substr(一部を取り出す)は、ロケール(言語や文字コードの設定)によって結果が変わります。この PC の Git Bash で echo "日本語abc" | awk '{print length($0)}' を実行すると、UTF-8 のバイト数の 12 が表示されました。LC_ALL=ja_JP.UTF-8 を付けて実行すると 6(文字数)になり、substr($0, 1, 2) も「日本」を取り出せました。日本語を文字単位で扱うときは、結果を確かめてから使いましょう。
よくある質問
awk と gawk の違いは何ですか?
awk にはいくつかの実装があり、gawk は GNU プロジェクトの awk です。この記事の基本(列・-F・パターン・BEGIN/END・連想配列・printf)はどの awk でも使える書き方ですが、PROCINFO[“sorted_in”] や –csv は gawk の機能です。Git Bash の awk が gawk であることは、awk --version の表示(GNU Awk 5.0.0)で確かめられます。
Windows で awk を使うには?
Git for Windows に付いてくる Git Bash に awk が入っています。この記事の例はすべて Git Bash で実行しました。PowerShell では引用符や $ の扱いが bash と違うため、この記事のコマンドは Git Bash で実行してください。PowerShell で同じような集計をしたい場合は、Import-Csv と Group-Object などを使う方法があります。
「アクセス数の多いページ」を出すには?
awk で列を取り出して sort と uniq -c に渡す組み合わせがよく使われます。awk '{print $7}' access.log | sort | uniq -c | sort -rn は、先頭に「3 /index.html」と表示しました。awk だけで書くなら、連想配列で count[$7]++ と数えます。
長い処理はどう書けばよいですか?
1 行に収まらなくなったら、Python などのプログラミング言語を使うほうが読みやすく、間違いも見つけやすくなります。awk は「ログやCSVをその場で数行で集計する」ときに一番力を発揮します。
関連する記事・ツール
- CSV⇔JSON変換ツール:引用符・カンマを含む CSV も正しく読み、表で確認できる
- grepコマンドの使い方|よく使うオプションと正規表現の例を実行結果つきで解説
- Linuxの基本コマンド一覧|ls・cd・cp・mv・rm・catの使い方を実例で解説
- PythonでCSVを読み書きする方法|csvモジュールとExcelの文字化け・空行対策
- 正規表現の基本|よく使う記号の意味とパターン集(郵便番号・メール・日付・IP)
- sedコマンドの使い方|置換・行の削除・抽出と-iで失敗しないコツを実行結果つきで解説
- findコマンドの使い方|名前・日付・サイズで探す方法とxargsとの組み合わせ