コマンドライン
PR

awkコマンドの使い方|列の取り出し・条件抽出・集計を実行結果つきで解説

awkコマンドの使い方|列の取り出し・条件抽出・集計を実行結果つきで解説
hr
記事内に商品プロモーションを含む場合があります

「ログの 1 列目(IP アドレス)だけ取り出したい」「ステータスコードごとに件数を数えたい」「CSV の点数の平均を出したい」。こうした列(項目)単位の作業が得意なのが awk(オーク)です。テキストを 1 行ずつ読み、空白などで区切った列を取り出したり、条件に合う行だけ選んだり、合計や件数を数えたりできます。

この記事では、列の取り出し、区切り文字の指定、条件での抽出、BEGIN・END、集計、連想配列を使ったグループ集計、printf での整形を、実行結果つきで解説します。実行結果は Windows の Git Bash に入っている awk(awk --version の表示は「GNU Awk 5.0.0」。GNU 版の awk で、gawk とも呼びます)で確かめたものです。cd や cat などの基本に自信がない場合は、先に「Linuxの基本コマンド一覧」をどうぞ。

awk とは?grep との違い

awk は、テキストを処理するための小さなプログラミング言語でもあり、コマンドでもあります。もとの awk はベル研究所の Alfred Aho・Peter Weinberger・Brian Kernighan の 3 人が作ったもので、名前は 3 人の名字の頭文字です。よく一緒に使われる grep との違いは次のとおりです。

コマンド得意なこと例
grepパターンを含む行を探すERROR を含む行を表示
awk行を列に分けて、取り出す・比べる・計算する3 列目が 80 以上の行の 1 列目を表示、列の合計を出す

awk は読み込んだファイルを書き換えません(GNU awk のマニュアルにも「awk は入力ファイルを変更しない」と書かれています)。結果は画面に出るだけなので、気軽に試せます。結果を残したいときは > 新しいファイル名 でリダイレクト(出力先をファイルに変えること)します。

基本の形と練習用ファイル

形は「awk ‘パターン {アクション}’ ファイル」です。パターンは「どの行を対象にするか」、アクションは「その行で何をするか」です。パターンを省略すると全部の行が対象になり、アクションを省略すると行をそのまま表示します。プログラム全体はシェルに解釈されないよう、シングルクォート(’)で囲みます。

この記事では、Web サーバーのアクセスログ風に作った次のファイル access.log を使います(実在のログではなく、練習用に作ったものです)。空白で区切ると、1 列目が IP アドレス、7 列目がアクセスされたパス、9 列目がステータスコード、10 列目(最後の列)が送ったバイト数です。

192.168.0.10 - - [18/Oct/2026:09:00:01 +0900] "GET /index.html HTTP/1.1" 200 5120
192.168.0.11 - - [18/Oct/2026:09:00:03 +0900] "GET /about.html HTTP/1.1" 200 3072
192.168.0.10 - - [18/Oct/2026:09:01:15 +0900] "GET /missing.png HTTP/1.1" 404 512
192.168.0.12 - - [18/Oct/2026:09:02:40 +0900] "POST /login HTTP/1.1" 302 256
192.168.0.10 - - [18/Oct/2026:09:03:05 +0900] "GET /index.html HTTP/1.1" 200 5120
192.168.0.13 - - [18/Oct/2026:09:04:22 +0900] "GET /api/users HTTP/1.1" 500 128
192.168.0.11 - - [18/Oct/2026:09:05:10 +0900] "GET /index.html HTTP/1.1" 200 5120
192.168.0.12 - - [18/Oct/2026:09:06:30 +0900] "GET /old-page HTTP/1.1" 404 512

列を取り出す($1・$NF・$0)

awk は 1 行を読むたびに、空白で区切って $1、$2、$3… に入れます。$0 は行全体です。1 列目の IP アドレスだけを表示してみます。

awk '{print $1}' access.log
192.168.0.10
192.168.0.11
192.168.0.10
192.168.0.12
192.168.0.10
192.168.0.13
192.168.0.11
192.168.0.12

複数の列はカンマで区切って並べます。カンマの位置には空白が 1 つ入ります。

awk '{print $1, $9}' access.log

結果は「192.168.0.10 200」「192.168.0.11 200」「192.168.0.10 404」…のように、IP とステータスコードが並びました。

NF は「その行の列の数」です。access.log では awk '{print NF}' access.log がどの行も 10 を表示しました。$NF と書くと「最後の列」、$(NF-1) は「最後から 2 番目の列」になります。列の数が行によって違っても、最後の列を確実に取れます。

awk '{print $NF}' access.log

結果は 5120、3072、512、256、5120、128、5120、512 の 8 行(バイト数の列)でした。$(NF-1) なら 200、200、404…とステータスコードが出ます。

列は文字とつなげて表示することもできます。awk -F: '{print NR": "$1}' passwd.txt(後で使うファイル)は「1: root」「2: daemon」…と表示しました。NR は「今が何行目か」を表す変数です。

区切り文字を変える(-F):CSV・TSV・コロン

何も指定しないと、awk は空白やタブの並びで区切ります。空白が 2 つ続いても空の列はできず、行頭の空白も無視されます。printf ' a b\tc\n' | awk '{print $1 "|" $2 "|" $3}' の結果は「a|b|c」でした。カンマやコロンで区切りたいときは -F で区切り文字を指定します。

CSV(カンマ区切り)

次の scores.csv(名前・部署・点数)を使います。

name,dept,score
tanaka,dev,82
suzuki,sales,65
sato,dev,91
ito,sales,74
kato,hr,58
awk -F, 'NR > 1 {print $1, $3}' scores.csv
tanaka 82
suzuki 65
sato 91
ito 74
kato 58

NR > 1 は「2 行目以降」という意味で、1 行目の見出し(name,dept,score)を飛ばしています。付けないと先頭に「name score」も表示されます。

TSV(タブ区切り)

タブは -F'\t' と書きます。値の中に空白がある TSV では、-F を付けないと空白でも区切られてしまいます。「2(タブ)banana split(タブ)300」という行を含む items.tsv で比べた結果です。

awk -F'\t' '{print $2}' items.tsv

-F’\t’ ありでは「banana split」と表示され、-F なしの awk '{print $2}' items.tsv では「banana」だけになりました。

コロン区切り(/etc/passwd 形式)

Linux のユーザー一覧ファイル /etc/passwd は「ユーザー名:x:ユーザーID:グループID:説明:ホームディレクトリ:ログインシェル」の形をしています。ここでは同じ形で作った練習用ファイル passwd.txt を使います(実際の /etc/passwd ではありません)。

root:x:0:0:root:/root:/bin/bash
daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
tanaka:x:1000:1000:Tanaka Taro:/home/tanaka:/bin/bash
suzuki:x:1001:1001:Suzuki Hanako:/home/suzuki:/bin/zsh
backup:x:34:34:backup:/var/backups:/usr/sbin/nologin
awk -F: '{print $1, $7}' passwd.txt

結果は「root /bin/bash」「daemon /usr/sbin/nologin」「tanaka /bin/bash」「suzuki /bin/zsh」「backup /usr/sbin/nologin」でした。説明の列「Tanaka Taro」は空白を含みますが、区切りはコロンだけなので 1 つの列のままです。

出力の区切り文字を変える(OFS)

入力の区切り文字は FS、print のカンマの位置に入る出力の区切り文字は OFS という変数に入っています(どちらも初期値は空白)。-v で値を指定すると、CSV から CSV を作れます。

awk -F, -v OFS=, '{print $1, $3}' scores.csv

結果は「name,score」「tanaka,82」「suzuki,65」…となりました。後で説明する BEGIN を使って awk 'BEGIN {FS = ":"; OFS = "\t"} {print $1, $3, $7}' passwd.txt と書くと、「root(タブ)0(タブ)/bin/bash」のようにタブ区切りに変換できます。

条件に合う行だけ処理する(パターン)

{ } の前に条件を書くと、その条件に合う行だけが処理されます。アクションを省略すると行全体が表示されます。

awk '$9 >= 400 {print $1, $7, $9}' access.log
192.168.0.10 /missing.png 404
192.168.0.13 /api/users 500
192.168.0.12 /old-page 404

ステータスコードが 400 以上(エラー)のアクセスだけを取り出せました。grep で「404」を探すと、バイト数や時刻に 404 を含む行まで出てしまうことがありますが、awk なら「9 列目が」と列を指定して比べられます。よく使う書き方をまとめます。

パターン意味結果
$9 == 4049 列目が 404access.log の 3・8 行目
/POST/行のどこかに POST を含む(正規表現)access.log の 4 行目
$7 ~ /\.html$/7 列目が .html で終わる/index.html など 4 行
$7 !~ /\.html$/7 列目が .html で終わらない/missing.png・/login・/api/users・/old-page
-F: ‘$3 >= 1000’ユーザー ID が 1000 以上passwd.txt の tanaka・suzuki
-F: ‘$NF == “/bin/bash”‘最後の列が /bin/bash(文字列は ” で囲む)root・tanaka
-F, ‘NR > 1 && $3 >= 80’2 行目以降かつ点数 80 以上(&& は「かつ」)tanaka,dev,82 と sato,dev,91
-F, ‘NR == 1 || $2 == “dev”‘1 行目または部署が dev(|| は「または」)見出しと dev の 2 行
NR == 2, NR == 42 行目から 4 行目まで(範囲)passwd.txt の daemon・tanaka・suzuki

/ / の中は正規表現(文字の並び方を記号で表す書き方)です。awk の正規表現は grep -E と同じく +、?、|、( ) がそのまま使えます。記号の意味は「正規表現の基本」で解説しています。

BEGIN と END:最初と最後に 1 回だけ実行する

BEGIN {…} はファイルを読む前に 1 回、END {…} は全部の行を読み終わった後に 1 回だけ実行されます。見出しを付けたり、最後に合計を表示したりするのに使います。

awk 'BEGIN {print "IP STATUS"} $9 != 200 {print $1, $9} END {print "---", NR, "lines"}' access.log
IP STATUS
192.168.0.10 404
192.168.0.12 302
192.168.0.13 500
192.168.0.12 404
--- 8 lines

END の中の NR は、最後に読んだ行の番号=全体の行数になります。awk 'END {print NR}' access.log は 8 を表示し、wc -l の代わりにもなります。ファイルを読まずに awk 'BEGIN {print 7/2, int(7/2), 10%3}' と BEGIN だけ書けば、電卓のようにも使えます(結果は「3.5 3 1」。awk の割り算は小数まで計算し、int で整数部分だけにできます)。

合計・平均・件数・最大を出す

awk の変数は宣言がいらず、最初は 0(空)として扱われます。そのため「各行で足し込み、END で表示する」だけで集計できます。access.log のバイト数(10 列目)の合計・件数・平均です。

awk '{sum += $10} END {print "合計:", sum, "件数:", NR, "平均:", sum/NR}' access.log
合計: 19840 件数: 8 平均: 2480

sum += $10 は「sum に $10 を足す」という意味です。見出し行がある CSV では、NR だと見出しも数えてしまうので、自分で件数を数えます。

awk -F, 'NR > 1 {sum += $3; n++} END {print "人数:", n, "平均:", sum/n}' scores.csv

結果は「人数: 5 平均: 74」でした(82+65+91+74+58=370、370÷5=74)。n++ は「n を 1 増やす」です。条件に合う行の件数だけ数えるなら、awk -F, 'NR > 1 && $3 >= 70 {n++} END {print n " 人"}' scores.csv で「3 人」と表示されました。

最大値とその人を探すには、今までの最大より大きい行で値を覚え直します。

awk -F, 'NR > 1 && $3 > max {max = $3; who = $1} END {print who, max}' scores.csv

結果は「sato 91」でした。なお、この書き方は点数がすべてマイナスだと最初の max(0)を超えないので、そのようなデータでは NR == 2 の行で max を初期化してください。

連想配列でグループごとに集計する

awk の配列は、番号の代わりに文字列を添え字(キー)にできる「連想配列」です。count[$9]++ と書くと、「200」「404」などのステータスコードごとに別々の数を数えられます。Excel のピボットテーブルや SQL の GROUP BY に近い集計が 1 行でできます。

awk '{count[$9]++} END {for (s in count) print s, count[s]}' access.log
200 4
302 1
404 2
500 1

for (s in count) は「count のキーを 1 つずつ s に入れて繰り返す」という書き方です。並び順は決まっていないので(後述)、順番が大事なときは sort コマンドに渡します。IP アドレスごとのアクセス数を、多い順に並べる例です。

awk '{count[$1]++} END {for (ip in count) print ip, count[ip]}' access.log | sort -k2,2nr
192.168.0.10 3
192.168.0.11 2
192.168.0.12 2
192.168.0.13 1

sort -k2,2nr は「2 列目を数値(n)として大きい順(r)に並べる」という意味です。数えるだけでなく、合計と件数を両方持てばグループごとの平均も出せます。部署ごとの人数と平均点です。

awk -F, 'NR > 1 {sum[$2] += $3; cnt[$2]++} END {for (d in sum) printf "%-6s %d人 平均 %.1f\n", d, cnt[d], sum[d]/cnt[d]}' scores.csv
dev    2人 平均 86.5
hr     1人 平均 58.0
sales  2人 平均 69.5

連想配列は「初めて出てきた値だけ」を取り出すのにも使えます。awk '!seen[$1]++ {print $1}' access.log は、192.168.0.10、192.168.0.11、192.168.0.12、192.168.0.13 と、重複を除いた IP を最初に出てきた順に表示しました。seen[$1] が 0(まだ出ていない)のときだけ条件が真になる、という仕組みです。sort | uniq と違い、元の順番が保たれます。

printf で桁をそろえて表示する

print は値を空白でつないで表示するだけですが、printf を使うと幅や小数の桁数を指定できます。print と違って改行が自動で入らないので、最後に \n を書きます。

awk '{bytes[$1] += $10} END {for (ip in bytes) printf "%-15s %6d\n", ip, bytes[ip]}' access.log | sort
192.168.0.10     10752
192.168.0.11      8192
192.168.0.12       768
192.168.0.13       128
書き方意味例 → 結果
%s文字列“tanaka” → tanaka
%-8s幅 8 で左寄せ“ito” → 「ito 」
%d整数(小数は切り捨て)86.5 → 86
%5d幅 5 で右寄せ82 → 「 82」
%.1f小数第 1 位まで表示86.5 → 86.5、58 → 58.0
%%% という文字“%6.1f%%” と 82 → 「 82.0%」

%d は四捨五入ではなく切り捨てなので、awk 'BEGIN {printf "%d\n", 86.5}' は 86 を表示しました。平均点などは %.1f のように小数で表示するほうが安全です。

よく使う組み込み変数

変数意味使い方の例
$0行全体print $0(print だけでも同じ)
$1、$2…1 列目、2 列目…print $1, $3
NFその行の列の数$NF で最後の列、NF == 0 で空行
NR今が何行目か(END では全体の行数)NR > 1 で見出しを飛ばす
FS入力の区切り文字(初期値は空白)-F, または BEGIN {FS = “,”}
OFS出力の区切り文字(初期値は空白)-v OFS=, で CSV 形式で出力

シェルの変数を awk に渡すときも -v を使います。min=80 としておいてから awk -F, -v min="$min" 'NR > 1 && $3 >= min {print $1}' scores.csv とすると、tanaka と sato が表示されました。awk のプログラムの中に $min と直接書いても、シングルクォートの中なのでシェルの変数にはなりません。

よくある間違い・つまずく点

プログラムをダブルクォートで囲んでしまう

awk -F, "{print $1}" scores.csv と書くと、1 列目ではなく「name,dept,score」「tanaka,dev,82」と行全体が表示されました。ダブルクォートの中では、awk に渡る前にシェルが $1 を自分の変数(ここでは空)に置き換えてしまい、awk には {print } が届くからです。awk のプログラムは必ずシングルクォートで囲みましょう。

CSV の引用符の中のカンマで列がずれる

Excel などが出力する CSV では、カンマを含む値を “Tokyo, Japan” のようにダブルクォートで囲みます(CSV の決まりをまとめた RFC 4180 の書き方です)。-F, は引用符を気にせずカンマで区切るので、列がずれます。

name,address,age
yamada,"Tokyo, Japan",30
kimura,Osaka,25
awk -F, '{print $2}' quoted.csv

結果は「address」「”Tokyo」「Osaka」となり、yamada の行だけ列が 4 つ(NF が 4)に分かれてしまいました。GNU awk のマニュアルによると、引用符つきの CSV を扱う –csv オプションは gawk 5.3 で追加されたもので、この PC の Git Bash の awk(5.0.0)では awk --csv は使い方の説明を表示して終了しました。引用符を含む CSV は、次の方法をおすすめします。

  • 中身を確かめたり JSON に変えたりするなら、「CSV⇔JSON変換ツール」(引用符・カンマ・改行を含む値も RFC 4180 どおりに読み、表で確認できます)
  • プログラムで処理するなら Python の csv モジュール。csv.reader で quoted.csv を読むと、2 列目は「Tokyo, Japan」と正しく 1 つの値になりました。使い方は「PythonでCSVを読み書きする方法」で解説しています。

自分で出力した CSV のように、値にカンマや引用符が入らないと分かっている場合は、awk -F, で問題ありません。

OFS を変えたのに print の結果が変わらない

awk -F, -v OFS=';' '{print}' scores.csv は、「name,dept,score」のままでした。OFS が使われるのは、カンマで並べた print か、列を書き換えて行が組み立て直されたときだけです。$1 = $1 と自分自身を代入すると組み立て直しが起き、awk -F, -v OFS=';' '{$1 = $1; print}' scores.csv は「name;dept;score」「tanaka;dev;82」…と区切り文字が変わりました。

数値のつもりが文字列として比べられる

比べる相手を “9” のように引用符で囲むと、文字列として(辞書の順で)比べられます。awk -F, '$3 > "9"' scores.csv の結果は、見出しと sato,dev,91 だけでした。文字列の比較では「82」は 1 文字目の「8」が「9」より小さいため、9 より小さいと判定されたのです。数値として比べるときは $3 > 9 のように引用符を付けずに書きます。

for (キー in 配列) の順番がばらばら

GNU awk のマニュアルには、for (… in …) で取り出す順番は awk の内部の並びで決まり、標準の awk では制御できないと書かれています。この記事の結果がたまたま並んでいても、データが変われば順番も変わり得ます。並べたいときは、上の例のように | sort に渡します。GNU awk だけで動けばよい場合は、END の最初に PROCINFO["sorted_in"] = "@ind_str_asc" を書くと、キーの文字列順(dev、hr、sales)で取り出せました。

該当が 0 件のとき何も表示されない

一度も足されなかった変数は空のままなので、awk '$9 == 999 {n++} END {print n}' access.log は空行を表示しました。print n + 0 と 0 を足すと、数値の 0 が表示されます。件数を別のコマンドに渡すときは + 0 を付けておくと安心です。

Windows で作ったファイル(改行が CRLF)

Windows のファイルは行末が CR+LF のことが多く、行末の列に見えない CR(\r)が付いて、比較や表示がおかしくなることがあります。この PC の Git Bash の awk では、CRLF のファイルを読んでも CR が取り除かれ、問題は起きませんでした。ただし GNU awk のマニュアルには、Cygwin 版はファイルをバイナリモードで開くため CRLF のファイルには工夫が要る、と書かれており、環境によって違います。CR が残る環境では、awk -F, '{sub(/\r$/, "")} $3 == 82' crlf.csv のように、最初に行末の \r を消してから処理します。改行コードの違いは「改行コードCRLFとLFの違いと確認・変換方法」で解説しています。

日本語の文字数が合わない

length(文字数)や substr(一部を取り出す)は、ロケール(言語や文字コードの設定)によって結果が変わります。この PC の Git Bash で echo "日本語abc" | awk '{print length($0)}' を実行すると、UTF-8 のバイト数の 12 が表示されました。LC_ALL=ja_JP.UTF-8 を付けて実行すると 6(文字数)になり、substr($0, 1, 2) も「日本」を取り出せました。日本語を文字単位で扱うときは、結果を確かめてから使いましょう。

よくある質問

awk と gawk の違いは何ですか?

awk にはいくつかの実装があり、gawk は GNU プロジェクトの awk です。この記事の基本(列・-F・パターン・BEGIN/END・連想配列・printf)はどの awk でも使える書き方ですが、PROCINFO[“sorted_in”] や –csv は gawk の機能です。Git Bash の awk が gawk であることは、awk --version の表示(GNU Awk 5.0.0)で確かめられます。

Windows で awk を使うには?

Git for Windows に付いてくる Git Bash に awk が入っています。この記事の例はすべて Git Bash で実行しました。PowerShell では引用符や $ の扱いが bash と違うため、この記事のコマンドは Git Bash で実行してください。PowerShell で同じような集計をしたい場合は、Import-Csv と Group-Object などを使う方法があります。

「アクセス数の多いページ」を出すには?

awk で列を取り出して sort と uniq -c に渡す組み合わせがよく使われます。awk '{print $7}' access.log | sort | uniq -c | sort -rn は、先頭に「3 /index.html」と表示しました。awk だけで書くなら、連想配列で count[$7]++ と数えます。

長い処理はどう書けばよいですか?

1 行に収まらなくなったら、Python などのプログラミング言語を使うほうが読みやすく、間違いも見つけやすくなります。awk は「ログやCSVをその場で数行で集計する」ときに一番力を発揮します。

関連する記事・ツール

ABOUT ME
hr
hr
エンジニアとして働いている hr です。仕事や資格勉強で「こんなツールがあれば」と感じたものを、無料Webツールと解説記事にして発信しています。
記事URLをコピーしました