一、awk介绍

awk的强大之处，在于能生成强大的格式化报告。数据可以来自标准输入，一个或多个文件，或者其他命令的输出。他支持用户自定义函数和动态正则表达式等先进功能，是Linux/unix一个强大的文本编辑工具。他在命令行中使用，但更多的作为脚本来使用。awk处理文本和数据的方式是这样的，从第一行到最后一行寻找匹配特定模式的行，并在这些行上进行你想要的操作。如果没有指定处理动作，则把匹配的行显示到标准输出（屏幕），如果没有指定模式，则所有行都被处理。

awk分别代表其作者姓氏的第一个字母，因为他的作者是三个人，分别是：Alfred Aho 、Brian Kernighan 、Peter Weinberger。gawk是awk的GNU版本，他提供了bell实验室和GNU的一些扩展功能。下面介绍的awk是以GNU的gawk为例，在Linux系统中已把awk链接到gawk。

二、awk的使用

2.1）awk的命令格式

awk [options] '/pattern/{action}' filename
awk [options] -f scriptfile filename

options: 
		-F: 自定义字段分隔符
    -v:自定变量
    
scriptfile:
		pattern{Action Statement}{Action Statement} 	语句之间用分号分隔

2.2）pattern和action

awk脚本是由pattern和action两部分组成的：/pattern/{action},两者是可选的：

如果没有pattern,则action应用到所有记录
如果没有action,则默认输出所有匹配记录，而不做任何处理
默认情况下，每一个输入行都是一条记录，但是用户可以通过改变RS变量指定不同的分隔符进行分割

pattern：pattern可以是下面任意一个：

/正则表达式/：
		使用通配符的扩展集
    如。/string/，表示以string为字符串的行

关系表达式：
		可以使用关系运算符进行操作，可以是数字和字符串的比较运算
    比如：$1>$2,过滤第一个字段比第二个字段大的行

pattern匹配表达式：
		如：$1 ~ /pattern/   或  $1 !~ /pattern/

pattern:
		指定一个行的范围，改语法不能包括BEGIN和END块
    /pattern1/，/pattern2/：从匹配pattern1的行开始，到匹配pattern2的行结束，之间所有的行，前闭后闭
    'NR==1,NR==10'，从第1行--第10行
    
 BEGIN：
 			在读取第一条记录之前执行，主要初始化设置，在这里可以设置全局变量设置
 
 END:
			最后执行，汇总统计结果，生成格式化报告

action：由一个或多个命令，函数或者表示组成，之间由分号分割，并位于大括号内，主要有以下四部分：

变量或者数组赋值：{x=10;print x}			{array[pattern1]=$1;array[pattern2]=$2}
输出命令：{print NR,$0}
内置行数：{gsub(/resource/,"target",$0)}:	resource:被替换字符串，目标字符串，被替换的记录（全局替换）
流程控制语句：if		for  while

2.3）awk脚本基本结构

一个awk脚本通常包括：

BEGIN{}语句块
能够使用pattern匹配的通用语句块
END{}语句块

awk 'BEGIN{print "start"}/pattern/{action}END{print "end"}' filename

任何一部分都可以不出现在脚本中，脚本通常实在单引号或者双引号中，如下：

awk 'BEGIN{ i=0 }{ i++ }END{ print i}' filename 
awk "BEGIN{	i=0 }{ i++ }END{ print i}" filename

2.4）awk工作原理

awk 'BEGIN{command}/pattern/{action}END{action}' filename
第一步：执行BEGIN语句块中的command
第二步：从文件或者标准输入流中读取一条语句，然后执行/pattern/{command}命令，他逐行扫描文件，从第一条记录到最后一条记录，重复这个动作，知道文件全部读取完毕
第三步：当读至输入流末尾时，执行END语句块中的command

BEGIN{command}：
		在awk从输入流中读取第一条记录之前执行，这是一个可选的语句块，比如变量的初始化，打印表格的表头等
END{command}：
		当awk从输入流中读取完所有记录之后执行该语句，比如统计所有记录分析结果，生成格式化报告
/pattern/{command}：
		是通用命令，是最重要的，他是可选的
    如果没有/pattern/，则啊我看读取到的每一行都会执行command

示例：

echo -e "A line ln2 line 2" | awk 'BEGIN{ print "start" }{print}END{ print "end" }'

结果：

结果示意图

print命令：

1、当print 不带参数时，打印当前记录
2、当print	带参数且参数之间以“,”分隔时，打印结果则以空格为界定符
3、当print 单参数且参数之间以“”链接时，在双引号为连接符
4、每个print执行完毕，默认结尾自带一个换行符

2.5）使用示例

准备测试数据如下：

测试数据

在脚本中使用多个命令：

# 使用多个命令，每个命令之间用“；”分隔
#	匹配以#开头的行，并将行首的 '# ' 替换为 “”，并打印当前行
awk ‘/^(#)/{gsub(/^(#\s)/,"");print $0}’data.txt

结果：

结果示意图

从文件中读取程序命令：

# 如果程序命令过多，可以单独放到一个脚本文件中
# script脚本文件如下：
/^#/{
  sub(/^# /)
  print $0
}
#执行命令如下：
# awk '/^#/' -f script data.txt			# 错误写法：'' 和 -f 是不能同时使用的
awk -f script data.txt									# 正确写法

结果：

结果示意图

在处理数据之前运行脚本：BEGIN块

awk 'BEGIN{print "开始处理数据"}{print $2,$3}' data.txt

结果：

结果示意图

在处理数据之后执行脚本：END块

awk '/^#/{sub(/^(# )/,"");print $2,$3,$4}END{print "数据处理完毕"}'

结果：

结果示意图

在awk中使用变量

变量又分为两种形式：内置变量；自定义变量。

1）内置变量

-  FS： 输入字段分隔符
-	 OFS： 输出字段分隔符
-  RS：输入记录分隔符
-  ORS：输出记录分隔符
-  FILEDWIDTH：定义数据字段的宽度
-  FILENAME：当前文件名
-  NR：当前行的行号
-  NF：当前行的字段个数，$NF：最后一个字段的值
-  ARGC：命令行参数个数
-  ARGV：命令行参数数组
-  $n：第n个字段值

2）测试数据:awk_test.txt

The dog:There is a big dog and a little dog in the park
The cat:There is a big cat and a little cat in the park
The tiger:There is a big tiger and a litle tiger in the park

测试一：FS和OFS用法

#FS：指定输入数据字段分割符
#OFS：指定输出数据字段拼接符
awk -F: '{print $1,$2}'  awk_test.txt  || awk 'BEGIN{FS=":";OFS=">"}'

结果：

结果示意图

测试二：RS和ORS的用法

测试数据：
Tom is a student
and he is 20 years old

Bob is a teacher
and he is 40 years old

# RS表示输入数据流中记录的分隔符
#ORS表示输出数据流中的记录分隔符
awk 'BEGIN{RS="";ORS="\N";FS="and";OFS=","}' file2

结果

结果示意图

示例三：ARGC和ARGV的用法

awk  -F: '{print ARGC,ARGV[0],ARGV[1]}' file1

结果：

结果示意图

示例三：NR和FNR的用法

#	NR:表示当前处理行的记录数
#	FNR：表示当前行在所属文件中的记录数
awk -F: '{print "NR="NR,"FNR="FNR,$1}' awk_test.txt awk_test_1.txt

结果：

结果示意图

3）自定义变量

在脚本中使用自定义变量，编写脚本script：

# 在BEGIN语句块中，还没有开始读取文本，不能对文本进行处理（例如赋值）
awk -F: 'BEGIN{name="htym>>"}{$1=$name；print $0}' awk_test.txt

结果：

结果示意图

在命令行中使用变量：

脚本script2:
	BEGIN{
  	FS=":"
  }
	{
  	print $n						#n为命令行中传入的参数
  }
运行脚本如下：
awk -f script2 n=2 awk_test.txt
注意：命令中参数在BEGIN语句块中是无法获取的，但是如果使用-v n=2，就可以获取变量n的值

结果示意图

在awk中使用数组

在awk中数组是一种非常有用的数据结构，可以存储一系列的值。与某些编程语言不同，在awk中的数组默认是关联数组（也称为哈希表），这意味着我们使用字符串做索引而不是整数（使用整数作为索引也会被转化为字符串）。

1、数组的定义

数字做索引：数字默认转化为字符串

array[1] = "周杰轮"
array[2] = "刘亦飞"

print array[1]
print array[2]

awk 'BEGIN{array[1]="周杰轮";array[2]="刘亦飞"}{print array[1],array[2]}' awk_test.txt

结果：

结果示意图

字符串做索引：

array["first"]="www";
array["last"]="name";
array["birth"]="1987";

print array["first"],array["last"],array["birth"]

结果：

结果示意图

2、读取数组的值：

awk 'BEGIN{array["first"]="www";array["last"]="name";array["birth"]="1987"}{for (element in array) {
		print element
}}'

结果：

结果示意图

3、数组相关函数：

# 得到数组长度：length,split
# length: 得到数组长度
#	split:将字符串分割成数组，返回数组长度。

awk 'BEGIN{info="it is atest";lengths=split(info,tA," ");print lengths,length(tA)}' awk_test.txt

测试结果：

测试结果

4、遍历数组内容：

## for ... in输出，因为数组是关联数组，默认是无序的。
##  所以通过for ... in 得到的是无序数组
##  如果需要得到有序数组需要通过，需要通过得到下标获得
awk 'BEGIN{info="this is a test";split(info,tA," ");for (element in tA) {print element,array[element]}}'

##  使用下标获得无序数组

awk 'BEGIN{info="this is a test";lens=split(info,tA," ");for (i=1;i<=lens;i++){print i,tA[i]}}'

测试结果：无序数组

测试结果

测试结果：有序数组

测试结果

5、在awk中处理二维数组：二维数组定义，填充，打印

BEGIN{
		scores["Alice,Math"] = 99;
  	scores["Bob,English"] = 88;
  
  	# 辅助数组，只关注键值
  	students["Alice"] = 1;
  	students["Bob"] = 1;
  
		# 辅助数组，只关注键值
  	scores["Math"] = 1;
  	scores["English"] = 1;
  
  	print "student\tsubject\tscore"
  	for(student in students){
    		for(subject in subjects){
        		key = student","subject;
          	print student,subject,scores[key]
        }
    }
}

测试结果：

测试结果

awk中使用正则匹配模式

在awk中使用正则匹配数据行行时，正则表达式一定要放在大括号的前面，如：

awk 'BEGIN{FS=":"}/dog/{print}' awk_test.txt

测试结果：

测试结果

1、用~匹配特定的数据字段

awk -F: '$1 ~ /dog/{print}' awk_test.txt
awk -F: '$1 !~ /dog/{print}' awk_test.txt

测试结果：

测试结果

2、使用数学表达式

# 测试数据：
1:this is the 1 line.
2:this is the 2 line.
3:this is the 3 line.
4:this is the 4 line.

# 测试脚本
awk 'BEGIN{FS=":"}$1/2==0{print $2}' test.txt

测试结果：

测试结果

流程控制语句

在Linux中的awk中可以使用流程控制语句，例如if,while,do...while,for语句，在这些流程控制语句中可以使用break,continue,exit这样的语句来推出循环。
break中断当前循环，跳到循环外，执行吓一跳语句。
awk中流程控制语句，语法结构与C语言类似
有了这些语句，许多yaml程序都可以交给awk，而且性能时非常的快，下面是这些语句的用法：

1、条件判断语句

if(条件判断){
		..业务逻辑..
}else{
		..业务逻辑..
}

if(条件判断){
		..业务逻辑..
}else if(条件判断){
		..业务逻辑..
}else{
		..业务逻辑..
}

示例：

BEGIN{
		test = 100;
  	if(test>=90){
    		print "very good";
    }else if(test >=60){
    		print "good";
    }else{
    		print "no pass";
    }
}

2、while循环

while(条件判断){
		..业务逻辑..
}
BEGIN{
  	test = 100;
  	total = 0;
		while(i<=test){
				total += i;
      	i++;
		}
}

3、for循环语句：for循环有两种格式

格式一：

# 语法格式：
for(element in arrays){

}
# 编辑文件 test
www.baidu.com
123
424
4523
www.bai.com
123
www.baidu.com

# 统计重复行次数
 awk '{
 # 创建一个数组，将字段作为下标，值为自增，第一个值为1
 # Count[www.baidu.com]=1
 Count[$NF]++} 
 END{
 # 创建一个变量，来遍历数组下标
 for(arr in Count) 
 	# 打印 数组下标，和数组对于值，即为下标次数
 	print arr,Count[arr] 
 	
 }' test
 
www.bai.com 1
www.baidu.com 2
123 2
424 1
4523 1

格式二：

#  语法格式
for(i=1;i<=n;i++){

}
awk 'BEGIN{
total=0;
for(i=0;i<=100;i++){
  total+=i;
}
print total;
}'

5050

用户自定义函数

用户自定义函数一定要放在函数调用之前定义，格式：

function function_name(arg1,arg2,arg3...){
		statement
    statement
    ....
}

# 示例
awk '
function fshow() 
{
    printf "%-5s : %s\n", $1, $3
}
BEGIN{
    print "开始处理..."
}
{
    fshow() 
}' file4

shell常用命令之awk用法介绍（awk使用shell变量）

一、awk介绍

二、awk的使用

在awk中使用变量

在awk中使用数组

awk中使用正则匹配模式

流程控制语句

用户自定义函数

相关推荐

Python实现人事自动打卡，再也不会被批评

Psutil + Flask + Pyecharts + Bootstrap 开发动态可视化系统监控

一个解决支持HTML/CSS/JS网页转PDF(高质量)的终极解决方案

再见Swagger UI 国人开源了一款超好用的 API 文档生成框架，真香

【验证码逆向专栏】vaptcha 手势验证码逆向分析

网页转成pdf文件的经验分享网页转成pdf文件的经验分享怎么弄

C++ std::vector 简介

python使用fitz模块提取pdf中的图片

《人人译客》如何规划你的移动电商网站(2)

Jupyterhub安装教程 jupyter怎么安装包

shell常用命令之awk用法介绍（awk使用shell变量）

一、awk介绍

二、awk的使用

在awk中使用变量

在awk中使用数组

awk中使用正则匹配模式

流程控制语句

用户自定义函数

相关推荐

Python实现人事自动打卡，再也不会被批评

Psutil + Flask + Pyecharts + Bootstrap 开发动态可视化系统监控

一个解决支持HTML/CSS/JS网页转PDF(高质量)的终极解决方案

再见Swagger UI 国人开源了一款超好用的 API 文档生成框架，真香

【验证码逆向专栏】vaptcha 手势验证码逆向分析

网页转成pdf文件的经验分享 网页转成pdf文件的经验分享怎么弄

C++ std::vector 简介

python使用fitz模块提取pdf中的图片

《人人译客》如何规划你的移动电商网站(2)

Jupyterhub安装教程 jupyter怎么安装包

网页转成pdf文件的经验分享网页转成pdf文件的经验分享怎么弄