shell脚本命令并发20个线程（Linux中，shell脚本如何使用信号机制去控制线程的开启关闭）

本文目录

• Linux中，shell脚本如何使用信号机制去控制线程的开启关闭
• 如何用shell脚本并行多个命令
• shell脚本
• Linux下如何实现shell多线程编程
• shell中的wait命令及并发的实现{}&
• shell多个脚本怎么并发执行
• 如何编写shell脚本,改变程序进程数
• 在Linux系统中使用Shell实现多线程运行任务（多任务并发执行） 2022-05-30

Linux中，shell脚本如何使用信号机制去控制线程的开启关闭

 trap是Linux的内建命令，用于捕捉信号，trap命令可以指定收到某种信号时所执行的命令。trap命令的格式如下：trap command sig1 sig2 ... sigN，当接收到sinN中任意一个信号时，执行command命令，command命令完成后继续接收到信号前的操作，直到脚本结束。 利用trap命令捕捉INT信号（即与Ctrl+c绑定的中断信号）。trap还可以忽略某些信号，将command用空字符串代替即可，如trap "" TERM INT，忽略kill %n和Ctrl+c发送的信号（kill发送的是TERM信号）。Linux更强劲的杀死进程的命令：kill -9 进程号（或kill -9 %n作业号）等价与kill -KILL 进程号。

举个例子：

　　最近小A需要生产2015年全年的KPI数据报表，现在小A已经将生产脚本写好了，生产脚本一次只能生产指定一天的KPI数据，假设跑一次生产脚本需要5分钟，那么：

　　如果是循环顺序执行，那么需要时间：5 * 365 = 1825 分钟，约等于 6 天

　　如果是一次性放到linux后台并发执行，365个后台任务，系统可承受不住哦！

　　既然不能一次性把365个任务放到linux后台执行，那么，能不能实现自动地每次将N个任务放到后台并发执行呢？当然是可以的啦。

   #! /bin/bash
source /etc/profile;
# -----------------------------
tempfifo=$$.fifo        # $$表示当前执行文件的PID
begin_date=$1           # 开始时间
end_date=$2             # 结束时间
if  
then
   if 
   then
       echo "Error! $begin_date is greater than $end_date"
       exit 1;
   fi
else
   echo "Error! Not enough params."
   echo "Sample: sh loop_kpi 2015-12-01 2015-12-07"
   exit 2;
fi
# -----------------------------
trap "exec 1000》&-;exec 1000《&-;exit 0" 2
mkfifo $tempfifo
exec 1000《》$tempfifo
rm -rf $tempfifo
for ((i=1; i《=8; i++))
do
   echo 》&1000
done
while 
do
   read -u1000
   {
       echo $begin_date
       hive -f kpi_report.sql --hivevar date=$begin_date
       echo 》&1000
   } &
   begin_date=`date -d "+1 day $begin_date" +"%Y-%m-%d"`
done
wait
echo "done!!!!!!!!!!"

第6～22行：比如：sh loop_kpi_report.sh 2015-01-01 2015-12-01：

$1表示脚本入参的第一个参数，等于2015-01-01

$2表示脚本入参的第二个参数，等于2015-12-01

$#表示脚本入参的个数，等于2

第13行用于比较传入的两个日期的大小，\》是转义

第26行：表示在脚本运行过程中，如果接收到Ctrl+C中断命令，则关闭文件描述符1000的读写，并正常退出

exec 1000》&-;表示关闭文件描述符1000的写

exec 1000《&-;表示关闭文件描述符1000的读

trap是捕获中断命令

第27～29行：

第27行，创建一个管道文件

第28行，将文件描述符1000与FIFO进行绑定，《读的绑定，》写的绑定，《》则标识对文件描述符1000的所有操作等同于对管道文件$tempfifo的操作

第29行，可能会有这样的疑问：为什么不直接使用管道文件呢？事实上这并非多此一举，管道的一个重要特性，就是读写必须同时存在，缺失某一个操作，另一个操作就是滞留，而第28行的绑定文件描述符（读、写绑定）正好解决了这个问题

第31～34行：对文件描述符1000进行写入操作。通过循环写入8个空行，这个8就是我们要定义的后台并发的线程数。为什么是写空行而不是写其它字符？因为管道文件的读取，是以行为单位的

第37～42行：

第37行，read -u1000的作用就是读取管道中的一行，在这里就是读取一个空行；每次读取管道就会减少一个空行

第39～41行，注意到第42行结尾的&吗？它表示进程放到linux后台中执行

第41行，执行完后台任务之后，往文件描述符1000中写入一个空行。这是关键所在了，由于read -u1000每次操作，都会导致管道减少一个空行，当linux后台放入了8个任务之后，由于文件描述符1000没有可读取的空行，将导致read -u1000一直处于等待。

如何用shell脚本并行多个命令

去了解下shell的多线程吧
tempfifo="./$$.fifo"
#定义进程数
process_num=3
function trap_exit
{
kill -9 0
}
trap ’trap_exit;exit 2’ 1 2 3 15
mkfifo ${tempfifo}
exec 1000《》${tempfifo}
rm -f ${tempfifo}
for ((i=0;i《=$process_num;i++))
do
echo 》&1000
done
exec 5《${serverlist}

shell脚本

Shell脚本基本知识
概述：shell其实是内核与用户之间的一个接口，
shell脚本
如果有一系列经常使用的linux命令，你可以把它们存储在一个文件肿。shenll可以读取这个文件，并执行其中的命令。这样的文件成为脚本文件。
执行shell脚本
要创建一个shell脚本，你要使用任何器比如vi在文本文件中编写他。
为了使用bashshell赖执行脚本magic，其命令是：bashmagic或者./magic
echo命令：
echo“thisisanexampleoftheechocommand!”
屏幕上就会回显“thisisanexampleoftheechocommand!”
＃符号
用于在shell脚本肿可以包含注解入口
echo“hello”
＃thisisacommentline.thiswouldnotproduceanyoutput!
echo“world!”
第二行是一个注解的例子。它将被shell忽略，而且不产生任何消息
变量：
可以在任何时间通过简单的赋值来创建。
语法：
《variablename》-《value》
Linux中的所有变量都被当作字符串
引用变量：
$符号用于引用一个变量的内容
variable1=${variable2}
读入值给变量
在执行shell脚本时，shell还允许用户直接从键盘读入一个值给变量，还可以使用read命令来作。
$readfname
本地和全局shell变量
局部变量
当引用shell时，只有创建它的shell能够知道变量的存在
全局变量
称为子shell
shell中创建的变量局部于创建它的shell，除非使用export命令特别指出是全局的。
环境变量：
通过改变这些变量的值，用户能够定制此环境
一些环境变量的例子是HOME,PATH,PS1,PS2,LOGNAME,SHLVL,及SHELL
HOME变量
Linux系统中的每个用户都有一个相关的称作HOME的目录
当一个用户登录后，进入相应的HOME的目录
$echo$HOME
PATH变量
包含一列用冒号定界的目录的路径名字，便于可执行程序的搜索。
PS1变量
PS1（PromptString1）变量包含了shell提示符，$符号
$PS1=“HELLO》”
HELLO》
PS2变量
是为第二个提示符设置值的环境变量
LOGNAME变量
包含用户的注册名字
$echo“${LOGNAME}”
SHLVL变量
该变量包含当前工作的shelllevel
SHELL变量
环境变量存储了用户缺省的shell
env命令
可用来查看所有的已移出的环境变量表和它们各自的值！
命令替换
在单个命令行中使用多个命令的另外一种方法（非Pipes）是通过命令替换
echo“thedatais`date`”
expr命令
用于求之算术表达式。该命令的输出被送到标准输出
$expr4+5
将在屏幕上显示9
算术展开：
你可以在$((…))中括一个表达式，用下面的命令来计算它的值；
$((expression))
example1
编写一个shell脚本用于计算呼叫中心未应答的询问的数量。该脚本应该接受一天那所报告的询问的总数和应答的询问的数量，以便计算未应答的询问的数量。
所有未应答的询问总数＝所有询问的总数－应答的询问的数量
《!----》※※※※※※※※※※※※※※※※※※※※※※※
条件执行
test和
求值表达式，并返回true(0)或false()
数值测试：
-eq等于则为真
-ne不等于则为真
-gt大于则为真
-ge大于等于则为真
-lt小于则为真
-le小于等于则为真
if构造
Linuxshell提供了循环和判定的构造，可以在shell脚本中使用
算术测试
结合if构造，它可以用于测试变量的数字值
串测试
test命令也可以用于字符串
=等于则为真
!=不相等则为真
-z字符串长度为零则为真
-n字符串长度不为零则为真
文件测试
test命令也可以用于检查文件的状态
-e文件存在则为真
-r文件存在并且可读则为真
-w文件存在并且可写则为真
-x文件存在并且可执行则为真
-s文件存在并且至少有一个字符则为真
-d文件存在并且为目录则为真
-f文件存在并且为普通文件则为真
-c文件存在并且为字符型文件则为真
-b文件存在并且为块特殊文件则为真
-a并且-o或者!非
exit命令
用于终止shell脚本的执行并返回到$提示符下
case。。。esac
shell脚本中使用的这个构造依据变量的值而执行一组特定指令
当变量的值和其中的一个值匹配的时候，就执行写在该值下的一组命令。
example3
迭代
while构造
while《条件》
do
《命令(s)》
done
只有条件为真的时候，才能执行do与done之间的命令
until构造
until循环构造的求值模式于while循环相反
until循环将继续执行直到求值的条件为真的时候
for构造
forvariable_namein《list_of_values》
do
…
done
for循环取一列值作为输入并对循环中每个值执行循环
break和contineu命令
同其他语言中的用法
example4
控制进程的执行
请求后台处理
用于请求后台进程的符号是(&)
$wctempfile&
2082
$vinewfile
检查后台进程
ps（进程状态）命令为每个当前的活动的每个进程产生一行入口。
终止后台进程
可用kill，如下所示
kill278
查看完成一个命令所花的时间
你可以使用time命令来查看一个命令从开始到结束所花的时间
timefine/etc–name“passwd”2》/dev/null/dev/null表明忽略错误信息。
管道的介绍
垂直条(|)是管道字符
它只是shell：“|”前面命令的输出作为“|”之后命令的输入发送
ls–l|more
用管道组合命令，功能强大

Linux下如何实现shell多线程编程

程序代码test.c共两个线程，一个主线程，一个读缓存区的线程：
#include 《pthread.h》
#include 《stdio.h》
#include 《stdlib.h》
#include 《string.h》
#include 《unistd.h》
char globe_buffer;
void *read_buffer_thread(void *arg); //这里先声明一下读缓存的线程，具体实现写在后面了
int main()
{
int res,i;
pthread_t read_thread;
for(i=0;i《20;i++)
globe_buffer=i;
printf("\nTest thread : write buffer finish\n");
sleep(3);\\这里的3秒是多余，可以不要。
res = pthread_create(&read_thread, NULL, read_buffer_thread, NULL);
if (res != 0)
{
printf("Read Thread creat Error!");
exit(0);
}
sleep(1);
printf("waiting for read thread to finish...\n");
res = pthread_join(read_thread, NULL);
if (res != 0)
{
printf("read thread join failed!\n");
exit(0);
}
printf("read thread test OK, have fun!! exit ByeBye\n");
return 0;
}
void *read_buffer_thread(void *arg)
{
int i,x;
printf("Read buffer thread read data : \n");
for(i=0;i《20;i++)
{
x=globe_buffer;
printf("%d ",x);
globe_buffer=0;//清空
}
printf("\nread over\n");
}
---------------------------------------------------------------------------------
以上程序编译：
gcc -D_REENTRANT test.c -o test.o –lpthread
运行这个程序：
$ ./test.o：

shell中的wait命令及并发的实现{}&

在 shell 中使用 wait 是在等待上一批或上一个脚本执行完（即上一个的进程终止），再执行wait之后的命令。
sleep是使系统休眠一定的时间之后再去执行下面的任务。

wait

如果wait后面不带任何的进程号或作业号，那么wait会直至当前shell中进程的所有子进程都执行结束后，才继续执行下一步。

用{}把循环体括起来，后加一个&符号，代表每次循环都把命令放入后台运行,一旦放入后台，就意味着{}里面的命令交给操作系统的一个线程处理了,循环了1000次，就有1000个&把任务放入后台，操作系统会 并发1000个线程来处理 .

shell多个脚本怎么并发执行

方法如下：
1、每个命令之间用分号隔开，各命令的执行给果，不会影响其它命令的执行，各个命令都会执行，但不保证每个命令都执行成功；
2、每个命令之间用和隔开，若前面的命令执行成功，才会去执行后面的命令。这样可以保证所有的命令执行完毕后，执行过程都是成功的；
3、每个命令之间用或隔开，只有前面的命令执行失败后才去执行下一条命令，直到执行成功一条命令为止。

如何编写shell脚本,改变程序进程数

现在，我们打开文本器(我们也可以使用 vi/vim 命令来创建文件)，新建一个文件 czbk.sh，扩展名为 sh（sh代表shell）：
#!/bin/bash --- 指定脚本解释器
echo "测试shelll !"
//写shell的习惯 第一行指定解释器
//文件是sh为后缀名
//括号成对书写
//注释的时候尽量不用中文注释。不友好。
//
//习惯代码索引，增加阅读性
//写语句的时候，尽量写全了，比如if。。。
注意：
#! 是一个约定的标记，它告诉系统这个脚本需要什么解释器来执行，即使用哪一种 Shell。
echo 命令用于向窗口输出文本。

在Linux系统中使用Shell实现多线程运行任务（多任务并发执行） 2022-05-30

最近，有一批任务需要把两批的fastq合并到一起并压缩成一个fastq文件才能继续往下做，由于存储空间有限又不能直接全部跑上，只能按样本逐个分批跑。众所周知，一般fastq是成对存在的，所需要对read1和read2分别合并一次，然而这次任务的fastq文件比较大，合并然后压缩一次需要1天左右，那对于一组fastq就要2-3天，这也太耗时间了，所以我在想能不能read1和read2 同时跑上，这就可以节省一半的时间了。

平时也能遇到很多类似的任务，特别是在进程数有限的情况下，如果这些小任务单独占用一个进程，而任务很多就很耗时间，如果能在一个进程下实现多个线程并行执行，就能大大提高运行效率。关于进程和线程的知识可以参考知乎的这篇文章【 Shell“ 多线程”，提高工作效率 】，整理的也比较有条理，能比较容易读懂。

当然，某些博主也写过类似的文章，例如这篇【 shell后台限制多并发控制后台任务强度进行文件拷贝 】但是实在是太高深莫测了，看不懂，一时半会儿也学不会。本文将示例Shell实现多线程的简单版本，其实不用太复杂。

其实只需要两个步骤， 第一步是给需要并行运行的命令行在结尾加上"&"，代表放到后台运行，第二步是在在所有并行任务的后面加上一句“wait”，意思是等所有通过“&”放到后台运行的任务跑完后再继续执行后面的任务 ，这些就能实现所有带有“&”的行并行执行了。

看完脚本是不是觉得很简单？

上面的脚本适合并行任务少的，可以手动加&和wait，但是如果有几十个甚至上百个的小任务就比较麻烦了。但不用担心，可以写个循环，批量运行。

循环的结果也是跟上面类似的，只是多了个循环结构。

如果需要执行的任务只有一行，可以把大括号去掉。

关于for和while的循环可以查看之前的文章【 Shell常用循环示例（for和while批量处理）2022-05-25 】

需要注意的是多线程并行还是需要有限制的，毕竟都是在一个进程里运行，如果线程太多了会卡顿的，建议控制在100个以内，当然还有毕竟高级和复杂的方法可以实现限制。因为上面的脚本已经够我用了，没继续往下学，以后可以再补充。