linux可以linux多进程通信同时运行吗

君,已阅读到文档的结尾了呢~~
uclinux学习uclinu
扫扫二维码,随身浏览文档
手机或平板扫扫即可继续访问
uclinux学习
举报该文档为侵权文档。
举报该文档含有违规或不良信息。
反馈该文档无法正常浏览。
举报该文档为重复文档。
推荐理由:
将文档分享至:
分享完整地址
文档地址:
粘贴到BBS或博客
flash地址:
支持嵌入FLASH地址的网站使用
html代码:
&embed src='/DocinViewer--144.swf' width='100%' height='600' type=application/x-shockwave-flash ALLOWFULLSCREEN='true' ALLOWSCRIPTACCESS='always'&&/embed&
450px*300px480px*400px650px*490px
支持嵌入HTML代码的网站使用
您的内容已经提交成功
您所提交的内容需要审核后才能发布,请您等待!
3秒自动关闭窗口Linux下Java程序多进程问题? - ITeye问答
我们有一个Java项目是在linux下部署的。
以前都没有发现什么问题,但是最近在某个客户Linux机器(RedHat4企业版)上运行java后出现了大量的java进程现象,而且很快就将内存耗尽了。
查了相关资料,说是Java多线程在Linux环境下会采用多进程处理,但是也不至于每次都启动一个新的java进程吧,而且每次启动一个进程后都要耗掉不少内存。
是不是Linux下需要修改什么配置?
谁能帮忙看下,谢谢~问题补充:有没有什么办法让它不要启动那么多的进程?问题补充:有没有什么办法让它不要启动那么多的进程?问题补充:有没有办法不让它启动那么多的进程,太消耗资源了~问题补充:也查了相关的一些资料。
出现这种问题的资料都是很早以前的,说是跟Linux内核有关系,我查了,客户的Linux是2.6内核的,NPTL版本是2.3.4,照理应该不会有这样的问题。
一楼说我创建了太多的线程,我在Redhat 4上面写了个创建线程的测试代码,Xmx500m的情况下到6000个线程,没有出现上述情况。
真的是很头痛,不知是怎么回事?
现在连是什么问题都没有找到,只是在不停的试,就差换jre和操作系统了~
问题补充:活动线程: 336
守护线程: 60
已启动的线程总数: 626
当前类已装入: 9,007
已装入类的总数: 9,044
已卸载类的总数: 37
当前堆大小: 129,259 Kb
堆大小的最大值: 986,112 Kb
分配的内存: 297,024 Kb
这是用jconsole观察的结果~
线程一直保持在300-400之间~
后台用:ps -ef|grep java
可以查看到有5个相同的进程存在
CPU使用率比较高,保持在50%到90%之间~
初步怀疑可能某个线程占用率很高或者请求阻塞了~
线程列表里面看到有大量线程是http的~
但是300-400的线程也不多吧~
问题补充:问题似乎已经找到了,还要在观察一下~
初步估计是:Redhat 4与JRE1.6版本不兼容造成的,改用低版本的JRE1.5就OK了。
真是比较郁闷,查了很久~
谢谢各位的帮助~
采纳的答案
你用JCONSOLE连接用户的机器看看, 总共有几个线程了。
所以linux下没有真正意义上线程程的概念,表述不准确,呵呵
恩,我的表述不完全,我是想说,linux下线程概念和windows不太一样,linux下线程和进程是被cpu同等调用的,而windows下是线程是进程的一个子范畴,所以linux下没有真正意义上进程的概念,只是实现了共享,用起来都一样,和windows没区别。
楼上的, thread怎么就成windows才有了? 神奇了。
POSIX标准你看看什么时候出来的。
linux下只有进程的概念,windows才有线程,很多java进程,很正常。估计确实是你程序写的有问题,查查吧。
不知道是什么样的应用. 有这么神奇的效果?
有些平台下JAVA 采用的是多进程多线程的机制。如果你从创建了太多的线程, 就会有很多的进程。 那么可能你的应用是有线程泄露造成的的。&
已解决问题
未解决问题supplierchannel[Linux]Linux Shell多进程并发以及并发数控制 - CSDN博客
[Linux]Linux Shell多进程并发以及并发数控制
1. 基础知识准备
1.1. linux后台进程
Unix是一个多任务系统,允许多用户同时运行多个程序。shell的元字符&提供了在后台运行不需要键盘输入的程序的方法。输入命令后,其后紧跟&字符,该命令就会被送往到linux后台执行,而终端又可以继续输入下一个命令了。
这三个命令就会被同时送往linux后台执行,在这个程度上,认为这三个命令并发执行了。
1.2. linux文件描述符
文件描述符(缩写fd)在形式上是一个非负整数。实际上,它是一个索引值,指向内核为每一个进程所维护的该进程打开文件的记录表。当程序打开一个现有文件或者创建一个新文件时,内核向进程返回一个文件描述符。每一个unix进程,都会拥有三个标准的文件描述符,来对应三种不同的流:
文件描述符
Standard Input
Standard Output
Standard Error
每一个文件描述符会对应一个打开文件,同时,不同的文件描述符也可以对应同一个打开文件;同一个文件可以被不同的进程打开,也可以被同一个进程多次打开。
在/proc/PID/fd中,列举了进程PID所拥有的文件描述符,例如
#!/bin/bash
source /etc/
ll /proc/$PID/fd
echo "-------------------";echo
( [ -e ./tempfd1 ] || touch ./tempfd1 ) && exec 1&&./tempfd1
ll /proc/$PID/fd
echo "-------------------";echo;
[ouyangyewei@localhost learn_linux]$ sh learn_redirect.sh
lrwx------. 1 ouyangyewei ouyangyewei 64 Jan
4 22:17 0 -& /dev/pts/0
lrwx------. 1 ouyangyewei ouyangyewei 64 Jan
4 22:17 1 -& /dev/pts/0
lrwx------. 1 ouyangyewei ouyangyewei 64 Jan
4 22:17 2 -& /dev/pts/0
lr-x------. 1 ouyangyewei ouyangyewei 64 Jan
4 22:17 255 -& /home/ouyangyewei/workspace/learn_linux/learn_redirect.sh
-------------------
[ouyangyewei@localhost learn_linux]$ cat tempfd1
lrwx------. 1 ouyangyewei ouyangyewei 64 Jan
4 22:17 0 -& /dev/pts/0
lrwx------. 1 ouyangyewei ouyangyewei 64 Jan
4 22:17 1 -& /home/ouyangyewei/workspace/learn_linux/tempfd1
lrwx------. 1 ouyangyewei ouyangyewei 64 Jan
4 22:17 2 -& /dev/pts/0
lr-x------. 1 ouyangyewei ouyangyewei 64 Jan
4 22:17 255 -& /home/ouyangyewei/workspace/learn_linux/learn_redirect.sh
-------------------
上述的例子中第12行,将文件描述符1与文件tempfile进行了绑定,此后,文件描述符1指向了tempfile文件,标准输出被重定向到了文件tempfile中。
1.3. linux管道
在Unix或类Unix操作系统中,管道是一个由标准输入输出链接起来的进程集合,因此,每一个进程的输出将直接作为下一个进程的输入,
linux管道包含两种:
管道有一个特点,如果管道中没有数据,那么取管道数据的操作就会滞留,直到管道内进入数据,然后读出后才会终止这一操作;同理,写入管道的操作如果没有读取管道的操作,这一动作就会滞留。
1.3.1. 匿名管道
在Unix或类Unix操作系统的命令行中,匿名管道使用ASCII中垂直线|作为匿名管道符,匿名管道的两端是两个普通的,匿名的,打开的文件描述符:一个只读端和一个只写端,这就让其它进程无法连接到该匿名管道。
cat file | less
为了执行上面的指令,Shell创建了两个进程来分别执行cat和less。下图展示了这两个进程是如何使用管道的:
有一点值得注意的是两个进程都连接到了管道上,这样写入进程cat就将其标准输出(文件描述符为fd 1)连接到了管道的写入端,读取进程less就将其标准输入(文件描述符为fd 0)连接到了管道的读入端。实际上,这两个进程并不知道管道的存在,它们只是从标准文件描述符中读取数据和写入数据。shell必须要完成相关的工作。
1.3.2. 命名管道(FIFO,First In First Out)
命名管道也称FIFO,从语义上来讲,FIFO其实与匿名管道类似,但值得注意:
在文件系统中,FIFO拥有名称,并且是以设备特俗文件的形式存在的;
任何进程都可以通过FIFO共享数据;
除非FIFO两端同时有读与写的进程,否则FIFO的数据流通将会阻塞;
匿名管道是由shell自动创建的,存在于内核中;而FIFO则是由程序创建的(比如mkfifo命令),存在于文件系统中;
匿名管道是单向的字节流,而FIFO则是双向的字节流;
比如,可以利用FIFO实现单服务器、多客户端的应用程序:
有了上面的知识准备,现在可以开始讲述,linux多进程并发时,如何控制每次并发的进程数。
2. linux多进程并发数控制
最近小A需要生产2015年全年的KPI数据报表,现在小A已经将生产脚本写好了,生产脚本一次只能生产指定一天的KPI数据,假设跑一次生产脚本需要5分钟,那么:
* 如果是循环顺序执行,那么需要时间:5 * 365 = 1825 分钟,约等于 6 天
* 如果是一次性放到linux后台并发执行,365个后台任务,系统可承受不住哦!
既然不能一次性把365个任务放到linux后台执行,那么,能不能实现自动地每次将N个任务放到后台并发执行呢?当然是可以的啦。
#! /bin/bash
source /etc/
tempfifo=$$.fifo
begin_date=$1
end_date=$2
if [ $# -eq 2 ]
if [ "$begin_date" \& "$end_date" ]
echo "Error! $begin_date is greater than $end_date"
echo "Error! Not enough params."
echo "Sample: sh loop_kpi
trap "exec 1000&&-;exec 1000&&-;exit 0" 2
mkfifo $tempfifo
exec 1000&&$tempfifo
rm -rf $tempfifo
for ((i=1; i&=8; i++))
echo &&1000
while [ $begin_date != $end_date ]
read -u1000
echo $begin_date
hive -f kpi_report.sql --hivevar date=$begin_date
echo &&1000
begin_date=`date -d "+1 day $begin_date" +"%Y-%m-%d"`
echo "done!!!!!!!!!!"
第6~22行:比如:sh loop_kpi_report.sh
$1表示脚本入参的第一个参数,等于
$2表示脚本入参的第二个参数,等于
$#表示脚本入参的个数,等于2
第13行用于比较传入的两个日期的大小,\&是转义
第26行:表示在脚本运行过程中,如果接收到Ctrl+C中断命令,则关闭文件描述符1000的读写,并正常退出
exec 1000&&-;表示关闭文件描述符1000的写
exec 1000&&-;表示关闭文件描述符1000的读
trap是捕获中断命令
第27~29行:
第27行,创建一个管道文件
第28行,将文件描述符1000与FIFO进行绑定,&读的绑定,&写的绑定,&&则标识对文件描述符1000的所有操作等同于对管道文件$tempfifo的操作
第29行,可能会有这样的疑问:为什么不直接使用管道文件呢?事实上这并非多此一举,管道的一个重要特性,就是读写必须同时存在,缺失某一个操作,另一个操作就是滞留,而第28行的绑定文件描述符(读、写绑定)正好解决了这个问题
第31~34行:对文件描述符1000进行写入操作。通过循环写入8个空行,这个8就是我们要定义的后台并发的线程数。为什么是写空行而不是写其它字符?因为管道文件的读取,是以行为单位的
第37~42行:
第37行,read -u1000的作用就是读取管道中的一行,在这里就是读取一个空行;每次读取管道就会减少一个空行
第39~41行,注意到第42行结尾的&吗?它表示进程放到linux后台中执行
第41行,执行完后台任务之后,往文件描述符1000中写入一个空行。这是关键所在了,由于read -u1000每次操作,都会导致管道减少一个空行,当linux后台放入了8个任务之后,由于文件描述符1000没有可读取的空行,将导致read -u1000一直处于等待。
3. 参考资料
Unix Power Tools
UNIX系统编程手册
UNIX管道:
本文已收录于以下专栏:
相关文章推荐
Linux是一个多用户多任务的操作系统。多用户是指多个用户可以在同一时间使用计算机系统;多任务是指Linux可以同时执行几个任务,它可以在还未执行完一个任务时又执行另一项任务。
   操作系统管理多个...
Shell脚本中的并发(1)
上篇主要是写的如何在Shell脚本中编写并发程序,这次写一下如何控制进程的数量。
在网上参考了一下别人的方法,主要都是利用管道的思想。
参考如下程序...
命名管道概述
如果我们要在不相关的进程间交换数据,那么使用FIFO文件将会十分方便。
FIFO文件通常也称为命名管道(named pipe)。命名管道是一种特殊类型的文件,它在文件系统中以文件...
主要记录一下Shell脚本中的命令的并发和串行执行。
默认的情况下,Shell脚本中的命令是串行执行的,必须等到前一条命令执行完后才执行接下来的命令,但是如果我有一大批的的命令需要执行,而且互相又没有...
Thrift是一个跨语言的服务部署框架,最初由facebook开发用做系统内各语言之间的RPC(Remote Procedure Call Protocol,远程过程调用协议通信),...
linux上进程有5种状态:1. 运行(正在运行或在运行队列中等待)2. 中断(休眠中, 受阻, 在等待某个条件的形成或接受到信号)3. 不可中断(收到信号不唤醒和不可运行, 进程必须等待直到有中断发...
实现一个shell进程库,通过类似于init,run,wait几个简单的命令,就可以迅速实现多进程并发,伪码如下:
process_init # 创建进程for city i...
目前我掌握的基本语言,php(最为熟悉,项目里代码都是用其实现),bash shell(运维利器),c(acm专用),这里面能实现多线程的貌似只有c,但是我c只是用来学习和实现算法和数据结构,...
最近天天写SHELL,写到想吐,没有系统学习SHELL,写的时候出现很多问题,觉得挺吃力的!
特别是关于时间的,之前接了一个需求,获取某天的上一周的星期一和最后一天星期日的日期
网上找了很久都...
最基本的并发执行,放在后台并发执行a、b,c、dshell A&
shell D&#!/bin/bash
#创建管道文件,文件操作符绑定,删除管道文件
他的最新文章
讲师:何宇健
讲师:董岩
您举报文章:
举报原因:
原文地址:
原因补充:
(最多只允许输入30个字)

我要回帖

更多关于 linux 多进程 多线程 的文章

 

随机推荐