1. Runtime.getRuntime().exec(cmd)
> 1. 这个方法执行外部命令,会生成一个新的进程去运行调用的程序,并返回一个java.lang.Process对象,该对象可以得到之前开启的进程的运行结果,还可以操作进程的输入输出流。
> 2. 注意在被调用脚本中,其中的一些路径问题,有的时候在脚本的环境中,配置的路径执行可能没问题,在调用时某些配置文件不写全路径可能出现问题
~~~
package JPythons;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
/**
* Created by dailin on 2017/11/6.
*/
public class JavaCallPython {
/**
*
* @param file 脚本路径
* @param param 调用脚本函数
* @throws IOException
*/
public void callPython(String file,String param) throws IOException {
String cmd = "python " + file + " " + param;
Process proc=Runtime.getRuntime().exec(cmd); //执行py文件
InputStreamReader stdin=new InputStreamReader(proc.getInputStream(),"GBK");
BufferedReader input = new BufferedReader(stdin);
String line = null;
while((line=input.readLine())!=null ){
System.out.println(line);//得到输出
}
}
}
~~~
2. Process对象有以下几个方法:
> 1. destroy() 杀死这个子进程
> 2. exitValue() 得到进程运行结束后的返回状态
> 3. waitFor() 得到进程运行结束后的返回状态,如果进程未运行完毕则等待知道执行完毕
> 4. getInputStream() 得到进程的标准输出信息流
> 5. getErrorStream() 得到进程的错误输出信息流
> 6. getOutputStream() 得到进程的输入流
> 现在来讲讲exitValue(),当线程没有执行完毕时调用此方法会跑出IllegalThreadStateException异常,最直接的解决方法就是用waitFor()方法代替。
> 但是waitFor()方法也有很明显的弊端,因为java程序给进程的输出流分配的缓冲区是很小的,有时候当进程输出信息很大的时候回导致缓冲区被填满,如果不及时处理程序会阻塞。如果程序没有对进程的输出流处理的会就会导致执行exec()的线程永远阻塞,进程也不会执行下去直到输出流被处理或者java程序结束。
> 解决的方法就是处理缓冲区中的信息,开两个线程分别去处理标准输出流和错误输出流。
public class ExecTest {
public static void main(String[] args) throws IOException, InterruptedException {
String cmd = "cmd /c dir c:\\windows";
final Process process = Runtime.getRuntime().exec(cmd);
printMessage(process.getInputStream());
printMessage(process.getErrorStream());
int value = process.waitFor();
System.out.println(value);
}
private static void printMessage(final InputStream input) {
new Thread(new Runnable() {
public void run() {
Reader reader = new InputStreamReader(input);
BufferedReader bf = new BufferedReader(reader);
String line = null;
try {
while((line=bf.readLine())!=null) {
System.out.println(line);
}
} catch (IOException e) {
e.printStackTrace();
}
}
}).start();
}
}
> 如上程序,读取进程的输出信息并打印到控制台就不会发生阻塞,程序能正常的结束。cmd命令不能需要加上cmd /c才能执行,不然java会去path中找dir.exe.在windows一般字符集编码为GBK,需要在转换成Reader的时候指定为GBK编码.
2. python脚本
~~~
#coding=utf-8
import redis
import re
from config import *
from fdfs_client.client import *
import pymysql
import traceback
# 先把fastdfs导入到本地文件列表
def allFiles():
path = FDFS_STOREPATH
rounds = 1
fdfspath = 'group1/M00'
with open(LOCAL_FILE,'w') as file_url:
for dirpath, dirnames, filenames in os.walk(path):
if rounds == 1:
rounds+=1
elif (dirpath == path + '/sync'):
continue
else:
for file in filenames:
try:
paths = re.search(REGEX,dirpath).group(1)
fullpath = os.path.join(fdfspath + paths, file)
print(fullpath)
file_url.write(fullpath + '\n')
except:
pass
rounds+=1
file_url.close()
# 把本地文件导入到Redis
def toRedis():
redis_client = getRedisClient()
with open(LOCAL_FILE, 'r') as logfile:
for line in logfile:
print(line)
redis_client.sadd(FDFS_REDIS_KEY,line.replace('\n', ''))
logfile.close()
# 直接把fastdfs数据导入到Redis
def allFilesToRedis():
redis_client = getRedisClient()
path = FDFS_STOREPATH
rounds = 1
fdfspath = 'group1/M00'
for dirpath, dirnames, filenames in os.walk(path):
if rounds == 1:
rounds += 1
elif (dirpath == path + '/sync'):
continue
else:
for file in filenames:
try:
paths = re.search(REGEX, dirpath).group(1)
fullpath = os.path.join(fdfspath + paths, file)
print(fullpath)
redis_client.sadd(FDFS_REDIS_KEY,fullpath)
except:
pass
rounds += 1
# 求交集,并保存为一个set
def intersection():
print('==========求交集==========')
redis_client = getRedisClient()
redis_client.sinterstore(SINTER_KEY,FDFS_REDIS_KEY,MYSQL_REDIS_KEY)
# 求差集,并保存为一个set
def difference():
redis_client = getRedisClient()
redis_client.sdiffstore(DIFF_KEY,FDFS_REDIS_KEY,MYSQL_REDIS_KEY)
def getRedisClient():
return redis.StrictRedis(host=REDIS_HOST, port=REDIS_PORT,password=REDIS_PASSWORD)
# 从Redis中查询差集,并在fastdfs中删除文件
def deleteFdfs():
redis_client = getRedisClient()
print('删除%s'%DIFF_KEY)
results = redis_client.smembers(DIFF_KEY)
fdfs_client = Fdfs_client(FDFS_CLIENT_CONF)
print('1')
for file in results:
print('2')
file_str = file.decode()
print(file_str)
fdfs_client.delete_file(file_str)
def info():
client = getRedisClient()
mysql_num = client.scard(MYSQL_REDIS_KEY)
fdfs_num = client.scard(FDFS_REDIS_KEY)
sinter_num = client.scard(SINTER_KEY)
diff_num = client.scard(DIFF_KEY)
print("mysql中图片:%d" %mysql_num)
print("fastdfs中图片:%d" %fdfs_num)
print("mysql与fastdfs交集中图片:%d" %sinter_num)
print("mysql与fastdfs差集图片:%d" %diff_num)
def mysqlToRedis():
db = pymysql.connect(MYSQL_HOST,MYSQL_USER,MYSQL_PASSWORD,MYSQL_DB)
cursor = db.cursor()
sql = ('select * from %s' %MYSQL_VIEW)
redis_client = getRedisClient()
try:
cursor.execute(sql)
results = cursor.fetchall()
for row in results:
url = row[0]
if (len(url)!=0):
print(url)
redis_client.sadd(MYSQL_REDIS_KEY,url)
except :
traceback.print_exc()
db.close()
# if __name__ == '__main__':
# if(sys.argv[1] == 'filetolocal'):
# allFiles()
# elif(sys.argv[1] == 'fdfs-toredis'):
# allFilesToRedis()
# elif(sys.argv[1] == 'sinter'):
# intersection()
# elif(sys.argv[1] == 'delete'):
# deleteFdfs()
# elif(sys.argv[1] == 'info'):
# info()
# elif(sys.argv[1] == 'diff'):
# difference()
# elif (sys.argv[1] == 'mysql-redis'):
# mysqlToRedis()
# else:
# print("USAGE:filetolocal|fdfs-redis|sinter|diff|delete|mysql-redis|info")
def main():
if (sys.argv[1] == 'filetolocal'):
allFiles()
elif (sys.argv[1] == 'fdfs-toredis'):
allFilesToRedis()
elif (sys.argv[1] == 'sinter'):
intersection()
elif (sys.argv[1] == 'delete'):
deleteFdfs()
elif (sys.argv[1] == 'info'):
info()
elif (sys.argv[1] == 'diff'):
difference()
elif (sys.argv[1] == 'mysql-redis'):
mysqlToRedis()
else:
print("USAGE:filetolocal|fdfs-redis|sinter|diff|delete|mysql-redis|info")
main()
~~~
- Docker
- 什么是docker
- Docker安装、组件启动
- docker网络
- docker命令
- docker swarm
- dockerfile
- mesos
- 运维
- Linux
- Linux基础
- Linux常用命令_1
- Linux常用命令_2
- ip命令
- 什么是Linux
- SELinux
- Linux GCC编译警告:Clock skew detected. 错误解决办法
- 文件描述符
- find
- 资源统计
- LVM
- Linux相关配置
- 服务自启动
- 服务器安全
- 字符集
- shell脚本
- shell命令
- 实用脚本
- shell 数组
- 循环与判断
- 系统级别进程开启和停止
- 函数
- java调用shell脚本
- 发送邮件
- Linux网络配置
- Ubuntu
- Ubuntu发送邮件
- 更换apt-get源
- centos
- 防火墙
- 虚拟机下配置网络
- yum重新安装
- 安装mysql5.7
- 配置本地yum源
- 安装telnet
- 忘记root密码
- rsync+ crontab
- Zabbix
- Zabbix监控
- Zabbix安装
- 自动报警
- 自动发现主机
- 监控MySQL
- 安装PHP常见错误
- 基于nginx安装zabbix
- 监控Tomcat
- 监控redis
- web监控
- 监控进程和端口号
- zabbix自定义监控
- 触发器函数
- zabbix监控mysql主从同步状态
- Jenkins
- 安装Jenkins
- jenkins+svn+maven
- jenkins执行shell脚本
- 参数化构建
- maven区分环境打包
- jenkins使用注意事项
- nginx
- nginx认证功能
- ubuntu下编译安装Nginx
- 编译安装
- Nginx搭建本地yum源
- 文件共享
- Haproxy
- 初识Haproxy
- haproxy安装
- haproxy配置
- virtualbox
- virtualbox 复制新的虚拟机
- ubuntu下vitrualbox安装redhat
- centos配置双网卡
- 配置存储
- Windows
- Windows安装curl
- VMware vSphere
- 磁盘管理
- 增加磁盘
- gitlab
- 安装
- tomcat
- Squid
- bigdata
- FastDFS
- FastFDS基础
- FastFDS安装及简单实用
- api介绍
- 数据存储
- FastDFS防盗链
- python脚本
- ELK
- logstash
- 安装使用
- kibana
- 安准配置
- elasticsearch
- elasticsearch基础_1
- elasticsearch基础_2
- 安装
- 操作
- java api
- 中文分词器
- term vector
- 并发控制
- 对text字段排序
- 倒排和正排索引
- 自定义分词器
- 自定义dynamic策略
- 进阶练习
- 共享锁和排它锁
- nested object
- 父子关系模型
- 高亮
- 搜索提示
- Redis
- redis部署
- redis基础
- redis运维
- redis-cluster的使用
- redis哨兵
- redis脚本备份还原
- rabbitMQ
- rabbitMQ安装使用
- rpc
- RocketMQ
- 架构概念
- 安装
- 实例
- 好文引用
- 知乎
- ACK
- postgresql
- 存储过程
- 编程语言
- 计算机网络
- 基础_01
- tcp/ip
- http转https
- Let's Encrypt免费ssl证书(基于haproxy负载)
- what's the http?
- 网关
- 网络IO
- http
- 无状态网络协议
- Python
- python基础
- 基础数据类型
- String
- List
- 遍历
- Python基础_01
- python基础_02
- python基础03
- python基础_04
- python基础_05
- 函数
- 网络编程
- 系统编程
- 类
- Python正则表达式
- pymysql
- java调用python脚本
- python操作fastdfs
- 模块导入和sys.path
- 编码
- 安装pip
- python进阶
- python之setup.py构建工具
- 模块动态导入
- 内置函数
- 内置变量
- path
- python模块
- 内置模块_01
- 内置模块_02
- log模块
- collections
- Twisted
- Twisted基础
- 异步编程初探与reactor模式
- yield-inlineCallbacks
- 系统编程
- 爬虫
- urllib
- xpath
- scrapy
- 爬虫基础
- 爬虫种类
- 入门基础
- Rules
- 反反爬虫策略
- 模拟登陆
- problem
- 分布式爬虫
- 快代理整站爬取
- 与es整合
- 爬取APP数据
- 爬虫部署
- collection for ban of web
- crawlstyle
- API
- 多次请求
- 向调度器发送请求
- 源码学习
- LinkExtractor源码分析
- 构建工具-setup.py
- selenium
- 基础01
- 与scrapy整合
- Django
- Django开发入门
- Django与MySQL
- java
- 设计模式
- 单例模式
- 工厂模式
- java基础
- java位移
- java反射
- base64
- java内部类
- java高级
- 多线程
- springmvc-restful
- pfx数字证书
- 生成二维码
- 项目中使用log4j
- 自定义注解
- java发送post请求
- Date时间操作
- spring
- 基础
- spring事务控制
- springMVC
- 注解
- 参数绑定
- springmvc+spring+mybatis+dubbo
- MVC模型
- SpringBoot
- java配置入门
- SpringBoot基础入门
- SpringBoot web
- 整合
- SpringBoot注解
- shiro权限控制
- CommandLineRunner
- mybatis
- 静态资源
- SSM整合
- Aware
- Spring API使用
- Aware接口
- mybatis
- 入门
- mybatis属性自动映射、扫描
- 问题
- @Param 注解在Mybatis中的使用 以及传递参数的三种方式
- mybatis-SQL
- 逆向生成dao、model层代码
- 反向工程中Example的使用
- 自增id回显
- SqlSessionDaoSupport
- invalid bound statement(not found)
- 脉络
- beetl
- beetl是什么
- 与SpringBoot整合
- shiro
- 什么是shiro
- springboot+shrio+mybatis
- 拦截url
- 枚举
- 图片操作
- restful
- java项目中日志处理
- JSON
- 文件工具类
- KeyTool生成证书
- 兼容性问题
- 开发规范
- 工具类开发规范
- 压缩图片
- 异常处理
- web
- JavaScript
- 基础语法
- 创建对象
- BOM
- window对象
- DOM
- 闭包
- form提交-文件上传
- td中内容过长
- 问题1
- js高级
- js文件操作
- 函数_01
- session
- jQuery
- 函数01
- data()
- siblings
- index()与eq()
- select2
- 动态样式
- bootstrap
- 表单验证
- 表格
- MUI
- HTML
- iframe
- label标签
- 规范编程
- layer
- sss
- 微信小程序
- 基础知识
- 实践
- 自定义组件
- 修改自定义组件的样式
- 基础概念
- appid
- 跳转
- 小程序发送ajax
- 微信小程序上下拉刷新
- if
- 工具
- idea
- Git
- maven
- svn
- Netty
- 基础概念
- Handler
- SimpleChannelInboundHandler 与 ChannelInboundHandler
- 网络编程
- 网络I/O
- database
- oracle
- 游标
- PLSQL Developer
- mysql
- MySQL基准测试
- mysql备份
- mysql主从不同步
- mysql安装
- mysql函数大全
- SQL语句
- 修改配置
- 关键字
- 主从搭建
- centos下用rpm包安装mysql
- 常用sql
- information_scheme数据库
- 值得学的博客
- mysql学习
- 运维
- mysql权限
- 配置信息
- 好文mark
- jsp
- jsp EL表达式
- C
- test