[TOC]
192.168.56.130 - client
192.168.56.131:3128 - proxy
192.168.56.120:8000 - server(nginx)
## 1. 安装配置squid(代理)
### 1.1 安装
~~~
apt-get update
apt-get install -y squid
~~~
### 1.2. 修改配置文件
~~~
mkdir -p /var/log/squid
chown -R proxy.proxy /var/log/squid
mkdir -p /data/squid/cache
chown -R proxy.proxy /data/squid/cache
~~~
~~~
# 设置缓存
cache_mem 1 MB
cache_dir aufs /data/squid/cache 10240 32 128
cache_mgr 931309012@qq.com
# 访问日志
access_log daemon:/var/log/squid3/access.log squid
cache_log /var/log/squid/cache.log
cache_store_log /var/log/squid/store.log
acl inner src 192.168.56.0/24
http_access allow inner
~~~
### 1.3 启动
1. 启动
~~~
service squid3 start
~~~
2. 查看启动是有信息(是否有错误)
~~~
squid3 -k check
~~~
3. 查看配置信息
~~~
squid3 -k parse
~~~
## 2. 客户端设置代理
1. 修改/etc/profile文件
这个文件是每个用户登录时都会运行的环境变量设置,当用户第一次登录时,该文件被执行. 并从/etc/profile.d目录的配置文件中搜集shell的设置。
~~~
vim /etc/profile
~~~
~~~
export http_proxy=192.168.56.131:3128
export https_proxy=$http_proxy
~~~
2. 刷新/etc/profile文件
~~~
source /etc/profile
~~~
## 3. 服务端
服务端就是一个简单的nginx,开启了日志,用于查看客户端ip地址
nginx日志格式
~~~
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
~~~
$remote_addr :远程请求服务器的ip地址
$remote_user : 用于HTTP基础认证服务的用户名
[$time_local] : 时间
$request: 代表客户端的请求地址
$status :HTTP响应码
$body_bytes_sent :传输给客户端的字节数,响应头不计算在内
$http_referer: url跳转来源,用来记录从那个页面链接访问过来的
$http_user_agent:用户终端浏览器等信息
$http_x_forwarded_for: 简称XFF头,它代表客户端,也就是HTTP的请求端真实的IP,只有在通过了HTTP 代理或者负载均衡服务器时才会添加该项
### 查看squid访问日志
![](https://box.kancloud.cn/7b31a751c65dea5aeda5e58b52e68048_1428x168.png)
tail -f /var/log/nginx/logs/access.log
![](https://box.kancloud.cn/7cdc5ebeccc51245a3ee8bdeb1363a66_1257x250.png)
此时,虽然client通过192.168.56.131代理访问nginx,但是client的真正ip:192.168.56.130也是暴露给了nginx。想要‘匿名’的访问nginx,则需要对http_x_forwarded_for进行设置。
~~~
request_header_access X-Forwarded-For deny all
request_header_access user-agent deny all
~~~
重启squid3(去掉缓存后),再次访问nginx
![](https://box.kancloud.cn/b225de97dabf6d0326cf0f85ab1eba19_1329x280.png)
此时隐藏了代理设置的 X-Forwarded-For和UserAgent,防止了客户端ip被暴露。爬虫代理ip也是如此,通过更换代理ip来保护我们真实的ip。
## 4. 缓存
squid会对client的请求进行缓存,对于已经缓存过的请求,代理服务器会直接将本地缓存的结果返回给client,效率大大提升。
### 4.1 client向nginx发起请求
~~~
curl http://192.168.56.120:8000
# 得到以下响应
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
body {
width: 35em;
margin: 0 auto;
font-family: Tahoma, Verdana, Arial, sans-serif;
}
</style>
</head>
<body>
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>
<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>
<p><em>Thank you for using nginx.</em></p>
</body>
</html>
~~~
**nginx日志没有变化 ,说明刚才客户端的请求没有到达nginx,由代理服务器将缓存的index.html返回给了client:**
~~~
tail -f /var/log/nginx/logs/access.log
# 没有变化
~~~
在设置的缓存路径/data/squid/cache/00/00中,多了一个00000000文件,看看这个文件是啥?
![](https://box.kancloud.cn/ea134ef1b4628967dc8af836e3fadfca_571x91.png)
![](https://box.kancloud.cn/9a13f4a11a65a9dc174a230d647a1671_1091x821.png)
对,这就是缓存的nginx首页HTML代码。
- Docker
- 什么是docker
- Docker安装、组件启动
- docker网络
- docker命令
- docker swarm
- dockerfile
- mesos
- 运维
- Linux
- Linux基础
- Linux常用命令_1
- Linux常用命令_2
- ip命令
- 什么是Linux
- SELinux
- Linux GCC编译警告:Clock skew detected. 错误解决办法
- 文件描述符
- find
- 资源统计
- LVM
- Linux相关配置
- 服务自启动
- 服务器安全
- 字符集
- shell脚本
- shell命令
- 实用脚本
- shell 数组
- 循环与判断
- 系统级别进程开启和停止
- 函数
- java调用shell脚本
- 发送邮件
- Linux网络配置
- Ubuntu
- Ubuntu发送邮件
- 更换apt-get源
- centos
- 防火墙
- 虚拟机下配置网络
- yum重新安装
- 安装mysql5.7
- 配置本地yum源
- 安装telnet
- 忘记root密码
- rsync+ crontab
- Zabbix
- Zabbix监控
- Zabbix安装
- 自动报警
- 自动发现主机
- 监控MySQL
- 安装PHP常见错误
- 基于nginx安装zabbix
- 监控Tomcat
- 监控redis
- web监控
- 监控进程和端口号
- zabbix自定义监控
- 触发器函数
- zabbix监控mysql主从同步状态
- Jenkins
- 安装Jenkins
- jenkins+svn+maven
- jenkins执行shell脚本
- 参数化构建
- maven区分环境打包
- jenkins使用注意事项
- nginx
- nginx认证功能
- ubuntu下编译安装Nginx
- 编译安装
- Nginx搭建本地yum源
- 文件共享
- Haproxy
- 初识Haproxy
- haproxy安装
- haproxy配置
- virtualbox
- virtualbox 复制新的虚拟机
- ubuntu下vitrualbox安装redhat
- centos配置双网卡
- 配置存储
- Windows
- Windows安装curl
- VMware vSphere
- 磁盘管理
- 增加磁盘
- gitlab
- 安装
- tomcat
- Squid
- bigdata
- FastDFS
- FastFDS基础
- FastFDS安装及简单实用
- api介绍
- 数据存储
- FastDFS防盗链
- python脚本
- ELK
- logstash
- 安装使用
- kibana
- 安准配置
- elasticsearch
- elasticsearch基础_1
- elasticsearch基础_2
- 安装
- 操作
- java api
- 中文分词器
- term vector
- 并发控制
- 对text字段排序
- 倒排和正排索引
- 自定义分词器
- 自定义dynamic策略
- 进阶练习
- 共享锁和排它锁
- nested object
- 父子关系模型
- 高亮
- 搜索提示
- Redis
- redis部署
- redis基础
- redis运维
- redis-cluster的使用
- redis哨兵
- redis脚本备份还原
- rabbitMQ
- rabbitMQ安装使用
- rpc
- RocketMQ
- 架构概念
- 安装
- 实例
- 好文引用
- 知乎
- ACK
- postgresql
- 存储过程
- 编程语言
- 计算机网络
- 基础_01
- tcp/ip
- http转https
- Let's Encrypt免费ssl证书(基于haproxy负载)
- what's the http?
- 网关
- 网络IO
- http
- 无状态网络协议
- Python
- python基础
- 基础数据类型
- String
- List
- 遍历
- Python基础_01
- python基础_02
- python基础03
- python基础_04
- python基础_05
- 函数
- 网络编程
- 系统编程
- 类
- Python正则表达式
- pymysql
- java调用python脚本
- python操作fastdfs
- 模块导入和sys.path
- 编码
- 安装pip
- python进阶
- python之setup.py构建工具
- 模块动态导入
- 内置函数
- 内置变量
- path
- python模块
- 内置模块_01
- 内置模块_02
- log模块
- collections
- Twisted
- Twisted基础
- 异步编程初探与reactor模式
- yield-inlineCallbacks
- 系统编程
- 爬虫
- urllib
- xpath
- scrapy
- 爬虫基础
- 爬虫种类
- 入门基础
- Rules
- 反反爬虫策略
- 模拟登陆
- problem
- 分布式爬虫
- 快代理整站爬取
- 与es整合
- 爬取APP数据
- 爬虫部署
- collection for ban of web
- crawlstyle
- API
- 多次请求
- 向调度器发送请求
- 源码学习
- LinkExtractor源码分析
- 构建工具-setup.py
- selenium
- 基础01
- 与scrapy整合
- Django
- Django开发入门
- Django与MySQL
- java
- 设计模式
- 单例模式
- 工厂模式
- java基础
- java位移
- java反射
- base64
- java内部类
- java高级
- 多线程
- springmvc-restful
- pfx数字证书
- 生成二维码
- 项目中使用log4j
- 自定义注解
- java发送post请求
- Date时间操作
- spring
- 基础
- spring事务控制
- springMVC
- 注解
- 参数绑定
- springmvc+spring+mybatis+dubbo
- MVC模型
- SpringBoot
- java配置入门
- SpringBoot基础入门
- SpringBoot web
- 整合
- SpringBoot注解
- shiro权限控制
- CommandLineRunner
- mybatis
- 静态资源
- SSM整合
- Aware
- Spring API使用
- Aware接口
- mybatis
- 入门
- mybatis属性自动映射、扫描
- 问题
- @Param 注解在Mybatis中的使用 以及传递参数的三种方式
- mybatis-SQL
- 逆向生成dao、model层代码
- 反向工程中Example的使用
- 自增id回显
- SqlSessionDaoSupport
- invalid bound statement(not found)
- 脉络
- beetl
- beetl是什么
- 与SpringBoot整合
- shiro
- 什么是shiro
- springboot+shrio+mybatis
- 拦截url
- 枚举
- 图片操作
- restful
- java项目中日志处理
- JSON
- 文件工具类
- KeyTool生成证书
- 兼容性问题
- 开发规范
- 工具类开发规范
- 压缩图片
- 异常处理
- web
- JavaScript
- 基础语法
- 创建对象
- BOM
- window对象
- DOM
- 闭包
- form提交-文件上传
- td中内容过长
- 问题1
- js高级
- js文件操作
- 函数_01
- session
- jQuery
- 函数01
- data()
- siblings
- index()与eq()
- select2
- 动态样式
- bootstrap
- 表单验证
- 表格
- MUI
- HTML
- iframe
- label标签
- 规范编程
- layer
- sss
- 微信小程序
- 基础知识
- 实践
- 自定义组件
- 修改自定义组件的样式
- 基础概念
- appid
- 跳转
- 小程序发送ajax
- 微信小程序上下拉刷新
- if
- 工具
- idea
- Git
- maven
- svn
- Netty
- 基础概念
- Handler
- SimpleChannelInboundHandler 与 ChannelInboundHandler
- 网络编程
- 网络I/O
- database
- oracle
- 游标
- PLSQL Developer
- mysql
- MySQL基准测试
- mysql备份
- mysql主从不同步
- mysql安装
- mysql函数大全
- SQL语句
- 修改配置
- 关键字
- 主从搭建
- centos下用rpm包安装mysql
- 常用sql
- information_scheme数据库
- 值得学的博客
- mysql学习
- 运维
- mysql权限
- 配置信息
- 好文mark
- jsp
- jsp EL表达式
- C
- test