#### 百度地图获取-全国数据(名称,地址,电话)
通过调用百度地图,抓取全国某个地方的数据,如餐厅,车管所
#### 1.在百度地图开放api上注册一个帐号
并创建应用,获取一个调用密钥,一般密钥每天都有调用限制,有时需要好几天才能处理完一份数据
具体参考:
http://lbsyun.baidu.com/index.php?title=webapi/guide/webservice-placeapi
#### 2.需要自己有全国城市的数据,获取到百度地图去获取
接下来,在我的城市表里增加两个字段,isdeal:表示该城市是否处理完,dealpage:表示当前城市获取到第几页,默认从0开始,然后不断遍历城市获取数据,当处理完成或者处理不了把isdeal=1,处理完一页之后,dealpage+1.
Php案例代码:
~~~
/**
* 爬虫 -》车管所 -》交警大队
*/
public function curl()
{
/**
* 1.先获取城市
*/
$cityService = service('City');
$officeService = service('BtrOffice');
//获取一个未处理城市
$city = $cityService->where(['isdeal' => 0])->order('id asc')->find();
if (!$city) {
return success("数据已经处理完成!");
}
$parameter = [
'query' => '车管所',//要查询的地方,如餐厅
'page_size' => 20,//每页大小,最多20
'page_num' => $city['dealpage'],
'scope' => 1,//1 或空,则返回基本信息
'region' => $city['name'],//城市名称或百度地图城市代码
'output' => 'json',//返回格式
'ak'=>'c6hlXlNBKnVYMQVEIeX0MW7BRGPcGU17'//应用密钥,有限制
// 'ak' => '4oyItR1wqUfit5q4lGNO3kd5roGmmccy'
];
$url = 'http://api.map.baidu.com/place/v2/search?' . http_build_query($parameter);//拼接参数
$result = json_decode(http_request($url), true);
if ($result['status'] != 0) {//返回错误结果
return error($result['message']);
}
if (isset($result['results'])) {
$content = $result['results'];
if (count($content) <= 0) {//过滤数据
$city['isdeal'] = 1;
$res = $cityService->update($city);
if ($res) {
log_debug("获取车管所", $city['name'] . '处理完成');
return success("{$city['name']}-城市处理完成");
} else {
log_debug("获取车管所", $city['name'] . '处理完成异常');
return error("{$city['name']}处理完成异常");
}
}
/**
* 保存数据
*/
foreach ($content as $item) {
//省份数据
//数据有设置
if (isset($item['num'])&&$item['num']>=0) {//过滤数据
$city['isdeal'] = 1;
$res = $cityService->update($city);
if ($res) {
log_debug("获取车管所", $city['name'] . '处理完成');
return success("{$city['name']}-城市处理完成");
} else {
log_debug("获取车管所", $city['name'] . '处理完成异常');
return error("{$city['name']}处理完成异常");
}
}
//保存数据进库
$office['type'] = 1;//车管所
$office['city_id'] = $city['id'];
if (isset($item['name']))
$office['name'] = $item['name'];
else {
continue;
}
if (isset($item['telephone']))
$office['phone'] = $item['telephone'];
//组装地址
if (isset($item['address']))
$office['address'] = $item['address'];
if (isset($item['location']['lat']))
$office['lat'] = $item['location']['lat'];
if (isset($item['location']['lng']))
$office['lng'] = $item['location']['lng'];
$res = $officeService->add($office);
if (!$res) {
log_debug("车管所数据", "添加失败");
}
}
//处理下一页
$city['dealpage'] = $city['dealpage'] + 1;
$res = $cityService->update($city);
if (!$res) {
log_debug("车管所数据", "处理下一页失败");
return error($city['name'] . ":处理一页失败");
} else {
return success($city['name'] . ":处理一页");
}
} else {
$city['isdeal'] = 1;
$res = $cityService->update($city);
if ($res) {
log_debug("获取车管所", $city['name'] . '处理完成');
return success("{$city['name']}-城市处理完成");
} else {
log_debug("获取车管所", $city['name'] . '处理完成异常');
return error("{$city['name']}处理完成异常");
}
}
}
~~~
结果预览:
![](https://box.kancloud.cn/668912898856b8fae501344822e52d6b_906x599.png)
- 我的笔记
- 服务器
- ubuntu svn 环境的搭建
- ubuntu Memcache 的配置
- ubuntu 密钥登录服务器
- centos 搭建服务器环境
- nginx+tomcat 集群搭建
- 餐厅运营来看如何构建高性能服务器
- VMware-Centos-网络配置
- Ubuntu-PHP-Apache-Mysql-PhpMyadmin的搭建
- UbuntuApache配置日志
- linux获取当前执行脚本的目录
- Ubuntu svn的快速配置(原创)
- Https配置
- Mysql 不支持远程连接解决方案
- ubuntu+apache+rewrite
- php Mcrypt 扩展
- 重启Apache出现警告信息Could not reliably determine the server's fully qualified domain name,
- Mysql无法远程连接
- 定时任务设置
- Linux中Cache内存占用过高解决办法
- Ubuntu14-04安装redis和php5-redis扩展
- php
- thinkphp3.2 一站多城市配置
- PHP 安全编程建议(转)
- phpexcel导入时间处理
- Mysql按时,天,月,年统计数据
- PHP-支付宝-APP支付
- 百度爬虫-获取全国数据
- PHPEXCEL导入导出excel文件
- php-微信app支付后端设计
- Phpqrcode生成二维码
- 图片+文字水印
- 数据库优化
- java
- Mybatis 二级缓存
- 微信
- 微信公众号多域名授权
- 微信扫码支付
- web
- 网站性能优化方案实施
- ionic环境搭建
- 登录设计方案
- 设置dev元素的宽高比例
- 设计模式
- app
- 版本更新
- 微擎数据库操作扩展
- select
- find
- delete
- update
- insert
- where
- order
- page
- group
- having
- limit
- fields
- debug
- bind
- join
- alias
- query
- 聚合函数
- count
- sum
- max
- min
- avg
- 事务管理
- 自增自减
- 算法设计
- ACM:入口的选择------深度优先搜索
- java:N的N次方
- 最少拦截系统:贪心思想
- ACM:蚕宝宝:搜索
- ACM:n!的位数 :斯特林公式
- 神奇的异或
- 中国剩余定理
- 矩阵翻硬币
- 回溯法
- ACM程序设计网站集锦
- 博弈论
- 多维空间上的搜索算法
- 算法学习笔记之一(排序)
- 算法学习笔记之二(堆排序)
- 算法学习笔记之三(快速排序)
- ACM俱乐部密码
- 原创开源
- 个人感悟