>[info]场景:爬虫爬完取数据
下载地址:https://github.com/samacs/simple_html_dom
[toc]
解析器不仅仅只是帮助我们验证html文档;
更能解析不符合W3C标准的html文档。
它使用了类似jQuery的元素选择器,通过元素的id,class,tag等等来查找定位;同时还提供添加、删除、修改文档树的功能。当然,这样一款强大的html Dom解析器也不是尽善尽美;在使用的过程中需要十分小心内存消耗的情况。不过,不要担心;最后会为各位介绍如何避免消耗过多的内存。
## :-: **开始使用**
上传类文件以后,有三种方式调用这个类:
从url中加载html文档
从字符串中加载html文档
从文件中加载html文档
~~~
<?php
// 新建一个Dom实例
$html = new simple_html_dom();
// 从url中加载
$html->load_file('http://www.jb51.net');
// 从字符串中加载
$html->load('<html><body>从字符串中加载html文档演示</body></html>');
//从文件中加载
$html->load_file('path/file/test.html');
?>
~~~
如果从字符串加载html文档,需要先从网络上下载。建议使用CURL来抓取html文档并加载DOM中。
PHP Simple HTML DOM Parser提供了3种方式来创建DOM对象 :
~~~
// Create a DOM object from a string
$html = str_get_html('<html><body>Hello!</body></html>');
// Create a DOM object from a URL
$html = file_get_html('http://www.google.com/');
// Create a DOM object from a HTML file
$html = file_get_html('test.htm');
~~~
## :-: **查找html元素**
可以使用find函数来查找html文档中的元素。返回的结果是一个包含了对象的数组。我们使用HTML DOM解析类中的函数来访问这些对象,下面给出几个示例
~~~
<?php
//查找html文档中的超链接元素
$a = $html->find('a');
//查找文档中第(N)个超链接,如果没有找到则返回空数组.
$a = $html->find('a', 0);
// 查找id为main的div元素
$main = $html->find('div[id=main]',0);
// 查找所有包含有id属性的div元素
$divs = $html->find('div[id]');
// 查找所有包含有id属性的元素
$divs = $html->find('[id]');
?>
~~~
还可以使用类似jQuery的选择器来查找定位元素:
~~~
<?php
// 查找id='#container'的元素
$ret = $html->find('#container');
// 找到所有class=foo的元素
$ret = $html->find('.foo');
// 查找多个html标签
$ret = $html->find('a, img');
~~~
解析器支持对子元素的查找
~~~
<?php
// 查找 ul列表中所有的li项
$ret = $html->find('ul li');
//查找 ul 列表指定class=selected的li项
$ret = $html->find('ul li.selected');
?>
~~~
如果你觉得这样用起来麻烦,使用内置函数可以轻松定位元素的父元素、子元素与相邻元素
~~~
<?php
// 返回父元素
$e->parent;
// 返回子元素数组
$e->children;
// 通过索引号返回指定子元素
$e->children(0);
// 返回第一个资源速
$e->first_child ();
// 返回最后一个子元素
$e->last_child ();
// 返回上一个相邻元素
$e->prev_sibling ();
//返回下一个相邻元素
$e->next_sibling ();
?>
~~~
## :-: **元素属性操作**
使用简单的正则表达式来操作属性选择器。
[attribute] – 选择包含某属性的html元素
[attribute=value] – 选择所有指定值属性的html元素
[attribute!=value]- 选择所有非指定值属性的html元素
[attribute^=value] -选择所有指定值开头属性的html元素
[attribute$=value] 选择所有指定值结尾属性的html元素
[attribute*=value] -选择所有包含指定值属性的html元素
在解析器中调用元素属性
在DOM中元素属性也是对象:
``` php
<?php
// 本例中将$a的锚链接值赋给$link变量
$link = $a->href;
?>
```
或者
```php
<?php
$link = $html->find('a',0)->href;
?
```
每个对象都有4个基本对象属性:
tag – 返回html标签名
innertext – 返回innerHTML
outertext – 返回outerHTML
plaintext – 返回html标签中的文本
在解析器中编辑元素
编辑元素属性的用法和调用它们是类似的:
~~~
<?php
//给$a的锚链接赋新值
$a->href = 'http://www.jb51.net';
// 删除锚链接
$a->href = null;
// 检测是否存在锚链接
if(isset($a->href)) {
//代码
}
?>
~~~
解析器中没有专门的方法来添加、删除元素,不过可以变通一下使用:
~~~
<?php
// 封装元素
$e->outertext = '<div class="wrap">' . $e->outertext . '<div>';
// 删除元素
$e->outertext = '';
// 添加元素
$e->outertext = $e->outertext . '<div>foo<div>';
// 插入元素
$e->outertext = '<div>foo<div>' . $e->outertext;
?>
~~~
保存修改后的html DOM文档也非常简单:
``` php
<?php
$doc = $html;
// 输出
echo $doc;
?>
```
## :-: **如何避免解析器消耗过多内存**
Simple HTML DOM解析器消耗内存过多的问题。
如果php脚本占用内存太多,会导致网站停止响应等一系列严重的问题。
解决的方法也很简单,在解析器加载html文档并使用完成后,记得清理掉这个对象就可以了。
当然,也不要把问题看得太严重了。如果只是加载了2、3个文档,清理或不清理是没有多大区别的。当你加载了5个10个甚至更多的文档的时候,用完一个就清理一下内存
``` php
<?php
$html->clear();
?>
```
## :-: **示例**
### :-: **效果**
![](https://box.kancloud.cn/274ef5be73011bf7cf08714c5bef1ded_725x358.png)
### :-: **php代码**
~~~
<?php
header("Content-type: text/html; charset=utf-8");
include('simple_html_dom/simple_html_dom.php');//引入类库文件
$html = file_get_html('dom.html');//获取html文件
//给页面中的a标签添加类名、设置样式
$html->find('a',0)->setAttribute('class','bar');
$html->find('a',0)->setAttribute('style','color:red');
//打印指定标签内容
foreach($html->find('div#gbar') as $e) echo $e->innertext . '<br>';
//向指定标签中添加内容
$aaa = [1,2,3];
$tr = '';
foreach($aaa as $color)
$tr.="<td>".$color."</td>";
$html->find('tr',3)->innertext = $tr;
//保存修改到指定文件
$html->save('demo.html');
?>
~~~
### :-: **html文件**
~~~
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>php_simple_dom</title>
</head>
<body>
<div class="container" id="gbar">
<h1>一娃</h1>
<h2>二娃</h2>
<h3>三娃</h3>
<ul>
<li>吉林</li>
<li>辽宁</li>
<li>上海</li>
<li>广州</li>
</ul>
<input type="text" value="111"/>
<input type="datetime"/>
<textarea>lallallallalala</textarea>
<a href="https://www.baidu.com" class="bar" color="red" style="color:red">百度一下</a>
<img src="https://ss1.baidu.com/6ONXsjip0QIZ8tyhnq/it/u=2812136344,465892702&fm=58"
style="width: 30px;height: 30px">
<span class="gb1">这是span标签</span>
<button>提交</button>
<br>
<table>
<thead>
<tr>
<th>1111</th>
<th>2222</th>
<th>3333</th>
</tr>
</thead>
<tbody>
<tr>
<td align="center">121212</td>
<td>343434</td>
<td>565656</td>
</tr>
<tr>
<td>121212</td>
<td>343434</td>
<td>565656</td>
</tr>
<tr></tr>
</tbody>
</table>
<div>hahahhaha</div>
</div>
</body>
</html>
~~~
- 杂谈
- 开发 & 维护的工作流程
- 新手如何看php手册 和 框架手册
- 开发 & 维护的不同点
- 从0到1,搭建新项目的工作流程
- 从1到N,维护的工作流程
- 优化流程
- 生成错误日志和慢日志的方法
- 查错思路
- 怎么快速接手一个项目
- 前端常用知识点
- javascript
- 自己封装的函数
- 处理数字
- 功能代码
- 动态添加图片
- 判断是手机端还是pc端
- javascript:;是什么意思?怎么用呢
- html & h5
- a标签中target设置为blank和_blank有什么区别?
- 乱码
- 提交方式:button标签 和 input
- 块元素
- 内联元素
- h5特有属性
- h5的localStorage【增、删、改、查】
- jquery
- 常用方法
- 功能代码
- 动态删除图片
- 一个按钮,切换2种状态
- 换肤
- 深入理解(function(){... })();
- json & xml
- json
- 语法速记
- json对象取值
- 字符串、对象、数组的区别
- xml
- [CDATA[%s]]的作用是什么
- 转义字符
- CDATA 想被xml解析的文本数据
- CDATA 不想被xml解析的文本数据
- 微信小程序
- 其他
- websocket
- 跨域
- css
- 行内 & 内连 & 外连 写法
- 优先级
- 更加精准的匹配
- 使用百分比如何生效
- php在html、js、jq中的的原生写法
- *php在html中的语法
- php在js中的语法
- php在jq中的语法
- 正则表达式
- php常用基础知识(思想为主)
- php为什么是“边编译边运行”
- 冒号、endif、endwhile、endfor使用
- 递归思想(速记法)
- cookie和session的理解
- php常用内置(系统)函数
- 常量
- 字符串
- 数组
- 日期时间
- 文件 & 目录
- 数学
- 程序执行
- 判断
- 选项和信息(修改配置文件的)
- 错误处理 & 日志记录
- 编码格式
- session
- IP相关
- 类 & 对象
- 性能
- 其他函数
- 魔术方法
- $_SERVER
- 变量处理
- php自己封装的一些函数
- 导入、导出、生成文件
- 数组
- 数字
- 字符串
- 其他
- 获取linux硬件信息
- 常见插件/类库使用
- 前端-框架/插件
- bootstrap 学习笔记
- layer 学习笔记
- layDate 学习笔记
- 百度ueditor1.4.4.3富文本编辑器
- quill富文本编辑器
- 百度ECharts图形报表
- webuploader上传图片
- 后端类库
- workerman 聊天室
- QRCODE 二维码
- redis
- seaslog 日志
- phpspider 爬虫
- Mailer 发送邮件
- simple_html_dom
- phpstorm使用
- 快捷键
- 连接mysql数据库
- 断点 + debug调试
- 运行内存不够
- wamp环境
- yii、laravel、tp、开发自己的php框架
- 看框架源码的思路
- tp5框架的使用
- 1、助手函数原理解析
- 开发自己的php框架
- 常用的开发思路 和 小功能实现代码
- 爬虫思路
- 功能点思路
- tp5判断是不是异地登录(简单版)
- 微信开发,反向代理
- 微信开发,关闭当前页面
- 消息队列的实现
- 页面静态化
- session串号
- 站内信设计思路
- web在线管理器
- 语言相关(开发有关)
- 接收json(text/xml)格式数据
- 原生文件上传(状态码)
- openssl扩展
- 打印对象 和 遍历对象
- 使用OB缓存的几个原则
- CLI模式执行php文件
- foreach时,添加元素 或 修改元素的值
- 功能点 代码实现
- 生成url目录树(没有pid)
- 多图上传(vue传base64)
- 下载文件,耗时算法
- 生成商品二维码
- 导出excel
- 搜索
- 阿里大鱼发短信
- 使用阿里云oss
- location.href跳转后,丢失用户的session
- “\r ” “\r\n” “\t”的区别
- php的配置文件详解
- 开启错误日志
- 开启慢日志
- 开启短标签
- 分析php-fpm.conf中的request_terminate_timeout参数