ThinkChat2.0新版上线,更智能更精彩,支持会话、画图、阅读、搜索等,送10W Token,即刻开启你的AI之旅 广告
scrapy_splash是scrapy的一个组件。 * scrap_splash加载js数据是基于Splash来实现的。 * Splash是一个Javascript渲染服务。它是一个实现了HTTP API的轻量级浏览器,Splash是用Python和Lua语言实现的,基于Twisted和QT等模块构建。 * 使用scrapy-splash最终拿到的response相当于是在浏览器全部渲染完成以后的网页源代码。 * splash官方文档 https://splash.readthedocs.io/en/stable/ <br/> **scrapy_splash的作用:** scrapy-splash能够模拟浏览器加载js,并返回js运行后的数据。