# 第五节:生成CSV文件
# 生成CSV文件:
有时候我们做的网站,需要将一些数据,生成有一个`CSV`文件给浏览器,并且是作为附件的形式下载下来。以下将讲解如何生成`CSV`文件。
## 生成小的CSV文件:
这里将用一个生成小的`CSV`文件为例,来把生成`CSV`文件的技术要点讲到位。我们用`Python`内置的`csv`模块来处理`csv`文件,并且使用`HttpResponse`来将`csv`文件返回回去。示例代码如下:
```
<pre class="calibre12">```
<span class="hljs-keyword">import</span> csv
<span class="hljs-keyword">from</span> django.http <span class="hljs-keyword">import</span> HttpResponse
<span class="hljs-function"><span class="hljs-keyword">def</span> <span class="hljs-title">csv_view</span><span class="hljs-params">(request)</span>:</span>
response = HttpResponse(content_type=<span class="hljs-string">'text/csv'</span>)
response[<span class="hljs-string">'Content-Disposition'</span>] = <span class="hljs-string">'attachment; filename="somefilename.csv"'</span>
writer = csv.writer(response)
writer.writerow([<span class="hljs-string">'username'</span>, <span class="hljs-string">'age'</span>, <span class="hljs-string">'height'</span>, <span class="hljs-string">'weight'</span>])
writer.writerow([<span class="hljs-string">'zhiliao'</span>, <span class="hljs-string">'18'</span>, <span class="hljs-string">'180'</span>, <span class="hljs-string">'110'</span>])
<span class="hljs-keyword">return</span> response
```
```
这里再来对每个部分的代码进行解释:
1. 我们在初始化`HttpResponse`的时候,指定了`Content-Type`为`text/csv`,这将告诉浏览器,这是一个`csv`格式的文件而不是一个`HTML`格式的文件,如果用默认值,默认值就是`html`,那么浏览器将把`csv`格式的文件按照`html`格式输出,这肯定不是我们想要的。
2. 第二个我们还在`response`中添加一个`Content-Disposition`头,这个东西是用来告诉浏览器该如何处理这个文件,我们给这个头的值设置为`attachment;`,那么浏览器将不会对这个文件进行显示,而是作为附件的形式下载,第二个`filename="somefilename.csv"`是用来指定这个`csv`文件的名字。
3. 我们使用`csv`模块的`writer`方法,将相应的数据写入到`response`中。
## 将`csv`文件定义成模板:
我们还可以将`csv`格式的文件定义成模板,然后使用`Django`内置的模板系统,并给这个模板传入一个`Context`对象,这样模板系统就会根据传入的`Context`对象,生成具体的`csv`文件。示例代码如下:
模板文件:
```
<pre class="calibre12">```
{% for row in data %}"{{ row.0|addslashes }}", "{{ row.1|addslashes }}", "{{ row.2|addslashes }}", "{{ row.3|addslashes }}", "{{ row.4|addslashes }}"
{% endfor %}
```
```
视图函数:
```
<pre class="calibre12">```
<span class="hljs-keyword">from</span> django.http <span class="hljs-keyword">import</span> HttpResponse
<span class="hljs-keyword">from</span> django.template <span class="hljs-keyword">import</span> loader, Context
<span class="hljs-function"><span class="hljs-keyword">def</span> <span class="hljs-title">some_view</span><span class="hljs-params">(request)</span>:</span>
response = HttpResponse(content_type=<span class="hljs-string">'text/csv'</span>)
response[<span class="hljs-string">'Content-Disposition'</span>] = <span class="hljs-string">'attachment; filename="somefilename.csv"'</span>
csv_data = (
(<span class="hljs-string">'First row'</span>, <span class="hljs-string">'Foo'</span>, <span class="hljs-string">'Bar'</span>, <span class="hljs-string">'Baz'</span>),
(<span class="hljs-string">'Second row'</span>, <span class="hljs-string">'A'</span>, <span class="hljs-string">'B'</span>, <span class="hljs-string">'C'</span>, <span class="hljs-string">'"Testing"'</span>, <span class="hljs-string">"Here's a quote"</span>),
)
t = loader.get_template(<span class="hljs-string">'my_template_name.txt'</span>)
response.write(t.render({<span class="hljs-string">"data"</span>: csv_data}))
<span class="hljs-keyword">return</span> response
```
```
## 生成大的CSV文件:
以上的例子是生成的一个小的`csv`文件,如果想要生成大型的`csv`文件,那么以上方式将有可能会发生超时的情况(服务器要生成一个大型csv文件,需要的时间可能会超过浏览器默认的超时时间)。这时候我们可以借助另外一个类,叫做`StreamingHttpResponse`对象,这个对象是将响应的数据作为一个流返回给客户端,而不是作为一个整体返回。示例代码如下:
```
<pre class="calibre12">```
<span class="hljs-class"><span class="hljs-keyword">class</span> <span class="hljs-title">Echo</span>:</span>
<span class="hljs-string">"""
定义一个可以执行写操作的类,以后调用csv.writer的时候,就会执行这个方法
"""</span>
<span class="hljs-function"><span class="hljs-keyword">def</span> <span class="hljs-title">write</span><span class="hljs-params">(self, value)</span>:</span>
<span class="hljs-keyword">return</span> value
<span class="hljs-function"><span class="hljs-keyword">def</span> <span class="hljs-title">large_csv</span><span class="hljs-params">(request)</span>:</span>
rows = ([<span class="hljs-string">"Row {}"</span>.format(idx), str(idx)] <span class="hljs-keyword">for</span> idx <span class="hljs-keyword">in</span> range(<span class="hljs-params">655360</span>))
pseudo_buffer = Echo()
writer = csv.writer(pseudo_buffer)
response = StreamingHttpResponse((writer.writerow(row) <span class="hljs-keyword">for</span> row <span class="hljs-keyword">in</span> rows),content_type=<span class="hljs-string">"text/csv"</span>)
response[<span class="hljs-string">'Content-Disposition'</span>] = <span class="hljs-string">'attachment; filename="somefilename.csv"'</span>
<span class="hljs-keyword">return</span> response
```
```
这里我们构建了一个非常大的数据集`rows`,并且将其变成一个迭代器。然后因为`StreamingHttpResponse`的第一个参数只能是一个生成器,因此我们使用圆括号`(writer.writerow(row) for row in rows)`,并且因为我们要写的文件是`csv`格式的文件,因此需要调用`writer.writerow`将`row`变成一个`csv`格式的字符串。而调用`writer.writerow`又需要一个中间的容器,因此这里我们定义了一个非常简单的类`Echo`,这个类只实现一个`write`方法,以后在执行`csv.writer(pseudo_buffer)`的时候,就会调用`Echo.writer`方法。
注意:`StreamingHttpResponse`会启动一个进程来和客户端保持长连接,所以会很消耗资源。所以如果不是特殊要求,尽量少用这种方法。
## 关于StreamingHttpResponse:
这个类是专门用来处理流数据的。使得在处理一些大型文件的时候,不会因为服务器处理时间过长而到时连接超时。这个类不是继承自`HttpResponse`,并且跟`HttpResponse`对比有以下几点区别:
1. 这个类没有属性`content`,相反是`streaming_content`。
2. 这个类的`streaming_content`必须是一个可以迭代的对象。
3. 这个类没有`write`方法,如果给这个类的对象写入数据将会报错。
注意:`StreamingHttpResponse`会启动一个进程来和客户端保持长连接,所以会很消耗资源。所以如果不是特殊要求,尽量少用这种方法。
- Introduction
- 第一章:学前准备
- 第一节:虚拟环境
- 第二节:准备工作
- 第三节:Django介绍
- 第四节:URL组成部分
- 第二章:URL与视图
- 第一节:第一个Django项目
- 第二节:视图与URL分发器
- 第三章:模板
- 第一节:模板介绍
- 第二节:模板变量
- 第三节:常用标签
- 第四节:常用过滤器
- 第五节:自定义过滤器
- 第七节:模版结构优化
- 第八节:加载静态文件
- 第四章:数据库
- 第一节:MySQL相关软件
- 第二节:数据库操作
- 第三节:ORM模型
- 第四节:模型常用字段
- 第五节:外键和表关系
- 第六节:增删改查操作
- 第七节:查询操作
- 第八节:QuerySet API
- 第九节:ORM模型迁移
- 第十节:ORM作业
- 第十一节:ORM作业参考答案
- 第十二节:Pycharm连接数据库
- 第五章:视图高级
- 第一节:限制请求method
- 第二节:页面重定向
- 第三节:HttpRequest对象
- 第四节:HttpResponse对象
- 第五节:生成CSV文件
- 第六节:类视图
- 第七节:错误处理
- 第六章:表单
- 第一节:表单概述
- 第二节:用表单验证数据
- 第三节:ModelForm
- 第四节:文件上传
- 第七章:cookie和session
- 第八章:上下文处理器和中间件
- 第一节:上下文处理器
- 第二节:中间件
- 第九章:安全
- 第一节:CSRF攻击
- 第二节:XSS攻击
- 第三节:点击劫持攻击
- 第四节:SQL注入
- 第十章:信号
- 第一节:什么是信号
- 第十一章:验证和授权
- 第一节:概述
- 第二节:用户对象
- 第三节:权限和分组
- 第十二章:Admin系统
- 第十三章:Django的缓存
- 第十四章:memcached
- 第十五章:Redis