企业🤖AI Agent构建引擎,智能编排和调试,一键部署,支持私有化部署方案 广告
# 第五节:生成CSV文件 # 生成CSV文件: 有时候我们做的网站,需要将一些数据,生成有一个`CSV`文件给浏览器,并且是作为附件的形式下载下来。以下将讲解如何生成`CSV`文件。 ## 生成小的CSV文件: 这里将用一个生成小的`CSV`文件为例,来把生成`CSV`文件的技术要点讲到位。我们用`Python`内置的`csv`模块来处理`csv`文件,并且使用`HttpResponse`来将`csv`文件返回回去。示例代码如下: ``` <pre class="calibre12">``` <span class="hljs-keyword">import</span> csv <span class="hljs-keyword">from</span> django.http <span class="hljs-keyword">import</span> HttpResponse <span class="hljs-function"><span class="hljs-keyword">def</span> <span class="hljs-title">csv_view</span><span class="hljs-params">(request)</span>:</span> response = HttpResponse(content_type=<span class="hljs-string">'text/csv'</span>) response[<span class="hljs-string">'Content-Disposition'</span>] = <span class="hljs-string">'attachment; filename="somefilename.csv"'</span> writer = csv.writer(response) writer.writerow([<span class="hljs-string">'username'</span>, <span class="hljs-string">'age'</span>, <span class="hljs-string">'height'</span>, <span class="hljs-string">'weight'</span>]) writer.writerow([<span class="hljs-string">'zhiliao'</span>, <span class="hljs-string">'18'</span>, <span class="hljs-string">'180'</span>, <span class="hljs-string">'110'</span>]) <span class="hljs-keyword">return</span> response ``` ``` 这里再来对每个部分的代码进行解释: 1. 我们在初始化`HttpResponse`的时候,指定了`Content-Type`为`text/csv`,这将告诉浏览器,这是一个`csv`格式的文件而不是一个`HTML`格式的文件,如果用默认值,默认值就是`html`,那么浏览器将把`csv`格式的文件按照`html`格式输出,这肯定不是我们想要的。 2. 第二个我们还在`response`中添加一个`Content-Disposition`头,这个东西是用来告诉浏览器该如何处理这个文件,我们给这个头的值设置为`attachment;`,那么浏览器将不会对这个文件进行显示,而是作为附件的形式下载,第二个`filename="somefilename.csv"`是用来指定这个`csv`文件的名字。 3. 我们使用`csv`模块的`writer`方法,将相应的数据写入到`response`中。 ## 将`csv`文件定义成模板: 我们还可以将`csv`格式的文件定义成模板,然后使用`Django`内置的模板系统,并给这个模板传入一个`Context`对象,这样模板系统就会根据传入的`Context`对象,生成具体的`csv`文件。示例代码如下: 模板文件: ``` <pre class="calibre12">``` {% for row in data %}"{{ row.0|addslashes }}", "{{ row.1|addslashes }}", "{{ row.2|addslashes }}", "{{ row.3|addslashes }}", "{{ row.4|addslashes }}" {% endfor %} ``` ``` 视图函数: ``` <pre class="calibre12">``` <span class="hljs-keyword">from</span> django.http <span class="hljs-keyword">import</span> HttpResponse <span class="hljs-keyword">from</span> django.template <span class="hljs-keyword">import</span> loader, Context <span class="hljs-function"><span class="hljs-keyword">def</span> <span class="hljs-title">some_view</span><span class="hljs-params">(request)</span>:</span> response = HttpResponse(content_type=<span class="hljs-string">'text/csv'</span>) response[<span class="hljs-string">'Content-Disposition'</span>] = <span class="hljs-string">'attachment; filename="somefilename.csv"'</span> csv_data = ( (<span class="hljs-string">'First row'</span>, <span class="hljs-string">'Foo'</span>, <span class="hljs-string">'Bar'</span>, <span class="hljs-string">'Baz'</span>), (<span class="hljs-string">'Second row'</span>, <span class="hljs-string">'A'</span>, <span class="hljs-string">'B'</span>, <span class="hljs-string">'C'</span>, <span class="hljs-string">'"Testing"'</span>, <span class="hljs-string">"Here's a quote"</span>), ) t = loader.get_template(<span class="hljs-string">'my_template_name.txt'</span>) response.write(t.render({<span class="hljs-string">"data"</span>: csv_data})) <span class="hljs-keyword">return</span> response ``` ``` ## 生成大的CSV文件: 以上的例子是生成的一个小的`csv`文件,如果想要生成大型的`csv`文件,那么以上方式将有可能会发生超时的情况(服务器要生成一个大型csv文件,需要的时间可能会超过浏览器默认的超时时间)。这时候我们可以借助另外一个类,叫做`StreamingHttpResponse`对象,这个对象是将响应的数据作为一个流返回给客户端,而不是作为一个整体返回。示例代码如下: ``` <pre class="calibre12">``` <span class="hljs-class"><span class="hljs-keyword">class</span> <span class="hljs-title">Echo</span>:</span> <span class="hljs-string">""" 定义一个可以执行写操作的类,以后调用csv.writer的时候,就会执行这个方法 """</span> <span class="hljs-function"><span class="hljs-keyword">def</span> <span class="hljs-title">write</span><span class="hljs-params">(self, value)</span>:</span> <span class="hljs-keyword">return</span> value <span class="hljs-function"><span class="hljs-keyword">def</span> <span class="hljs-title">large_csv</span><span class="hljs-params">(request)</span>:</span> rows = ([<span class="hljs-string">"Row {}"</span>.format(idx), str(idx)] <span class="hljs-keyword">for</span> idx <span class="hljs-keyword">in</span> range(<span class="hljs-params">655360</span>)) pseudo_buffer = Echo() writer = csv.writer(pseudo_buffer) response = StreamingHttpResponse((writer.writerow(row) <span class="hljs-keyword">for</span> row <span class="hljs-keyword">in</span> rows),content_type=<span class="hljs-string">"text/csv"</span>) response[<span class="hljs-string">'Content-Disposition'</span>] = <span class="hljs-string">'attachment; filename="somefilename.csv"'</span> <span class="hljs-keyword">return</span> response ``` ``` 这里我们构建了一个非常大的数据集`rows`,并且将其变成一个迭代器。然后因为`StreamingHttpResponse`的第一个参数只能是一个生成器,因此我们使用圆括号`(writer.writerow(row) for row in rows)`,并且因为我们要写的文件是`csv`格式的文件,因此需要调用`writer.writerow`将`row`变成一个`csv`格式的字符串。而调用`writer.writerow`又需要一个中间的容器,因此这里我们定义了一个非常简单的类`Echo`,这个类只实现一个`write`方法,以后在执行`csv.writer(pseudo_buffer)`的时候,就会调用`Echo.writer`方法。 注意:`StreamingHttpResponse`会启动一个进程来和客户端保持长连接,所以会很消耗资源。所以如果不是特殊要求,尽量少用这种方法。 ## 关于StreamingHttpResponse: 这个类是专门用来处理流数据的。使得在处理一些大型文件的时候,不会因为服务器处理时间过长而到时连接超时。这个类不是继承自`HttpResponse`,并且跟`HttpResponse`对比有以下几点区别: 1. 这个类没有属性`content`,相反是`streaming_content`。 2. 这个类的`streaming_content`必须是一个可以迭代的对象。 3. 这个类没有`write`方法,如果给这个类的对象写入数据将会报错。 注意:`StreamingHttpResponse`会启动一个进程来和客户端保持长连接,所以会很消耗资源。所以如果不是特殊要求,尽量少用这种方法。