## 使用CSV格式化数据
CSV是操作数据的常用格式。将CSV文件导入或导出到Excel中亦是很常见的操作。Go的CSV包提供了数据操作接口,因此可以轻松地将数据写入缓冲区,标准输出,文件或socket。本节将展示将数据导入和导出CSV格式的一些常用方法。
### 实践
1. 建立read_csv.go:
```
package csvformat
import (
"bytes"
"encoding/csv"
"fmt"
"io"
"strconv"
)
// Movie用来存储CSV解析后的内容
type Movie struct {
Title string
Director string
Year int
}
// ReadCSV 展示了如何处理CSV
// 接收的参数通过io.Reader传入
func ReadCSV(b io.Reader) ([]Movie, error) {
//返回的是csv.Reader
r := csv.NewReader(b)
// 分隔符和注释是csv.Reader结构体中的字段
r.Comma = ';'
r.Comment = '-'
var movies []Movie
// 读取并返回一个字符串切片和错误信息
// 我们也可以将其用于字典键或其他形式的查找
// 此处忽略了返回的切片 目的是跳过csv首行标题
_, err := r.Read()
if err != nil && err != io.EOF {
return nil, err
}
// 循环直到全部处理完毕
for {
record, err := r.Read()
if err == io.EOF {
break
} else if err != nil {
return nil, err
}
year, err := strconv.ParseInt(record[2], 10, 64)
if err != nil {
return nil, err
}
m := Movie{record[0], record[1], int(year)}
movies = append(movies, m)
}
return movies, nil
}
// AddMoviesFromText 将字符串按 CSV 格式解析
func AddMoviesFromText() error {
in := `
- first our headers
movie title;director;year released
- then some data
Guardians of the Galaxy Vol. 2;James Gunn;2017
Star Wars: Episode VIII;Rian Johnson;2017
`
b := bytes.NewBufferString(in)
m, err := ReadCSV(b)
if err != nil {
return err
}
fmt.Printf("%#v\n", m)
return nil
}
```
2. 建立 write_csv.go:
```
package csvformat
import (
"bytes"
"encoding/csv"
"io"
"os"
)
// 结构体Book有Author和Title两个字段
type Book struct {
Author string
Title string
}
// Books是Book的切片类型
type Books []Book
// ToCSV将Books写入传进来的 io.Writer
// 返回任何可能发生的错误
func (books *Books) ToCSV(w io.Writer) error {
n := csv.NewWriter(w)
err := n.Write([]string{"Author", "Title"})
if err != nil {
return err
}
for _, book := range *books {
err := n.Write([]string{book.Author, book.Title})
if err != nil {
return err
}
}
n.Flush()
return n.Error()
}
// WriteCSVOutput 初始化Books并调用ToCSV
// 并写入到标准输出
func WriteCSVOutput() error {
b := Books{
Book{
Author: "F Scott Fitzgerald",
Title: "The Great Gatsby",
},
Book{
Author: "J D Salinger",
Title: "The Catcher in the Rye",
},
}
return b.ToCSV(os.Stdout)
}
// WriteCSVBuffer 初始化Books并调用ToCSV
// 并写入到bytes.Buffers
func WriteCSVBuffer() (*bytes.Buffer, error) {
b := Books{
Book{
Author: "F Scott Fitzgerald",
Title: "The Great Gatsby",
},
Book{
Author: "J D Salinger",
Title: "The Catcher in the Rye",
},
}
w := &bytes.Buffer{}
err := b.ToCSV(w)
return w, err
}
```
3. 建立main.go:
```
import (
"fmt"
"github.com/agtorre/go-cookbook/chapter1/csvformat"
)
func main() {
if err := csvformat.AddMoviesFromText(); err != nil {
panic(err)
}
if err := csvformat.WriteCSVOutput(); err != nil {
panic(err)
}
buffer, err := csvformat.WriteCSVBuffer()
if err != nil {
panic(err)
}
fmt.Println("Buffer = ", buffer.String())
}
```
4. 运行main.go,这会输出:
```
[]csvformat.Movie{csvformat.Movie{Title:"Guardians of the Galaxy Vol. 2", Director:"James Gunn", Year:2017}, csvformat.Movie{Title:"Star Wars: Episode VIII", Director:"Rian Johnson", Year:2017}}
Author,Title
F Scott Fitzgerald,The Great Gatsby
J D Salinger,The Catcher in the Rye
Buffer = Author,Title
F Scott Fitzgerald,The Great Gatsby
J D Salinger,The Catcher in the Rye
```
### 说明
为了探索CSV格式操作,我们首先将数据表示为结构。在Go中将数据格式化为结构非常有用,这会使目标封装和编码等变得相对简单。 我们的示例中使用自定义的Movie结构。它所属的函数接收io.Reader接口作为参数以使CSV数据输入时更加灵活——文件或缓冲区都可以输入进来。接下来,我们使用传入的数据来创建并填充Movie结构,我们还向CSV解析器添加了 ; 作为分隔符 - 作为注释行。
接下来,我们以类似的方式探索CSV格式的写入操作,我们初始化一系列Books,然后将CSV格式的特定book写入io.Writer接口,同样的,目标可以是文件,标准输出或缓冲区。
CSV包是一个很棒的例子,它说明了为什么你需要考虑要将Go中的数据流视为实现通用接口。通过细微的调整,我们可以轻松更改数据的来源和目的地,同时不影响操作CSV数据,并且无需使用过多的内存或时间。例如,可以一次从一个数据流中读取一个记录,并以循环的形式将修改的格式写入单独的流。这样做不会占用大量内存或处理器。
稍后,在探索数据管道和工作池时,你将看到如何组合这些想法以及如何并行处理这些流。
* * * *
学识浅薄,错误在所难免。欢迎在群中就本书提出修改意见,以飨后来者,长风拜谢。
Golang中国(211938256)
beego实战(258969317)
Go实践(386056972)
- 前言
- 第一章 I/O和文件系统
- 常见 I/O 接口
- 使用bytes和strings包
- 操作文件夹和文件
- 使用CSV格式化数据
- 操作临时文件
- 使用 text/template和HTML/templates包
- 第二章 命令行工具
- 解析命令行flag标识
- 解析命令行参数
- 读取和设置环境变量
- 操作TOML,YAML和JSON配置文件
- 操做Unix系统下的pipe管道
- 处理信号量
- ANSI命令行着色
- 第三章 数据类型转换和解析
- 数据类型和接口转换
- 使用math包和math/big包处理数字类型
- 货币转换和float64注意事项
- 使用指针和SQL Null类型进行编码和解码
- 对Go数据编码和解码
- Go中的结构体标签和反射
- 通过闭包实现集合操作
- 第四章 错误处理
- 错误接口
- 使用第三方errors包
- 使用log包记录错误
- 结构化日志记录
- 使用context包进行日志记录
- 使用包级全局变量
- 处理恐慌
- 第五章 数据存储
- 使用database/sql包操作MySQL
- 执行数据库事务接口
- SQL的连接池速率限制和超时
- 操作Redis
- 操作MongoDB
- 创建存储接口以实现数据可移植性
- 第六章 Web客户端和APIs
- 使用http.Client
- 调用REST API
- 并发操作客户端请求
- 使用OAuth2
- 实现OAuth2令牌存储接口
- 封装http请求客户端
- 理解GRPC的使用
- 第七章 网络服务
- 处理Web请求
- 使用闭包进行状态处理
- 请求参数验证
- 内容渲染
- 使用中间件
- 构建反向代理
- 将GRPC导出为JSON API
- 第八章 测试
- 使用标准库进行模拟
- 使用Mockgen包
- 使用表驱动测试
- 使用第三方测试工具
- 模糊测试
- 行为驱动测试
- 第九章 并发和并行
- 第十章 分布式系统
- 第十一章 响应式编程和数据流
- 第十二章 无服务器编程
- 第十三章 性能改进