当前位置： > > > > 使用 bufio.NewScanner 逐行读取文件时出现性能问题
来源：stackoverflow
2024-04-26 15:54:35
0浏览
收藏
本篇文章向大家介绍《使用 bufio.NewScanner 逐行读取文件时出现性能问题》，主要包括，具有一定的参考价值，需要的朋友可以参考一下。
问题内容
我正在学习如何在 go 中有效地读取非常大的文件。我尝试过 bufio.newscanner 和 bufio.newreader 与 readstring('\n') 。在这两个选项中，newscanner 似乎始终更快 (2:1)。
对于 newscanner，我发现逐行读取文件比运行 unix cat 命令读取文件花费更多时间。
我测量了运行此代码需要多长时间：
package main
import (
"bufio"
"fmt"
"os"
)
func main() {
file, _ := os.open("test")
scanner := bufio.newscanner(file)
for scanner.scan() {
fmt.println(scanner.text())
}
}
当您与常规 unix cat 输出进行比较时，我得到以下结果：
$ time ./parser3 > /dev/null
19.13 real 13.81 user 5.94 sys
$ time cat test > /dev/null
0.83 real 0.08 user 0.74 sys
多次执行的时间差是一致的。
我知道扫描 '\n' 会增加开销，而不是像 cat 那样只是将数据从输入复制到输出。
但是看到 cat 和此代码片段之间的区别，我问自己这是否是在 go 中逐行读取文件的最有效方法。
解决方案
根据 muffintop 的评论，这是提高速度的代码片段。性能损失与 scanner 的使用无关，而是与以下事实有关：
- 在输出中不使用缓冲
- 使用
scanner.text()（分配字符串）而不是scanner.bytes()
添加输出缓冲的性能：
package main
import (
"bufio"
"fmt"
"os"
)
func main() {
file, _ := os.open("test")
w := bufio.newwriter(os.stdout)
scanner := bufio.newscanner(file)
for scanner.scan() {
fmt.fprintln(w, scanner.text())
}
}
上述解决方案使用输出缓冲，需要 6.6 秒，而原来需要 19.1 秒
添加输出缓冲并使用 .bytes() 而不是 .text() 输出的性能：
package main
import (
"bufio"
"fmt"
"os"
)
func main() {
file, _ := os.open("test")
w := bufio.newwriter(os.stdout)
scanner := bufio.newscanner(file)
for scanner.scan() {
w.write(scanner.bytes()); w.writebyte('\n')
}
}
上述解决方案使用输出缓冲并从扫描仪输出字节，需要 2.2 秒，而原来需要 19.1 秒。
首先考虑您将读取 csv、json 的数据类型，以及读取的系统将会阅读它，为什么？必须考虑所有这些细节。没有一种方法适合所有情况，最好的开发人员知道如何使用 right 工具 来完成 job。如果不知道内存限制、数据等，就不清楚。我们会从服务器读取大量 json 吗？或者我们会解析一个小文本文件，通常每个函数都有一个目的。不要养成认为一种方法比另一种方法更好或更差的习惯，从而限制你的学习和技能。
读取文件的方法。
- 文档解析
- 从文件中读取所有数据并将其转换为对象。
- 流解析
- 一次读取一个元素，然后转到下一个元素。
某些方法可能会更快，但它将整个文件读取到内存中，如果您的文件太大怎么办？
或者如果您的文件不是那么大，要查找重复的名称怎么办？如果您逐行扫描文件， 也许如果您正在搜索多个项目，逐行阅读是最好的方法吗？
你应该看看这篇文章。特别感谢@schwern，他已经在这里回答了您的问题。使用字节和扫描仪稍微快一些。请参阅：
I found that using scanner.Bytes() instead of scanner.Text() improves speed slightly on my machine. bufio's scanner.Bytes() method doesn't allocate any additional memory, whereas Text() creates a string from its buffer.
到这里，我们也就讲完了《使用 bufio.NewScanner 逐行读取文件时出现性能问题》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注公众号，带你了解更多关于的知识点！
