今天小编给大家分享一下Golang按行读取文件的方法有哪些的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一起来了解一下吧。
1.使用 bufio.Scanner 读取文件
Golang 中有一个 bufio 包,它提供了 Scanner 类型,可以方便地按行读取文件。我们可以使用 Scanner 的 Scan() 方法来读取每一行。
bufio.Scanner是一个基于缓冲区的数据扫描器,它提供了方便的逐行/逐词读取操作。Scan 方法是bufio.Scanner 的一个核心方法,用于扫描缓冲区中的数据并返回扫描到的下一个 Token。
Scan 方法的签名如下:
func (s *Scanner) Scan() bool
该方法返回一个 bool 类型值,表示扫描是否成功。如果扫描成功,该方法会将下一个Token读取出来并保存在Scanner的Text字段中。如果扫描失败,则返回false。
在读取Token之前,Scanner会将缓冲区中的数据读取到底层的Reader中,并从底层的Reader中获取新的数据填充到缓冲区中。因此,在Scan方法调用之前,Scanner的缓冲区中可能已经包含了一部分数据,也可能为空。
扫描过程中,Scanner会将缓冲区中的数据按照分隔符进行分割,并将分割后的Token返回。默认情况下,Scanner使用换行符作为分隔符,即每次扫描一行数据。如果需要使用其他分隔符,可以使用Scanner的Split方法进行设置。
// ReadLines reads all lines of the file. func ReadLines(path string) ([]string, error) { file, err := os.Open(path) if err != nil { return nil, err } defer file.Close() var lines []string scanner := bufio.NewScanner(file) for scanner.Scan() { lines = append(lines, scanner.Text()) } return lines, scanner.Err() }
上面的代码中,我们首先使用 NewScanner() 函数创建一个 Scanner 对象。然后在 for 循环中,我们使用 Scanner 的 Scan() 方法读取文件的每一行,然后使用 Text() 方法获取每一行的内容。最后,我们将获取到的行追加到字符串切片中。
2.使用 bufio.Reader 读取文件
除了使用 Scanner 类型之外,我们还可以使用 bufio 包中的 Reader 类型按行读取文件。在使用 bufio.Reader 时,我们需要使用 ReadBytes() 或 ReadString() 方法来读取每一行,示例代码如下:
// ReadLinesV2 reads all lines of the file. func ReadLinesV2(path string) ([]string, error) { file, err := os.Open(path) if err != nil { return nil, err } defer file.Close() var lines []string reader := bufio.NewReader(file) for { // ReadString reads until the first occurrence of delim in the input, // returning a string containing the data up to and including the delimiter. line, err := reader.ReadString(' ') if err == io.EOF { lines = append(lines, line) break } if err != nil { return lines, err } lines = append(lines, line[:len(line)-1]) } return lines, nil }
上面的代码中,我们使用 NewReader() 函数创建一个 Reader 对象。在 for 循环中,我们使用 ReadString() 函数读取每一行的内容,并将其追加到字符串切片中。
需要注意的是,在使用 ReadString() 函数时,我们需要指定分隔符,例如 ‘ ’ 表示以换行符为分隔符。如果读取的文件中没有指定的分隔符,ReadString() 函数会返回一个错误,因此我们需要在 for 循环中检查是否发生了错误。
3.使用 bufio.Reader 的 ReadLine 读取文件
使用 bufio.Reader 逐行读取文件时,除了使用 ReadBytes() 或 ReadString() 方法,还可以使用 ReadLine() 函数。
// ReadLinesV3 reads all lines of the file. func ReadLinesV3(path string) ([]string, error) { f, err := os.Open(path) if err != nil { return nil, err } defer f.Close() var lines []string r := bufio.NewReader(f) for { // ReadLine is a low-level line-reading primitive. // Most callers should use ReadBytes(' ') or ReadString(' ') instead or use a Scanner. bytes, _, err := r.ReadLine() if err == io.EOF { break } if err != nil { return lines, err } lines = append(lines, string(bytes)) } return lines, nil }
使用 bufio.Reader 的 ReadLine() 方法可以读取一行数据,但是需要注意它的返回值。ReadLine() 函数的返回值包括三个部分:读取到的数据、是否读取完整一行以及错误信息。如果读取到的数据超出了缓存区的大小,它会返回一个错误信息,而不是完整的一行数据。
因此,如果读取的一行数据的长度超过了缓存区的大小,ReadLine() 函数将无法读取到完整的一行数据。为了避免这种情况的发生,我们可以通过设置缓存区的大小来解决。
ReadLine 是一个低级的行读取原语。大多数调用者应该使用 ReadBytes(‘ ’) 或 ReadString(‘ ’),或者使用 Scanner。
4.go-huge-util
本文实现的函数已放置开源仓库 dablelv/go-huge-util,欢迎大家使用。
package main import ( "github.com/dablelv/go-huge-util/file" ) func main() { path := "your/file/path" lines, err := file.ReadLines(path) lines, err = file.ReadLinesV2(path) lines, err = file.ReadLinesV3(path) }
推荐使用 file.ReadLines。
go-huge-util 除了类型转换,还有很多其他实用函数,如加解密、zip 解压缩等,欢迎大家使用、Star、Issue 和 Pull Request。