当前位置: 代码迷 >> 综合 >> golang之文件读写/复制/断点续传
  详细解决方案

golang之文件读写/复制/断点续传

热度:56   发布时间:2023-12-11 23:05:29.0

 

目录

一、常用读取文件的三种方式

(1)利用os和file原生操作读文件

(2)使用bufio读取文件

(3)使用ioutil读取文件

二、常用写文件的三种方式

(1)利用os和file原生操作写文件

(2)使用bufio写文件

(3)使用ioutil写文件

三、常用复制文件的四种方式

(1)利用os和file原生操作复制文件

(2)使用bufio读写操作来复制文件

(3)使用ioutil读写操作来复制文件

(4)io.copy()来复制

?四、其他操作

(1)指定断点位置读写文件

(2)***文件复制之断点续传***

(3)遍历文件夹


一、常用读取文件的三种方式

(1)利用os和file原生操作读文件

注意:以open打开的方式是只读的

(2)使用bufio读取文件

注意:默认缓冲区大小是4096,这里我们可以自定义缓冲区大小

(3)使用ioutil读取文件

注意:ioutil是一次性读取整个文件,不适用于大文件读写操作,可能发生内存泄漏

二、常用写文件的三种方式

(1)利用os和file原生操作写文件

OpenFile是一个更一般性的文件打开函数,大多数调用者都应用Open或Create代替本函数。它会使用指定的选项(如O_RDONLY等)、指定的模式(如0666等)打开指定名称的文件。

可指定选项【只读,只写,可读写,追加……】和模式【 ModePerm FileMode = 0777 // 覆盖所有Unix权限位】

下面列举了一些常用的 flag 文件处理参数:

  • O_RDONLY:只读模式打开文件;
  • O_WRONLY:只写模式打开文件;
  • O_RDWR:读写模式打开文件;
  • O_APPEND:写操作时将数据附加到文件尾部(追加);
  • O_CREATE:如果不存在将创建一个新文件;
  • O_EXCL:和 O_CREATE 配合使用,文件必须不存在,否则返回一个错误;
  • O_SYNC:当进行一系列写操作时,每次都要等待上次的 I/O 操作完成再进行;
  • O_TRUNC:如果可能,在打开时清空文件。

(2)使用bufio写文件

注意:bufio是写在缓冲区里面,一定要Flush,否则文件中没有数据

(3)使用ioutil写文件

三、常用复制文件的四种方式

(1)利用os和file原生操作复制文件

(2)使用bufio读写操作来复制文件

(3)使用ioutil读写操作来复制文件

(4)io.copy()来复制


四、其他操作

(1)指定断点位置读写文件

(2)***文件复制之断点续传***

如果在传输文件的过程中发生断电等情况,文件传输了一半后异常终止了,当恢复后不希望重新传输,而希望接着传输。

可创建一个临时文件用户保存当前已经传输的字节数,每次传输时先读取临时文件的记录。如传输完成则删除临时文件

//断点续传
func main() {srcFile := "D:/development/jetbrains/goland/workspace/src/Go-Player/hanru_package/a.jpg"distFile := "copy_"+srcFile[strings.LastIndex(srcFile, "/")+1:]tempFile := distFile + "temp.txt"file1, err := os.Open(srcFile)handelError(err)file2, err := os.OpenFile(distFile, os.O_CREATE|os.O_WRONLY, os.ModePerm)handelError(err)file3, err := os.OpenFile(tempFile, os.O_CREATE|os.O_RDWR, os.ModePerm) //可读可写handelError(err)defer file1.Close()defer file2.Close()defer file3.Close()//先读取临时文件中的数据,再seekfile3.Seek(0, io.SeekStart)bs := make([]byte, 100, 100)n1, err := file3.Read(bs)//handelError(err)countStr := string(bs[:n1])count, err := strconv.ParseInt(countStr, 10, 64)//handelError(err)//fmt.Println(count)//设置读,写的位置file1.Seek(count, io.SeekStart)file2.Seek(count, io.SeekStart)data := make([]byte, 1024, 1024)n2 := -1            //读取的数据量n3 := -1            //写出的数据量total := int(count) //读取的总量//复制文件for {n2, err = file1.Read(data)if err == io.EOF || n2 == 0 {fmt.Println("文件复制完毕:", total)file3.Close()//一旦复制完,就删除临时文件os.Remove(tempFile)break}n3, err = file2.Write(data[:n2])total += n3//将赋值的总量存储到临时文件中file3.Seek(0, io.SeekStart)file3.WriteString(strconv.Itoa(total))fmt.Println("已经复制了", total, "字节数据")//模拟断电if total > 5000 {panic("断电啦")}}
}func handelError(err error) {if err != nil {log.Fatal(err)}
}

第一次传输的时候,在其中模拟断电(panic),如下图所示,文件复制到  5120  字节时断电。后恢复,文件接着从5123字节开始复制,而不会从头开始复制~~

(3)遍历文件夹