Golang MySQL LOAD DATA LOCAL INFILE 使用

Published on in 编程语言 with 16,877 views

    在往 MySQL 写入大量数据时直接 insert 效率太低,应该使用 MySQL 的 LOAD DATA LOCAL INFILE。

    Golang 的 MySQL 驱动 https://github.com/go-sql-driver/mysql 支持这个用法,有用到的朋友可以参考如下代码:

    	db, err := sql.Open("mysql", conf.DB)
    	byts := &bytes.Buffer{}
    	for _, pv := range stat {
    		line := strings.Join([]string{"field1-data", "field2-data"}, "\x1F")
    		byts.WriteString(line)
    		byts.WriteString("\x1E")
    	}
    
    	mysql.RegisterReaderHandler("data", func() io.Reader {
    		return io.Reader(byts)
    	})
    
    	_, err = db.Exec(`LOAD DATA LOCAL INFILE 'Reader::data' INTO TABLE t_pvlogs 
    	CHARACTER SET UTF8 
        FIELDS TERMINATED BY X'1F'
        LINES TERMINATED BY X'1E'
    	(field1, field2);`)
    	if err != nil {
    		fmt.Println(err)
    
    		return
    	}
    
    	err = db.Close()
    	if err != nil {
    		fmt.Println(err)
    
    		return
    	}
    

    其中:

    • 在 import 包的时候不要用 _,因为要直接使用 mysql 包
    • 设置了字段分隔符为 \x1F,行分隔符为 \x1E

    ---- EOF ----

    Responses