«

如何使用go连接clickhouse

时间:2024-7-31 08:55     作者:韩俊     分类: Go语言


这篇文章主要介绍“如何使用go连接clickhouse”的相关知识,小编通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希望这篇“如何使用go连接clickhouse”文章能帮助大家解决问题。

    近段时间业务在一个局点测试clickhouse,用java写的代码在环境上一直连接不上clickhouse服务,报错信息也比较奇怪,

    No client available
    ,研发查了一段时间没查出来,让运维这边继续查:

    运维同学查了各种监听配置,防火墙这些,都没什么问题,但是没有明确证据能够提供证明通过http方式能访问到数据库,时间拖得比较久,项目上就急了,让尽快找到问题,所以就用go写了个小工具拉到集群上试试看8123这个端口到底能不能正常提供服务。

    正文

    先安装必要的库,clickhouse官方提供了2个版本的库,v1和v2,v1版本已经明确不会继续更新了,所以用新不用旧哈,可以用官方库的方式或者用dsn的方式,这个我下面一起说,安装库的命令:

    go get github.com/ClickHouse/clickhouse-go/v2

    构造结构体

    编写结构体,存放基本信息:

    type Clickhouse struct {
        Host       string    // 服务端主机
        Port       int       // 端口
        DB         string    // 数据库
        User       string    // 用户名
        Password   string    // 密码
        Connection *sql.DB   // 建立连接后存放连接
        Rows       *sql.Rows // 运行sql后的结果存放
    }

    Connection
    主要是用来建立连接后把相关信息存放,这样方便继续调用其他的方法,因为我的主要目的是测试数据库能否连通和运行Sql,所以这里
    Rows
    用来存放测试的select语句的结果。

    参数读取

    这块没什么好说的,连接的参数直接从命令行读取,用flag包就好:

    var (
        host  = flag.String("host", "localhost", "clickhouse host")
        port  = flag.Int("port", 8123, "clickhouse port")
        user  = flag.String("user", "default", "clichouse user")
        pass  = flag.String("password", "", "clickhouse password")
        db    = flag.String("db", "default", "clickhouse database")
        query = flag.String("query", "show tables", "query you will run")
        mode  = flag.String("mode", "driver", "driver or dsn")
    )

    前面几个参数不用解释,主要是

    query
    mode
    query
    是要运行的sql语句,我们默认就认为跑的是select语句,然后是
    mode
    ,允许选择模式,用户可以使用
    driver
    或者
    dsn
    两种模式进行连接,我写了两个不同的方法,其实也可以在一个Connect方法里做判断,看个人习惯;

    建立连接

    接下来我们建立数据库连接:

    // 
    func (c *Clickhouse) Conn() {
        c.Connection = clickhouse.OpenDB(&clickhouse.Options{
            Addr: []string{fmt.Sprintf("%s:%d", c.Host, c.Port)},
            Auth: clickhouse.Auth{
                Database: c.DB,
                Username: c.User,
                Password: c.Password,
            },
            Settings: clickhouse.Settings{
                "max_execution_time": 60,
            },
            DialTimeout: 5 * time.Second,
            Compression: &clickhouse.Compression{
                Method: clickhouse.CompressionBrotli,
                Level:  5,
            },
            // 必须添加协议方式
            Protocol: clickhouse.HTTP,
        })
    
    }
    
    func (c *Clickhouse) ConnDsn() {
        conn, err := sql.Open("clickhouse", fmt.Sprintf("http://%s:%d/%s?username=%s&password=%s", c.Host, c.Port, c.DB, c.User, c.Password))
        if err != nil {
            log.Printf("Connect to the server failed, %s.
    ", err.Error())
            return
        }
        c.Connection = conn
    }

    参考官网的实例,实现两种连接方式,关闭方法就直接把sql.DB和sql.Rows都关闭就可以了:

    func (c *Clickhouse) Close() {
        c.Connection.Close()
        c.Rows.Close()
    }

    发起查询

    查询使用Query方法进行:

    func (c *Clickhouse) Select(query string) {
        rows, err := c.Connection.Query(query)
        if err != nil {
            log.Printf("Query select failed, %s.
    ", err.Error())
            return
        }
        c.Rows = rows
    }

    查询的结果我保存到Rows里,方便后面的解析

    结果解析

    比较麻烦的就是结果的解析了,用过

    database/sql
    库的哥们都知道,这个库只提供了基础的一些接口,查询出来一般用Scan去获取数据,用法类似这样:

    问题就在于,Scan要指定和sql查询出来一样多的变量,对于我们这个小工具来说,sql是不一定的,所以查询出来的字段数量肯定yes不定的,如何动态处理这个问题,肯定是不能直接写一个结构体解决的,先看我的代码:

    func (c *Clickhouse) Show() {
        cols, err := c.Rows.Columns()
        if err != nil {
            log.Printf("Failed to get table columns, %s.
    ", err.Error())
            return
        }
        // 一行数据,使用any是为了避开数据类型的问题
        var rows = make([]any, len(cols))
        // 存实际的值,是byte数组,长度以列的数量为准
        var values = make([][]byte, len(cols))
        for i := 0; i < len(cols); i++ {
            rows[i] = &values[i]
        }
        // 打印表头
        fmt.Println(strings.Join(cols, ","))
        for c.Rows.Next() {
            if err = c.Rows.Scan(rows...); err != nil {
                fmt.Println(err)
                return
            }
            var vString []string
            for _, v := range values {
                vString = append(vString, string(v))
            }
            // 逐行打印出来
            fmt.Println(strings.Join(vString, ","))
        }
    }

    大概思路是这样:

      Scan需要传入每个用来绑定单行数据值的变量,所以values是实际存储数据的byte数组,然后把数组的每个元素的地址再存入到rows数组中;

      现在可以用rows[index]这样的方式来访问values中的值了,把rows直接作为入参传入到Scan,在每次循环中,把values的值转成逗号分割的字符串,直接打印

    结果验证

    OK,现在逻辑完成了,我们运行测试一下,

    go run main.go -host hostname -password paswword -query "select * from clusters" -db system -mode dsn

    只查询2个字段,2行数据:

    标签: golang

    热门推荐