ClickHouse 学习笔记

docker 部署clickHouse

1.服务器部署
命令下载包

 docker pull yandex/clickhouse-server 服务端
 docker pull yandex/clickhouse-client 客户端

2.启动服务,
端口未做修改,外部暴露 8123端口

docker run -d --name ck-server --ulimit nofile=262144:262144 -p 8123:8123 -p 9000:9000 -p 9009:9009 yandex/clickhouse-server

启动容器 ck-server 服务。

3、进入命令操作

--查询 default 库里的表
select name from  system.tables  where database='default' 

--建表 (直接复制)
create table aaa(
id String,
name String
)
ENGINE = MergeTree
 PARTITION BY name 
ORDER BY (name )
 SETTINGS index_granularity = 8192

--插入
insert into `default`.aaa (id,name) values (1,'test')

--查询
select * from aaa

--修改
ALTER table `default`.bsc_transfer update name = 2  where id = 1

--删除表
DROP TABLE IF EXISTS aaa

--删除数据
alter table `default`.aaa delete  where 1=1

3、进入Clickhouse容器

docker exec -it 容器id /bin/bash

容器id 这里是:ck-server

如:

docker exec -it ck-server /bin/bash

添加用户: vim /etc/clickhouse-server/users.xml
ps: 需要安装vim

apt-get update
apt-get install vim

初次改密码:
找到标签 users (这里是默认default用户的密码是空的)

 <default>
            <password></password>
 </default>

增加新用户在 后面追加 (用户 root 密码 123456)

<root>
<password></password>
        <networks incl="networks" replace="replace">
            <ip>::/0</ip>
        </networks>
        <profile>default</profile>
        <quota>default</quota>
</root>

最后 重启服务

docker restart ck-server 

没出意外,你就可以用工具链接成功,如下图:

4、数据库同步

在 ClickHouse 中启用物化引擎

SET allow_experimental_database_materialized_postgresql=1

创建要复制的新数据库并定义初始 schema

CREATE DATABASE test
ENGINE = MaterializedPostgreSQL('localhost:5432', 'postgres', 'user', 'pwd')
SETTINGS materialized_postgresql_schema_list = 'public,pub2';

test:数据库
user:pgSql用户名
pwd: pgSQ数据库密码

materialized_postgresql_schema_list: 监听 schema 名称

PS:抽离数据默认使用 schema。
设置 PostgreSQL 数据库表的逗号分隔列表,将通过 MaterializedPostgreSQL 数据库引擎进行复制。
materialized_postgresql_schema

SETTINGS materialized_postgresql_schema = 'onlyOne';

如多个schema使用:
materialized_postgresql_schema_list

SETTINGS materialized_postgresql_schema_list = 'public,pub2,pub3';

切记!!!

搞定,打完收工。没有意外就成功!不成功是多么不小心。。。。

clickhouse相关知识站点:
clickhouse中文官方文档:什么是ClickHouse? | ClickHouse文档


一行虎 发布于 2022-07-31 15:06

nvarchar和varchar的区别

1、varchar是非Unicode可变长度类型,nvarchar是Unicode可变长度类型。

2、varchar和nvarchar的最大长度不一样,nvarchar的长度设置必须为1和4000之间。varchar的长度设置必须是1和8000之间。

3、varchar能存储的字节数就是他的长度。nvarchar能存储的字节数是它长度的2倍。

区别:

① 从存储方式上,nvarchar是按字符存储的,varchar是按字节存储的。

② 从存储量来看,varchar是比较省空间的,因为存储的大小就是字节的实际长度,而nvarchar是双字节存储。

③ 使用上,如果存储内容是英文字符而没有汉字或者其他语言,建议使用的是varchar,含有汉字的使用nvarchar,因为nvarchar使用的Unicode编码,统一的编码,会减少乱码出现的几率。

总结:

现在的设备,存储空间的大小已经不受限制。无论是语言的范围,和存储空间的范围,nvarchar都占有很大的优势。

做项目的数据库建议选nvarchar。


一行虎 发布于 2022-07-21 15:07

postgresql数据库查询锁表信息及解锁

一、查询PG_STAT_ACTIVITY的信息

select
    T.PID,
    T.STATE,
    T.QUERY,
    T.WAIT_EVENT_TYPE,
    T.WAIT_EVENT,
    T.QUERY_START
from
    PG_STAT_ACTIVITY T
where
    T.DATNAME = '数据库名';

二、查询PG_STAT_ACTIVITY中的死锁信息

select
    T.PID,
    T.STATE,
    T.QUERY,
    T.WAIT_EVENT_TYPE,
    T.WAIT_EVENT,
    T.QUERY_START
from
    PG_STAT_ACTIVITY T
where
    T.DATNAME = '数据库名'
    and T.WAIT_EVENT_TYPE = 'Lock';

三、通过pid解锁死锁信息

select PG_CANCEL_BACKEND('pid');

PS:如果以上操作都不行。那就重启数据库吧(^_^)


一行虎 发布于 2022-07-21 14:51