postgres磁盘空间分析2024-12-26postgres page_header heap_page_items VACUUM view约 2663 字 预计阅读 6 分钟Postgres内部分析 创建一个带有索引的表。 1 2 3 4 5 CREATE TABLE asset( id integer, s char(100) ) CREATE INDEX asset_s ON asset(s); 页与元组 page_header 函数返回以下项: lsn: 记录日志序列号(Log Sequence Num阅读更多
Python Progress Bar2024-12-26python progress bar约 614 字 预计阅读 2 分钟小工具分享 进度条,表格美化显示等,推荐使用rich库。 经常需要用python处理一些小任务,比如数据迁移,数据处理,数据分析。在一些特定环境阅读更多
Postgres事务死锁介绍及建议2024-12-13postgres lock transactions约 2692 字 预计阅读 6 分钟谓词锁 在 “导致写入偏差的幻读” 中, 幻读(phantoms) 的问题。即一个事务改变另一个事务的搜索查询的结果。具有可串行化隔离级别的数据库必须阅读更多
在PostgreSQL中实现一个递归无限归类查询2024-11-22postgres recursive约 1207 字 预计阅读 3 分钟背景 由于某些特殊业务,允许唯一id更新,通常这类业务的id是动态计算生成的。 比如,根据请求日志分析某个应用的api有那些,那些请求存在安全隐阅读更多
PostgreSQL高级查询,多个类型的值,查询出现次数最多的值,并在多个值时排除特定的值2024-11-15postgres peewee SQL Python约 1601 字 预计阅读 4 分钟背景 在我们遇到的真实案例中,在某个业务订单的类型,存在多个,我们需要查询该订单下出现最多的类型是什么? 但是由于业务原因,会有一个默认类型,导阅读更多
实战vector采集nginx日志,并使用clickhouse存储2024-11-13Python vector nginx clickhouse docker约 1901 字 预计阅读 4 分钟背景 针对web应用访问情况等,记录日志并使用分析。 vector 对于日志采集并存储的方法非常多,这里主要介绍使用rust开发的vector。 vector 是什么? Vector阅读更多
PostgreSQL中批量生成测试数据2024-11-08postgres pgcrypto generate_series random约 1161 字 预计阅读 3 分钟背景 使用postgres数据库,在创建表实现查询,经常需要构建数据。 通过sql语句批量插入测试数据。 创建扩展 使用pgcrypto实现uuid阅读更多
PostgreSQL基于Patroni+HAProxy+zookeeper实现高可用主从数据库2024-11-06postgres haproxy zookeeper patroni docker约 2903 字 预计阅读 6 分钟背景 PostgreSQL是一款功能,性能,可靠性都是不输于商业数据库的开源数据库。在部署PostgreSQL到生产环境中时,选择适合的高可用阅读更多
在PostgreSQL中大事务仅允许一个调用2024-11-04postgres lock transaction约 251 字 预计阅读 1 分钟背景 在一个维度比较广的存储过程中实现一个事务处理,并发时仅允许一个调用。 需求 由于特殊业务,在物化视图,没办法满足的情况下,实现一个缓存表,这阅读更多
用Postgres实现Embedding - (实现了基于文档的问答索引)2024-10-22postgres vector pgvector约 1880 字 预计阅读 4 分钟背景 随着大模型的出现,用户可以直接以自然语言提问并获得结果,这种交互方式,将来会逐步取代基于关键字的搜索。 一个预训练的大模型包含通识知识,但阅读更多