排序
千万级数据深分页查询SQL性能优化实践
一、系统介绍和问题描述 如何在Mysql中实现上亿数据的遍历查询?先来介绍一下系统主角:关注系统,主要是维护京东用户和业务对象之前的关注关系;并对外提供各种关系查询,比如查询用户的关注商...
高级SQL分析函数-窗口函数
摘要:本文由葡萄城技术团队于掘金原创并首发。转载请注明出处:葡萄城官网,葡萄城为开发者提供专业的开发工具、解决方案和服务,赋能开发者。 前言 SQL语句中,聚合函数在统计业务数据结果时...
MySQL 执行计划详解 | 京东物流技术团队
1. EXPLAIN详解 本文基于MySQL 8.0编写,理论支持MySQL 5.0及更高版本。 2. EXPLAIN使用 2.1 explain分析SQL的执行计划 {EXPLAIN | DESCRIBE | DESC} tbl_name [col_name | wild] {EXPLAIN | DE...
ChatGPT大模型告诉了我SQL中替换In查询的10种方法,太赞了
一、背景 最近有网友问我,如何替换和避免SQL中的IN查询,当时听到这里,第1感觉好像就是用exists的方式,然后突然感觉这种问题应该比较发散,可能会有很多种答案,那这个时候,我们应该问问Cha...
UData查询引擎优化-如何让一条SQL性能提升数倍 | 京东云技术团队
1 UData-解决数据使用的最后一公里 1.1 背景 在大数据的范畴,我们经历了数据产业化的历程,从各个生产系统将数据收集起来,经过实时和离线的数据处理最终汇集在一起,成为我们的主题域数据,下...
SQL抽象语法树及改写场景应用 | 京东物流技术团队
1 背景 我们平时会写各种各样或简单或复杂的sql语句,提交后就会得到我们想要的结果集。比如sql语句,”select * from t_user where user_id > 10;”,意在从表t_user中筛选出user_id大于10...
Oracle获取SQL执行日志
Oracle获取SQL执行日志 在Oracle中,可以通过查询数据库的系统视图来获取已执行的 SQL 语句的日志,示例如下: -- 获取最近执行的 10 条 SQL 语句 SELECT SQL_ID, SQL_TEXT FROM V$SQL WHERE RO...
一文详解 DolphinDB SQL 标准化
为了提升用户体验,降低用户学习成本和脚本迁移复杂度,自 1.30.17 / 2.00.5 版本开始,DolphinDB 逐步支持了标准化 SQL 的书写方法;并于 1.30.22 / 2.00.10 版本起,对标准 SQL 的常用语法和...
基于 egg 用不到千行代码实现一个小巧精悍的 SQL 语言优化器(下)
作者:王润基 RisingWave Labs 内核开发工程师 在上篇文章中,我们介绍了程序优化器框架 egg,以及它如何利用 Equality Saturation 方法来对表达式进行优化。关于 Equality Saturation 最近...
【网络安全】「漏洞原理」(一)SQL 注入漏洞之概念介绍
前言 本篇博文是《从0到1学习安全测试》中漏洞原理系列的第一篇博文,主要内容是研究 SQL 注入原理,了解 SQL 语法和特性,往期系列文章请访问博主的 安全测试 专栏; 严正声明:本博文所讨论的...
流计算引擎与流数据库:从设计到场景再到未来
作者: 吴英骏 RisingWave 创始人 & CEO 在实时分析领域中,如 Apache Storm、Apache Flink 与 Apache Samza 等一批优秀的流计算引擎在过去的十多年间相继涌现出来,被诸多企业运用在了生...
Text-to-SQL小白入门(一)
摘要 本文主要介绍了Text-to-SQL研究的定义、意义、研究方法以及未来展望,主要是对Text-to-SQL领域进行一个初步的认识和了解,适合初学者入门了解。 1 引言 作为Text-to-SQL领域的小白,学习该...
如何利用随机化的 SQL 测试来帮助检测错误
作者:Martin Liu & Noel Kwan,RisingWave Labs 内核开发工程师 动机 SQLSmith 是一个用于自动生成和测试 SQL 查询的工具,它旨在通过生成随机的有效 SQL 查询并在目标数据库上执行这些查...
竞速榜实时离线对数方案演进介绍
一、背景 竞速榜是大促期间各采销群提供的基于京东实时销售数据的排行榜,同样应对大促流量洪峰场景,通过榜单撬动品牌在京东增加资源投入。竞速榜基于用户配置规则进行实时数据计算,榜单排名...
竞速榜实时离线对数方案演进介绍 | 京东云技术团队
一、背景 竞速榜是大促期间各采销群提供的基于京东实时销售数据的排行榜,同样应对大促流量洪峰场景,通过榜单撬动品牌在京东增加资源投入。竞速榜基于用户配置规则进行实时数据计算,榜单排名...
基于 egg 用不到千行代码实现一个小巧精悍的 SQL 语言优化器
作者:王润基 RisingWave Labs 内核开发工程师 今天我们来介绍一个有趣的程序优化器框架 egg。基于 egg 我们可以用不到一千行 Rust 代码,实现一个小巧精悍的 SQL 语言优化器。 我们的优化器同...
数据库是要拿来用的,不是用来PK先进性的
合集 - PostgreSQL 随笔(1)1.数据库是要拿来用的,不是用来PK先进性的07-28收起 周五参加了WAIC后又和一家上海本地的数据库厂商交流了一下午。等我要买高铁票回南京的时候已经买不到票了。好不...
求求了,数据库索引就该这么建!
前言 网上各种文档教程看了一堆,总是在说“建索引”、“建索引”,各种索引类型,可为啥我建了索引,它还是慢呢! 别着急,耐心看完,你一定有所收获。 正文 废话不多说,直接上要点。 1. 在经...
openGauss学习笔记-22 openGauss 简单数据管理-HAVING子句
openGauss学习笔记-22 openGauss 简单数据管理-HAVING子句22.1 语法格式22.2 参数说明22.3 示例 openGauss学习笔记-22 openGauss 简单数据管理-HAVING子句 HAVING子句可以让我们筛选分组后的各...
openGauss学习笔记-21 openGauss 简单数据管理-GROUP BY子句
openGauss学习笔记-21 openGauss 简单数据管理-GROUP BY子句21.1 语法格式21.2 参数说明21.3 示例 openGauss学习笔记-21 openGauss 简单数据管理-GROUP BY子句 GROUP BY语句和SELECT语句一起使...