标签： sqlite

发布于

深入 ‘Checkpointer’ 的性能瓶颈：在大规模并发下，Sqlite 与 Postgres 持久化的吞吐对比

各位同仁，下午好！ 今天，我们将深入探讨一个在现代系统设计中至关重要的组件——Checkpointer。特别是在机器学习训练、分布式计算、长时间运行的批处理任务等场景下，Checkpointer 扮演着保存系统状态、实现容错与恢复的核心角色。然而，它的性能表现，尤其是在高并发下的持久化吞吐量，往往成为整个系统的瓶颈。 本次讲座，我们将聚焦于两种广受欢迎的持久化存储方案：轻量级的嵌入式数据库 Sqlite 和强大的客户端-服务器架构数据库 PostgreSQL。我们将从设计、实现、性能瓶颈、以及优化策略等多个维度，对比它们在大规模并发场景下作为 Checkpointer 持久层时的吞吐能力。 1. Checkpointer 的核心价值与基本概念 Checkpointer 的核心功能是在系统运行过程中，周期性地或在特定事件触发时，将当前的关键状态保存下来。这使得系统即使在发生故障（如断电、程序崩溃）后，也能从最近的检查点恢复，避免从头开始，从而节省大量时间和计算资源。 一个典型的 Checkpointer 需要提供以下功能： 保存状态 (Save State): 将当前系统的全部或部分状态 …

继续阅读“深入 ‘Checkpointer’ 的性能瓶颈：在大规模并发下，Sqlite 与 Postgres 持久化的吞吐对比”

发布于

SQLite Wasm：在浏览器中运行完整的 SQL 数据库并持久化到 OPFS

SQLite Wasm：在浏览器中运行完整的 SQL 数据库并持久化到 OPFS 大家好，欢迎来到今天的专题讲座！今天我们不聊前端框架或状态管理，也不讲 React 或 Vue 的新特性。我们来聊聊一个可能你还没怎么接触过、但非常强大且实用的技术：如何在浏览器中使用 SQLite WebAssembly（Wasm）构建一个完整、可持久化的 SQL 数据库系统。 如果你是一名前端开发者，正在为复杂数据存储而烦恼；或者你在开发 PWA（渐进式网页应用），希望实现离线数据操作能力；又或者你只是对“在浏览器里跑数据库”这件事感到好奇——那么这篇技术文章就是为你准备的。 一、为什么选择 SQLite + Wasm？ 1.1 传统方案的问题 过去，在浏览器中做本地数据存储，通常有以下几种方式： localStorage / sessionStorage：简单但结构单一，无法做复杂查询。 IndexedDB：功能强大，支持索引和事务，但 API 复杂，学习成本高。 WebSQL（已废弃）：曾经是标准，现在没人用了。 这些方案都无法像 SQL 那样提供清晰的关系型建模能力和灵活的查询语法。而 SQLi …

继续阅读“SQLite Wasm：在浏览器中运行完整的 SQL 数据库并持久化到 OPFS”

发布于

Python高级技术之：`Python`的`SQLite`：在`unittest`和小型应用中的使用。

嘿，各位，今天咱们来聊聊Python里那个“小而美”的数据库——SQLite，以及它在unittest和小型应用中的妙用。 先声明一下，我不是那种会跟你吹嘘“五分钟精通SQLite”的速成班讲师，咱们要讲的是实实在在能用上的东西。准备好了吗？那我们就开始吧！ SQLite：数据库界的瑞士军刀 如果把数据库比作工具箱，那SQLite绝对是那把瑞士军刀。它体积小巧，无需单独的服务器进程，直接读写文件，这意味着啥？意味着部署超简单！想想你用MySQL或者PostgreSQL的时候，是不是得先装个服务器，配置一堆东西？SQLite就省了这些麻烦。 它虽然小，功能可一点都不弱。支持标准的SQL语法，事务，索引，触发器等等，该有的都有。特别适合小型项目，测试环境，或者嵌入式设备。 Python与SQLite：天生一对 Python自带了sqlite3模块，让你能轻松地操作SQLite数据库。这简直是程序员的福音！不用额外安装任何东西，直接就能用。 import sqlite3 # 连接到数据库 (如果文件不存在，会自动创建) conn = sqlite3.connect(‘my_database. …

继续阅读“Python高级技术之：`Python`的`SQLite`：在`unittest`和小型应用中的使用。”

发布于

JS `SQLite` in Browser (`sql.js`)：浏览器端关系型数据库

各位靓仔靓女们，今天咱们来聊点刺激的——如何在你的浏览器里玩转关系型数据库！没错，就是那个你熟悉的SQL，但这次它是在你的浏览器里跑，是不是感觉有点赛博朋克？ 开场白：SQL.js，你的浏览器里的数据库小精灵 想象一下，你有一个需要大量结构化数据存储和查询的Web应用，但你又不想依赖服务器，或者想让你的应用拥有离线能力。这时候，sql.js就如同阿拉丁神灯里的精灵，嗖的一下，给你变出一个数据库来。 sql.js是一个用JavaScript编译的SQLite数据库。简单来说，它就是把SQLite这个著名的关系型数据库引擎，用Emscripten编译成了JavaScript代码。这意味着你可以在任何支持JavaScript的浏览器环境中使用它，而无需任何服务器端的支持。 第一部分：快速上手，让数据库飞起来 咱们先来个最简单的例子，让你感受一下sql.js的魅力。 引入sql.js 首先，你需要引入sql.js库。你可以从CDN或者npm下载它。这里我们使用CDN的方式： <script src=”https://cdnjs.cloudflare.com/ajax/libs/sql.j …

继续阅读“JS `SQLite` in Browser (`sql.js`)：浏览器端关系型数据库”

发布于

SQLite 数据库：Python 内置轻量级数据库应用

SQLite 数据库：Python 内置轻量级数据库应用 – 一场与数据共舞的轻盈之旅 各位观众，各位听众，各位代码爱好者们！欢迎来到今天的“数据炼金术”讲座！今天，咱们不谈那些高大上的分布式数据库，也不聊那些动辄TB级别的数据仓库，而是要聚焦于一个轻巧、便捷、但又威力十足的数据库——SQLite！ 🐍 你可能会想：SQLite？听起来就像迷你版的数据库，能干啥大事儿？别急，让我用一句谚语来点醒你：“麻雀虽小，五脏俱全！”SQLite 就像 Python 这门语言一样，以其简洁、易用和强大的功能赢得了开发者们的喜爱。它就像你口袋里的瑞士军刀，随时准备好解决各种数据管理的小难题。 那么，今天我们将深入探讨以下几个问题： SQLite 是何方神圣？ 它的身世背景、核心特点，以及在浩瀚的数据库宇宙中的定位。 为何选择 SQLite？ 细数它的优点，让你明白在哪些场景下它才是你的最佳拍档。 Python 与 SQLite 的完美结合： 手把手教你如何用 Python 操作 SQLite，体验行云流水般的编程体验。 SQLite 的高级用法： 探索事务、索引、视图等高级特性，让你的数 …

继续阅读“SQLite 数据库：Python 内置轻量级数据库应用”