ErgouTree's Blog

Redis 持久化 Redis 本身是缓存，为什么它的持久化会被如此重视呢？ 如何确保内存中的数据不因突发事件而丢失？如何在确保性能的前提下，为数据提供一个更加稳固的避风港？这是否矛盾 现在的情况差不多是这样，Redis 早期是纯缓存，但随着功能迭代，很多场景下它被当作内存数据库使用（如存储用户会话、购物车、实时排行榜）。此时持久化的价值体现在两点： 本质是因为它早已超越纯缓存，承担了数据库的职能，数据丢失会直接影响业务 Redis 提供三种持久化的方式: 分别是 RDB（Redis Database Snapshot） 和 AOF（Append Only...

什么是布隆过滤器 布隆过滤器简介 首先，布隆过滤器不是 redis 特有的东西，它是一种通用的数据结构，日常开发中，Redis 4.0 的时候官方提供了插件机制，布隆过滤器正式登场，使用 redisbloom 插件版本，但是 8.0.0 中 redis 正式添加了布隆过滤器。 布隆过滤器 (Bloom Filter)是由 Burton Howard Bloom 于 1970 年提出，它是一种 space efficient 的概率型数据结构，用于判断一个元素是否在集合中。 当布隆过滤器说，某个数据存在时，这个数据可能不存在；当布隆过滤器说，某个数据不存在时，那么这个数据一定不存在。 布隆过滤器（Bloom Filter）是一种空间效率极高的概率型数据结构，本质是 “一个二进制数组 +...

了解OpenApi 首先说明，它是一个规范，我们在项目中常用的实现是 swagger 和 knife4j OpenAPI 3.0.0 是 OpenAPI 规范的第一个正式版本，因为它是由 SmartBear Software 捐赠给 OpenAPI Initiative，并在2015年从 Swagger 规范重命名为 OpenAPI 规范。 OpenAPI 规范（OAS），是定义一个标准的、与具体编程语言无关的 RESTful API 的规范。OpenAPI 规范使得人类和计算机都能在“不接触任何程序源代码和文档、不监控网络通信”的情况下理解一个服务的作用。如果您在定义您的 API 时做的很好，那么使用 API 的人就能非常轻松地理解您提供的 API 并与之交互了。 如果您遵循 OpenAPI 规范来定义您的 API，那么您就可以用文档生成工具来展示您的 API，用代码生成工具来自动生成各种编程语言的服务器端和客户端的代码，用自动测试工具进行测试等等。 OpenAPI 本质上是一套用于描述 RESTful...

在Spring项目中如何使用MongoDB 在Spring项目遇到什么需求需要用到MongoDB 首先，MongoDB 是 NoSQL，其次，它是文档型数据库，它拥有灵活 schema、高写入性能、适合非结构化 / 半结构化数据、水平扩展友好 一般在这样的情况下，我们考虑 MongoDB 存储非结构化 / 半结构化数据 所以说，当数据结构灵活多变（如用户行为日志、商品属性（不同商品字段差异大）、JSON 格式的 API 响应缓存等），传统关系型数据库的固定表结构会导致频繁的表结构变更，而 MongoDB 的文档模型（BSON 格式，支持嵌套结构）可直接存储动态字段，无需预先定义...

索引简介 什么是索引 索引是 MongoDB 中优化查询性能的核心手段，通过创建索引可以大幅幅减少查询时的文档扫描量（从全集合扫描变为索引扫描） 本质上，索引是一种数据结构（类似书籍的目录），存储集合中某个 / 某些字段的值及其对应文档的位置信息，用于快速定位满足查询条件的文档。 索引并非没有代价，索引会占用额外存储空间，且写入操作（插入 / 更新 / 删除）会触发索引更新，可能降低写入性能。因此需平衡查询效率和写入成本，避免过度索引。 默认情况下，索引的创建是为每个集合自动为 _id 字段创建唯一索引（_id_），_id 索引可防止客户端插入两个具有相同 _id 字段值的文档。无法删除此索引。 在分片群集中，如果您不使用 _id 字段作为分分片键，那么您的应用程序必须确保 _id 字段中的值具有唯一性。为此，您可以使用一个具有自动生成的 ObjectId 的字段。 MongoDB 索引使用 B-Tree 数据结构（MySQL 是 B+Tree） 索引类型概述 MongoDB...

MongoDB Shell MongoDB Shell（简称简称 mongo 或 mongosh）是 MongoDB 官方提供的交互式命令行工具，用于连接 MongoDB 数据库并执行各种操作（如查询、插入、更新数据，管理数据库 / 集合等）。它是开发者与 MongoDB 交互的最直接方式之一，其使用的命令是 MongoDB 操作的 “原生语法” 它的本质实际上是一个基于 JavaScript 的交互式环境，支持 JavaScript 语法和 MongoDB 扩展命令。你可以在其中输入命令，实时执行并获取结果，类似 MySQL 的 mysql 命令行工具。 从 MongoDB 5.0 开始，官方推荐使用新一代 Shell 工具 mongosh（功能更完善，支持语法高亮、自动补全、更好的错误提示等），旧的 mongo 工具已逐步废弃。 也就是说，你可以使用 js 操作 MongoDB 12345678910111213141516// 在 mongosh 中执行 JS 逻辑const userList = [ { name:...

关于Ollama 安装就不说了，直接快进到拉取模型这步骤 Ollama上拉取本地模型 Ollama上可以拉取的模型在官网就能看 https://ollama.com/search image-20251024170841437 我的笔记本是 4060 RAM是48G 的，所以我直接拉取 qwen3：4b 规模的模型就可以 image-20251024170948644 下载略慢，耐心一些 byd 这个Ollama拉取模型貌似非要在 C盘 中 我改那个环境变量貌似没好使 位置在 image-20251024171105764 n8n搭建工作流 我们搭建一个基于 Ollama 本地 qwen3 的工作流，目的是能够结合今日的实时天气，去发送对应的请求然后给出出行和穿衣的建议 高德地图的 api 自己去看吧，是需要自己申请 key 的，比和风好搞多了，我这边也不是很明白，我只知道一些比较简单的 https://console.amap.com/dev/index...

MongoDB介绍 什么是MongoDB，主要是做什么的 NoSQL的内容在这里就不展开说了，我相信看到这个的大家都知道什么是 NoSQL MongoDB 是一款开源的分布式文档型 NoSQL 数据库，由 MongoDB Inc. 开发维护，由C++语言编写，核心是存储 “文档” 而非传统关系型数据库的 “行 - 列” 数据，旨在解决海量数据存储、高并发读写、灵活 schema 等传统数据库难以高效应对的问题。 作为基于分布式文件存储的数据库，它天生为处理大规模数据设计，目前是 NoSQL 数据库中市场份额最高、生态最完善的产品之一。 MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。 它支持的数据结构非常松散，是类似 Json的...

Elasticsearch 集群 ES的集群是啥样的 Elasticsearch（ES）集群是分布式搜索引擎的核心形态，通过多节点协同工作实现高可用、高扩展和负载均衡。 和其他分布式的其实差不多，ES的集群无非就是，由一个或多个节点（Node）组成的集合，共同管理整个数据集，并提供分布式查询能力。 集群通过唯一的 集群名称（默认 elasticsearch）标识，节点通过加入相同名称的集群实现协同。 节点是单个运行的 ES 实例，是集群的基本组成单元。每个节点有唯一名称（默认随机生成），可通过配置指定角色。 角色 功能说明 适用场景 主节点（Master） 管理集群元数据（索引创建 / 删除、分片分配），不处理数据和查询（默认）。 集群控制节点，建议单独部署 数据节点（Data） 存储数据（分片），处理 CRUD、搜索、聚合等操作。 承载数据和计算，需高 CPU /...

文档基本操作 Elasticsearch（ES）中的 “文档（Document）” 是存储数据的基本单元（类似数据库中的 “行”），所有业务数据最终都以文档形式存储在索引中。 文档结构：JSON 格式，包含多个字段（如id、name），字段值需符合索引映射（Mapping）定义的类型。 文档 ID：唯一标识文档，可手动指定或由 ES 自动生成。 元数据：文档自带的系统字段，如_index（所属索引）、_id（文档 ID）、_version（版本号，每次修改递增）。 文档创建 新增文档有两种方式：指定 ID（PUT）或自动生成 ID（POST） 指定 ID 新增（PUT） 适用于已知唯一 ID 的场景（如用业务 ID 作为文档 ID）。 123456PUT /索引名/_doc/文档ID{ "字段1": "值1", "字段2": "值2", ...} 示例（向users_test索引新增...

RestAPI 在前面我们讲解了手动发送的对 ES 索引库和文档的操作 本质上这些都是组装请求，携带JSON，进行我们想要的操作，通过http请求发送给ES。 REST（Representational State Transfer，表述性状态转移）是一种软件架构风格，用于构建网络应用程序。而基于 REST 风格设计的 API 就称为 RestAPI。 RestAPI 具备以下特点： 资源抽象：将网络中的一切都视为资源，比如一篇文章、一个用户、一条订单记录等，每个资源都有对应的唯一 URI（Uniform Resource Identifier，统一资源标识符）来标识，像https://example.com/api/users/1 就可以表示 ID 为 1 的用户资源。 无状态通信：客户端和服务器之间的通信是无状态的，即每次请求都包含了处理该请求所需的全部信息，服务器不会依赖之前请求的状态来处理当前请求。这使得请求可以被独立处理，提高了系统的可扩展性和可靠性。 统一接口：使用标准的 HTTP 方法（GET、POST、PUT、DELETE...

分词器 什么是分词器 分词器是 Elasticsearch 中用于处理文本数据的核心组件。它的任务是将一串原始的、连续的文本（比如一个句子或一段话），切分成一个个独立的、有意义的词条，并可能对这些词条进行规范化处理。 分词器是将用户输入的一段文本，按照一定逻辑，分析成多个词语的一种工具。 想象一下你在处理英文句子 "I'm loving the beautiful scenery!"。 未经处理：对计算机来说，这只是一长串字符。 经过分词器处理后：它会被切分成 ["i'm", "loving", "the", "beautiful", "scenery"]，并且可能进一步规范化为 ["i", "love", "beautiful", "scenery"]（去停用词、词干提取等）。 这样，计算机才能基于这些独立的词条来构建倒排索引，并进行高效的搜索。 其中，ES 内置了许多分词器： Standard Analyzer - 默认分词器，按词切分，小写处理 Simple Analyzer...

Elasticsearch的索引 深入理解 ES 的索引 Elasticsearch是一个基于Lucene库的开源搜索引擎，它提供分布式的实时文件存储和搜索，可扩展性好，并且支持通过HTTP网络接口交互，数据以JSON格式展示。 之前中我们介绍过，Elasticsearch 索引是一个逻辑命名空间，其中包含一系列的文档。每个文档由一系列字段组成，字段则是包含数据的键值对。可以将 Elasticsearch 集群视为一个数据库，索引就相当于数据库中的表，而文档类似于表中的行。 而关系数据库中的索引是与表相关联的一种数据结构，用于加速数据检索。 Elasticsearch 索引是一个包含文档的逻辑单元，且无需预先定义模式便可导入数据，具有更高的灵活性。 而 Elasticsearch 的索引机制是完全不同于MySQL的 B+Tree 结构。索引会被压缩放入内存用于加速搜索过程，这一点在效率上是完爆 MySQL 的。但是 Elasticsearch 会对全部...