咕咕咕的小破站 👋🏼

基础环境准备（可选）虚拟机配置基础环境这里选择 multipass 虚拟机。（但只是使用它创建虚拟机）当然，如果有真实物理机，并且他们网络是直通的，那可以省去很多配置的麻烦。这里大部分关于虚拟机的配置应该都可以省略。但很可惜，我并没有那么多机器或者云服务器。但好在我的电脑（windows11）内存有64G，足够我随意的折腾。创建三台虚拟机（一主二从）123multipass launch --name=master --cpus=2 --m=4096MiB -d 20G 24.04multipass launch --name=worker1 --cpus=2 --m=4096MiB -d 20G 24.04multipass launch --name=worker2 --cpus=2 --m=4096MiB -d 20G 24.04基础网络配置（固定ip配置）这里我需要为每台虚拟机都设置一个固定ip，防止机器重启后ip会发生变化，导致需要频繁改一些配置。Multipass 默认通过 NAT 网络 + DHCP 动态分配 IP将宿主机ip固定为192.168.1.5master 节点....

缓存淘汰算法概述缓存淘汰算法用于在缓存空间不足时决定哪些数据应该被移除，以腾出空间存储新数据。两种最常用的算法是：LRU (Least Recently Used) - 最近最少使用，根据数据的历史访问记录来进行淘汰数据LFU (Least Frequently Used) - 最不经常使用，根据数据的历史访问频率来淘汰数据LRU (最近最少使用) 算法LRU 基于时间局部性原理，认为最近被访问的数据在将来更有可能被再次访问。当缓存满时，LRU 会淘汰最久未被访问的数据。Go 实现使用哈希表实现 O(1) 的查找使用双向链表维护访问顺序每次访问数据时，将其移动到链表头部淘汰时从链表尾部移除数据12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576package utilsimport ("container/list""sync")// LRUCache 泛....

Start今天的需求是在地图上撒了很多点，右击这个点时，可以选择一个半径，呈现在这个半径范围内的点。和之前一个在地图上框选多边形区域的需求一样，需要通过经纬度来计算过滤数据。这里是通过 Oracle 的空间运算符实现的。主要使用下面两个：SDO_WITHIN_DISTANCEIdentifies the set of spatial objects that are within some specified distance of a given object, such as an area of interest or point of interest.标识位于给定对象（如感兴趣区域或感兴趣点）的某个指定距离内的空间对象集。SDO_INSIDEChecks if any geometries in a table have the INSIDE topological relationship with a specified geometry. Equivalent to specifying the SDO_RELATE operator with ‘mask=INSIDE....

springboot 开发参考 Spring for Apache Kafka\Introduction\Quick Tour第四章 - producer开发producer概览Kafka producer 是负责向 Kafka 写入数据的应用程序。Kafka producer在设计上要比consumer简单一些，因为它不涉及复杂的组管理操作，即每个producer都是独立进行工作的，与其他producer实例之间没有关联，因此它受到的牵绊自然也要少得多，实现起来也要简单得多。producer的首要功能就是向某个 topic的某个分区发送一条消息，所以它首先需要确认到底要向 topic 的哪个分区写入消息——这就是分区器（partitioner）要做的事情。Kafka producer 提供了一个默认的分区器。对于每条待发送的消息而言，如果该消息指定了 key，那么该 partitioner 会根据 key的哈希值来选择目标分区；若这条消息没有指定 key，则 partitioner 使用轮询的方式确认目标分区——这样可以最大限度地确保消息在所有分区上的均匀性。当然producer的A....

第一章 - 认识 Apache KafkaKafka 的核心功能是什么？一言以蔽之，高性能的消息发送与高性能的消息消费。消息引擎系统（Messaging system）用于在不同应用间传输消息的系统，消息引擎系统中的消息自然是最关键的因素之一。其实，这里的消息可以是任何形式的数据，比如电子邮件、传真、即时消息，甚至是其他服务等，总之都是对企业有价值的数据。在设计一个消息引擎系统时需要考虑的两个重要因素：消息设计。传输协议设计。消息设计消息引擎系统在设计消息时一定要考虑语义的清晰和格式上的通用性。一条消息要有能够完整清晰表达业务的能力，它不能是含糊不清、语义不明甚至无法处理的。同时，为了更好地表达语义以及最大限度地提高重用性，消息通常都采用结构化的方式进行设计。比如SOAP协议中的消息就采用了XML格式，而Web Service也支持JSON格式的消息。Kafka的消息是用二进制方式来保存的，但依然是结构化的消息。传输协议设计消息传输协议指定了消息在不同系统之间传输的方式。这类协议可能包括任何能够在不同系统间传输消息或是执行语义操作的协议或框架。比如现在主流的 RPC 及序列化框架，包括....

前言今天是2025年1月28日，除夕夜晚上十点半。今年家里是十分的冷清，没有什么过年的氛围。不过，可能向来如此吧。除夕夜还在看这些，莫名有些伤感。想起一句话：我们是除夕夜街头，即将放飞理想的有志青年。也许吧，还是看书吧第五章 - 大规模并发异常传递编写并发代码，特别是在分布式系统中，你的系统中非常容易出现一些奇怪问题，并且难以理解为什么会发生这种情况。为了将你自己、你的团队、你的用户从众多的痛苦中拯救出来，你需要仔细考虑异常(error)是如何通过分布式系统传递的，以及问题最终将如何呈现给使用者。异常处理十分的重要，首先来明确异常是什么，什么时候发生，提供了哪些好处。出现异常表示你的系统进入了一个无法满足用户操作的状态，这个操作可能是显式的，也可能是隐式的。这时系统需要传达几个信息：发生了什么这部分异常信息包含了对异常事件的描述。例如：“磁盘已满”，“连接被重置”，“证书过期”。这些信息可能是被一些代码隐式的表达出来的，你可以用一些上下文来修饰这些信息来帮助用户理解发生了什么问题。发生在什么时间、什么位置异常应当总是包含完整的栈轨迹信息，从调用的启动方式开始，以异常的实例结尾。栈轨迹信....

第四章 - Go语言的并发模式前面讲了Go语言的并发原语的基本原理，这章要讨论如何将它们组合成模式，以帮助保持系统的可拓展性和可维护性。约束在编写并发代码的时候，有以下几种不同的保证操作安全的方法。我们已经介绍了其中两个：用于共享内存的同步原语（如sync.Mutex)。通过通信共享内存来进行同步（如channel)。但是，在并发处理中还有其他几种情况也是隐式并发安全的：不会发生改变的数据。受到保护的数据。从某种意义上讲，不可变数据是理想的，因为它是隐式地并行安全的。每个并发进程可能对相同的数据进行操作，但不能对其进行修改。如果要创建新数据，则必须创建具有所需修改的数据的新副本。这不仅可以减轻开发人员的认知负担，并且可以使程序运行得更快，这将使程序的临界区减少（或者完全消除临界区)在G0语言中，可以通过编写利用值的副本而不是指向内存值的指针的代码来实现此目的。有些语言支持使用明确不变的值的指针，然而，G0语言不在其中。“约束”还可以使开发人员减少临界区的长度以及承担更小的认知负担。约束并发值的技术比简单传递值的副本要复杂一点，所以本章我们将深入介绍这些约束技术。“约束”是一种确保了信息....

第三章 - Go语言并发组件这章介绍Go中的特性，以及它如何支持并发。（终于到实际使用了goroutinegoroutine是Go语言程序中最基本的组织单位之一。每个Go语言程序都至少有一个goroutine:main goroutine，它在进程开始时自动创建并启动。几乎在所有的项目中，你迟早会使用goroutine来解决Go语言编程遇到的问题。所以，它们是什么？简单地说，goroutine是一个并发的函数（记住：不一定是并行的），与其他代码一起运行。你可以简单地在一个函数之前添加go关键字来触发：go sum()同样可以作为匿名函数使用！这里有一个例子和前面的例子一样。然而，我们不是创建一个基于函数的goroutine,而是创建一个基于匿名函数 goroutine:go func() { // ... }()下面的内容来看看 goroutine 是如何工作的？它们是OS线程吗？绿色线程？我们能创造多少个 goroutine？Go语言中的goroutine是独一无二的（尽管其他的一些语言有类似的并发原语)。它们不是OS线程，也不是绿色线程（由语言运行时管理的线程），它们是一个更高级别....

前言又开新书了，按照原来的计划，其实这次应该读的是 Kafka 相关的。但奈何计划赶不上变化。前几天给鱼排论坛写了聊天室的消息分发节点 rhyus-golang，纯纯的多线程需要考虑并发的应用（虽然并发不高）。所以变成了并发相关的书。这篇计划阅读前两章，是关于并发概念的。第一章 - 并发概述书中前面关于摩尔定律、Web Scale和云计算相关的话题就跳过了。为什么并发很难？众所周知，并发代码是很难正确构建的。它通常需要完成几个迭代才能让它按预期的方式工作，即使这样，在某些时间点（更高的磁盘利用率、更多的用户登录到系统等)到达之前，bug在代码中存在数年的事情也不少见，以至于以前未被发现的bug在后面显露出来。这段话我是有点体会的，上面的节点程序我迭代了很多次，很多问题都得在高并发或者高负载时才会出现。竞态条件当两个或多个操作必须按正确的顺序执行，而程序并未保证这个顺序，就会发生竞争条件。大多数情况下，这将在所谓的数据中出现，其中一个并发操作尝试读取一个变量，而在某个不确定的时间，另一个并发操作试图写入同一个变量。下面是一个基本示例：1234567891011121314package ....

2024年过的平平淡淡，让我回忆一下，然后下面就是流水账时间…上半年上半年都在实习公司度过，因为去年年底项目才上线，年初也比较忙，没有什么记录，基本就是上班。不过因为忙，人手不够，所以也让我开始写Java了，不再是低代码平台和写写sql了。（不过，写CURD接口和写sql区别也不是特别大）三月份配了台新电脑，花了四千三。内存也是上到了64G，不过很少跑满，跑一半的情况都比较少。不过基本不用担心内存不够的问题了，minecraft几百个mod的大型整合包我也能边开服务器边开客户端玩。可惜的就是板U，买了Q1HY，工程测试的版本。便宜是真便宜，就是不稳定，频率高了会蓝屏。现在也基本默频在用，没有超频了。到五月份，重要的事情就是毕设答辩了。毕业设计这个东西的代码我从去年8月左右在实训的时候就开始写了。那时候很闲，处于慢慢写的状态，基本完成的差不多了。也庆幸那时候就开始了，不然按实习那个工作强度，再加上毕设的代码和论文。会过得非常痛苦。论文基本上第一遍就过了，后面按导师的意见改改格式，大体上的内容基本没有改动。然后就是五月回学校答辩，答辩其实很水，感觉还是ppt和讲为主。最后展示系统的时候，三....

过程又又又被攻击了，这次是通过stp挂在公网的rdp。方便我远程访问家里云。起初是看到了v站的一篇帖子：求助，被入侵了，如何减小损失？大致内容就是他通过ftp挂在公网的rdp被入侵了，常用的网站密码都泄露了。然后我就想起来，这人的操作和我一样啊。赶紧上服务器看下日志：看到日志这么大我就知道坏了，进去翻了一下，基本就是几个ip一直在连接：再去翻一下家里云windows的日志：基本就是用几个用户名在一直尝试，总共试了三万多次，我看日志的时候还在试是最难绷的。把ftp服务听了之后，想想有什么办法防止这种情况。windows的服务被暴露出来，首先肯定是从windows源头入手，看看有什么办法阻断。看了windows的安全策略，默认多次登陆失败后账户会被锁定10分钟。这个调不调整问题也不大，因为它似乎跑的是字典，连我的用户名都没试出来。（试出来的概率也不大另外就是加ip黑名单，这个不现实。因为ftp服务，所有的请求都是从公网的服务器转发来的。但是在服务器的层面加ip黑名单是可以的。bash脚本我就不是很熟了，连夜和gpt一起写了个脚本，检测ftp的日志，把频繁访问的都加到防火墙的ip黑名单里。最....

第九章 - 数据库服务器中的数据库Redis服务器将所有数据库都保存在服务器状态redis.h/redisServer结构的db数组中，db数组的每个项都是一个redis.h/redisDb结构，每个redisDb结构代表一个数据库：123456struct redisServer { // ... // 一个数组，保存着服务器中的所有数据库 redisDb *db; // ...};在初始化服务器时，程序会根据服务器状态的dbnum属性来决定应该创建多少个数据库：123456struct redisServer { // ... // 服务器的数据库数量 int dbnum; // ...};dbnum属性的值由服务器配置的database选项决定，默认情况下，该选项的值为16，所以Redis服务器默认会创建16个数据库。切换数据库每个Redis客户端都有自己的目标数据库，每当客户端执行数据库写命令或者数据库读命令的时候，目标数据库就会成为这些命令的操作对象。默认情况下，Redis客户端的目标数据库为0号数据库，但客户端可以通过执行SELECT命令来切换目标数据库。在服务器内部，客户....

前言有点遗憾，梁敬彬和梁敬弘老师关于数据库的第二本佳作《收获，不止SQl优化》短期内可能不会去看了。正如老师在《收获，不止Oracle》第一章中所写，数据库是个庞大的体系，应该根据自己的需求去学习。目前看来，时机未到。我需要更多的积累之后，再去阅读关于SQL优化的书。毕竟没有足够的使用经验，很难达到“哦，原来可以这么优化”的顿悟的感觉。所以暂且搁置。开始 Redis 的学习，知识的广度也很重要。《Redis设计与实现》第一部分：数据结构与对象包含第2-8章。第一章是引言，介绍书的大概结构和阅读顺序，这里省略。第二章 - 简单动态字符串Redis 没有直接使用 C 语言传统的字符串（以空字符结尾的字符数组），而是自己实现了一种新的字符串类型，叫做简单动态字符串，简称SDS（Simple Dynamic String）。并使用 SDS 来作为 Redis 的默认字符串表示。Redis 中在一些无需对字符串进行修改的地方会使用C字符串作为字符串字面量（string literal），比如打印日志等。而在需要修改字符串时，会使用 SDS 表示字符串值。比如：1set msg "hello wo....

BitTorrent协议规范BitTorrent是一个用于分发文件的协议。它通过URL识别内容，并设计为与网络无缝集成。与普通HTTP相比，它的优势在于，当多个用户同时下载同一文件时，下载者之间会互相上传，这使得文件源能够以适度的负载支持大量下载者。BitTorrent文件分发包括以下实体：普通Web服务器静态“元信息”文件BitTorrent跟踪器“原始”下载者终端用户的Web浏览器终端用户的下载器理想情况下，一个文件应该有多个终端用户。服务端准备步骤：启动一个跟踪器（或更可能是已经在运行一个）。启动一个普通的Web服务器，例如Apache，或已经有一个。将.torrent扩展名与MIME类型application/x-bittorrent关联（或已经完成）。使用要服务的完整文件和跟踪器的URL生成一个元信息（.torrent）文件。将元信息文件放置在Web服务器上。从其他网页链接到元信息（.torrent）文件。启动一个已经拥有完整文件的下载器（“原点”）。用户下载步骤：安装BitTorrent（或已经完成）。浏览网页。点击.torrent文件的链接。选择在本地保存文件的位置，或选....

BencodeBencode（发音为Bee-Encode）是 BitTorrent 用在传输数据结构的编码方式。这种编码方式支持四种资料类型：字符串整数串列字典表Bencode 最常被用在 .torrent 档中，文件里的元数据都是被 Bencode 编码过的字典表。这种编码方法也被 Tracker 返回响应时使用。虽然比用纯二进制编码效率低，但 Bencode 结构简单而且不受字节存储顺序影响（所有数字以十进制编码），这对于跨平台性非常重要。并且，Bencode具有较好的灵活性，即使存在故障的字典键，只要将其忽略并更换新的就能兼容补充。编码方法Bencode 使用 ASCII 字符进行编码。Bencode（BitTorrent 编码）是一种简单且轻量级的序列化格式，主要用于 BitTorrent 协议中的元数据文件（.torrent 文件）。Bencode支持四种基本类型：整数、字符串、列表和字典。下面是 Bencode 的详细介绍，包括其语法、数据类型和一些示例。整数语法：i<数字>e int 整数 end示例：i123e 表示整数 123负数和零也是有效的，例如 i-....

Start今天有个需求中需要定时同步数据，同步的判断条件是某个字段的相似度要大于 80%于是有了下面这篇文章。为了方便同步脚本的编写，提供了 Oracle 的函数版本，以便在sql中调用。Levenshtein距离首先介绍下 Levenshtein 距离（编辑距离）莱文斯坦距离（英语：Levenshtein distance）是编辑距离的一种。指两个字串之间，由一个转成另一个所需的最少编辑操作次数。允许的编辑操作包括：将一个字符替换成另一个字符插入一个字符删除一个字符俄罗斯科学家弗拉基米尔·莱文斯坦在1965年提出这个概念。下面是它的数学定义字符串相似度的实现java 全矩阵迭代（动态规划） 实现1234567891011121314151617181920212223242526272829public static float getSimilarityRatio(String str, String target) { int temp; // 记录相同字符，在某个矩阵位置值的增量。相同为0，不同为1 if (str.isEmpty() || target.isEmpty()) ....

下篇的章节，主要是作者多年优化工作中的经验总结。主要是关于解决问题的思路，如何定位问题等。技术相关的其实不多。我也觉得会发现问题比会解决问题的人更厉害。这几章经典的优化操作，主要的思想就是以下这些。（我读完的总结，不一定全。）少做事，在可以满足需求的情况下，尽量不做无意义的事。毕竟再怎么优化也没有不做快。比如，排序是否需要，一定要的情况下是否可以走索引，所以是有序的，可以避免排序。提问的方式，描述问题要准确、有重点。避免太过简单或者太过复杂。另外，不要问以前问过的问题，勤用搜索引擎和动手实践独立解决问题。规范，学习、操作、流程、开发、设计等等方面都需要有规范，规范可以提高效率避免出错。下面是一些命令，用于排查问题等。流程规范 保障问题快速解决动态整体主机动态情况检查12345678910# 主机情况检查（数据库出问题，主机是首先要查看的，皮之不存，毛将焉附）uname -a# 检查主机CPU等使用情况（重点关注时间最长的，同时也注意观察主机的内存的物理大小和CPU的个数)top # 报告虚拟内存统计信息以及其他与系统活动相关的信息 1 10 表示每秒输出一次统计信息，一共输出10次vm....

第六章 - 经典，表的连接学以致用三种连接类型嵌套循环连接（Nested Loop Join）、哈希连接（Hash Join）和排序合并连接（Sort Merge Join）是Oracle数据库中最常用的三种连接算法。嵌套循环连接（Nested Loop Join）嵌套循环连接是最简单的连接方法之一，它通过遍历一个表（外部表），对于外部表中的每一行，再遍历另一个表（内部表）来查找匹配的行。选择一个较小的表作为外部表。通常，外部表是较小的表或已经被索引访问的表。遍历外部表的每一行。对于外部表中的每一行，遍历内部表以查找匹配的行。如果找到匹配的行，则将这两行组合在一起作为结果的一部分。当一个表很小或者已经被索引访问时，嵌套循环连接可以非常高效。如果内部表很大，则嵌套循环连接可能会非常慢。对于大数据量的表，嵌套循环连接可能会导致性能问题。哈希连接（Hash Join）哈希连接是一种高效的连接算法，它通过在内存中创建哈希表来查找匹配的行。选择一个较大的表作为内部表。对于内部表中的每一行，根据连接键计算哈希值，并将该行存储在一个哈希表中。遍历外部表。对于外部表中的每一行，根据连接键计算哈希值，并....

片尾曲 Rain （好像很久之前听过，片尾曲出来的时候就有感觉了）片中引用的出自万叶集的短诗：原文：鸣神の　少しとよみて　さし昙り　雨も降らんか　君を留めん鸣神の　少しとよみて　降らずとも　我は止まらん　妹し留めば译文：隐约雷鸣，阴霾天空，但盼风雨来，能留你在此。隐约雷鸣，阴霾天空，即使天无雨，我亦留此地。很喜欢新海诚的画风，食物以及最后的片尾。（不知不觉看到片尾才意识到结束了，原来只有四十几分钟。最后，不可多得的好动画。云之彼端，约定的地方 和 追逐星星的孩子 挺久之前也都看过了。越来越好了，片中歌曲也是。

第五章 - 惊叹，索引天地妙不可言BTREE 索引BTREE 索引结构图索引和表一样，都是前面描述的逻辑体系结构中的段的一种，当建一个T表，就产生一个T表的表SEGMENT，当在T表的某些列上建索引DXT，就产生一个DXT的索引SEGMENT。索引是建在表的具体列上，其存在的目的是让表的查询更快，效率更高。表记录丢失关乎生死，而索引丢失只需重建即可，似乎听起来索引只是表的一个附属产品，可有可无。但索引却是数据库学习中最实用的技术之一。以上结构图说明索引是由Root(根块)，Branch(茎块)和Leaf(叶子块)三部分组成的。其中Leaf(叶子块)主要存储了key column value(索引列具体值)，以及能具体定位到数据块所在位置的rowid(注意区分索引块和数据块)。比如：select * from t where id = 12; 该test表的记录有10050条，而id=12仅返回1条，test表的id列建了一个索引，索引是如何快速检索到数据的呢，接下来分析这个索引查询示例图通过分析该图片，可以大致理解，定位到select * from t where id = 12;大致....