zepoch's site

最近在安装 Nvidia Rapids 用于更为高效的科学计算。 安装代码如下: 1conda create -n rapids-25.04 -c rapidsai -c conda-forge -c nvidia rapids=25.04 python=3.12 'cuda-version>=12.0,<=12.8' 但是发现 rapids-25.04 需要 GLIBC 的版本 在 2.28 及之上， 2.30 之下，但是我使用的是 CenOS 7, 默认的 GLIBC 版本相对较低，故需要对 GLIBC 进行升级。 经过阅读相关的博客，如 CSND, STACK_OVERFLOW，大概了解了 GLIBC 如何升级。 包含有 gmp, mpfr, mpc, isl的安装， gcc 的安装，binutils, bison, make 的安装，最后我安装的是 GLIBC-2.29 版本的。以下是我安装的 shell 脚本，部分的安装包更换为了...

见义勇为是充满正义的行为，不为交换任何资源的行为。 柏拉图认为我们对“正义”这种理念（原相）的认识不可能是凭空出现的，这只能是我们“前世的残存记忆（内心OS：是本人灵魂残存还是肉体DNA残留呢？），是在一个理念世界中生存时，遗留下来的模糊记忆”。 而当一个人目睹另外一个人做正义的事情，就是唤醒记忆的过程。正义必须“被看见”，才能发挥它的作用。我眼前的对象（存放理念的拟像化身）其实都是“不完整的、有残缺的理念碎片”，但通过这些碎片，我们可以圆满的回忆起自己的理念具体是什么。 罗马破碎之时，民不聊生，大家渴望得到精神上的救赎。不管什么“正义”、“善”、“勇敢”，还是什么“物理规律”、“逻辑大前提小前提结论”，这些东西全部汇聚到一个点上，那就是 Oh My God。 这是把理念全部存放到一起汇总了。你觉得有些事情不正义，那么你身上一定存了对应的正义公平的概念。你没吃食物饿了，那么你一定知道可以具体找那些可以吃的安全的食物。（你不会去吃让你呕吐生病的烂水果腐肉） 但如果有人身上就是从来没有这种“正义”理念的残留呢？他从未有Oh My...

上回说到了 self-attention 的四种写法，这次更新一下 multi-head attention 的写法。multi-head attention 与 self-attention 最主要的不同是，我们输入的 X (Batch_size, seq_size, emb_size) 在 self-attention 的 QKV 均为 (Batch_size, seq_size, emb_size), 而在 multi-head attention 中，我们需要将 emb_size 拆分为 num_head 和 head_dim。 多头注意力通过并行地运行多个独立的注意力机制来获取输入序列的不同子空间的注意力分布，从而更全面地捕获序列中潜在的多种语义关联。 代码如下所示： 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061import torchimport torch.nn...

LLM随着最近deepseek的热潮被推上了新的高峰，楼主在学习之中对于attention的理解也有着不同的见解，借此机会重新试着手写一下attention。 见山是山，Attention Atttetion 的公式如下所示，是大家都很熟悉的在Attention is all you need文章中的 Atttention(Q,K,V)=softmax(QKTdk)VAtttention(Q, K, V) = softmax(\frac{QK^T}{d_k})V Atttention(Q,K,V)=softmax(dk​QKT​)V 对于此的复现也是较为容易，我们可以构建一个Attention的类来根据公式进行复现 123456789101112131415161718192021222324252627282930313233343536373839404142434445import torchimport torch.nn as nnimport mathclass AttentionClass(nn.Module): def __init__(self,...

最近在下载文章数据的时候，发现了一个很让人感到头痛的数据，如下图所示： 可以看到，有很多的文件夹，每个文件夹点击进入也是不同的文件。大概估计可能有上百个，如此这版，显然是需要付出比较大的体力和精力，目前遇到的Bicnn的文件也基本是如此的，出去我的方便考量，写了一段爬虫，可能直接爬取目标文件夹下的所有文件。 再埋一个坑，我这里没有写断点续传，可能会在下一次补上，也许呢。 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263import osimport requestsfrom bs4 import BeautifulSoupfrom urllib.parse import urljoin# 目标URLbase_url =...

在所有生物中，唯有DNA可以通过遗传传递给后代继承某些特征。一旦DNA发生改变，它所有的后代都将继承改变后的DNA。转基因技术就是通过修改DNA来执行创造一个新的生物的指令，这些指令是以某种方式编程在DNA双螺旋结构里面的。 我有个程序员朋友，他喜欢从0开始写基础代码，思考方方面面的架构啊、设计模式啊重构啊，几乎每一行代码都是他亲历亲为的，我很佩服他。 而我本人的编程方式更加像是一种转基因编程法，大部分时间都在Github搜索别人写的代码（或者买程序员的付费资产包），找到适合自己要用的功能和微交互，之后像剪辑胶片🎞一样把代码复制到自己的工程里面，再跟Cursor查漏补缺，几乎所有代码都不是我自己写的，我最多修改一下文案和数值，但我很清楚增加的代码可以变得更好更出色。

前言：2024 年诺贝尔化学奖授予了 David Baker、Demis Hassabis 和 John Jumper。一半授予 David Baker 以表彰其在计算蛋白质设计方面的贡献，他成功构建了全新的蛋白质；另一半授予 Demis Hassabis 和 John Jumper，因其开发的 AI 模型 AlphaFold2 解决了预测蛋白质复杂结构这一 50 年的难题。蛋白质是生命的化学工具，控制和驱动生命化学反应，此次发现具有巨大潜力，能帮助人们更好理解抗生素耐药性、塑料降解酶等，奖金额为 1100...

看到 Obsidian 的 CEO Steph Ango 写过...

零、负十字架的人 1947 年，在原子弹的余震中，新世界如大雪初霁，茫然而沉静。 那一年，《新闻周刊》发表了文章：《爱因斯坦，那个开启一切的人》。 那一年，爱因斯坦懊悔地说：“如果早知道德国人研发不出原子弹，我就不会为原子弹做任何事情！” 那一年，68 岁的爱因斯坦决定奔走全世界，讲述核战的末世图景，余生致力于推动核裁军。 那一年，世界没有为爱因斯坦停留半步，战略核威慑的骨相从虚空中浮现。 而后一个世纪，我们对社会最大胆的构想，对敌我最深刻的分别，一切光荣与梦想的枝蔓，都必须攀附于核威慑的穹窿之下。 一个试图破解万物奥秘的人，却因自己的求索背负了沉重的十字架，直到坟墓中也没卸下。 这是宇宙残酷的小玩笑。 正是在 1947 年的冬季，伦敦西南的温布尔顿，一个叫做杰弗里·辛顿的小男孩呱呱坠地。 站在辛顿和爱因斯坦的切近，你找不到他们的任何共同点，除了两人都获得了诺贝尔物理学奖。 相隔 102...

最近在做各种各样的物种的单细胞数据清洗，在清洗到某个数据的时候，用sceasy转格式从h5ad到rds，发现了一个问题，基因名字消失了。 没有再去看sceasy的源码，从源码去解决问题，只能是把原先的基因名字进行迁移。 12# 首先是是原先的基因的名字导出adata.var.to_csv('Mop_10X_nuclei_v3_Broad_forRDS.csv') 接着是rds的基因名字的赋予 123456789101112# 读取没有header的表格df <- read.table('/data/work/stTransfer/data/sc_cell/Mop_10X_nuclei_v3_Broad_forRDS.csv', header = FALSE)r = readRDS('/data/work/stTransfer/data/sc_cell/Mop_10X_nuclei_v3_Broad_forRDS.rds')counts= r@assays$RNA@countsmeta =...