deepspot-m

SUMMARY

它能做什么

DeepSpot-M是一个多模态基础模型，将224x224的H&E组织学切片映射为log1p-CPM格式的空间基因表达。输出是虚拟空间转录组学：每个查询基因在每个切片上有一个值，按切片来源的网格排列。一个LoRA适应的病理基础骨干（Midnight）对切片进行标记化。交叉注意力基因解码器允许每个基因查询关注补丁标记，基因路由器超网络从冻结的生物嵌入（Evo 2、Orthrus、ProtT5、scGPT、Apertus）构建基因特异性投影。基因以可查询嵌入而非固定输出槽的形式进入模型，因此发布的模型覆盖约19k个蛋白编码基因面板，包括训练中未见过的基因。该面板随权重以`tokens.csv`形式提供，并作为`model.gene_names`暴露；此版本中无法查询面板之外的基因。应用于TCGA时，该模型生成了涵盖32种癌症类型的28,664张切片的虚拟空间转录组学图谱。代码采用PolyForm非商业1.0.0许可证，权重采用CC-BY-NC-SA-4.0许可证。仅用于非商业研究，并在重新分发输出前检查这两个许可证。安装：`uv pip install deepspotm==1.0.0`。1.0.0版本面向Python 3.10至3.13，并引入PyTorch。权重受门控：在https://huggingface.co/ratschlab/DeepSpotM请求访问，并使用`huggingface-cli login`进行身份验证。快速开始：`from deepspotm import DeepSpotM; model, image_processor = DeepSpotM.from_pretrained("ratschlab/DeepSpotM", source="scgpt"); vals = model.predict_genes(image_processor(pil_tile).unsqueeze(0), ["EPCAM", "CD3D"])`。切片必须为224x224 RGB，大约20倍放大（约0.5微米/像素）。`source`参数选择路由器构建投影所用的冻结基因嵌入：`evo2`、`orthrus`、`prott5`、`scgpt`或`apertus`。全切片工作流程：使用`histolab`技能在网格上提取224x224切片，保留每个切片的坐标；使用`torch.stack`处理并堆叠切片成批次；对每个批次使用相同基因列表调用`predict_genes`；将批次连接成切片×基因矩阵并附加坐标。该矩阵是切片的虚拟空间转录组学图谱，可直接放入`AnnData`进行下游空间分析。常见用例：肿瘤切片中标记基因的空间表达图谱；无匹配检测实验的切片队列的全转录组预测；按符号查询约19k面板基因中的任意基因，包括训练中未见过的基因；向仅形态学的组织学流程添加表达通道；构建切片级队列图谱，如TCGA所做。详细参考：`references/api.md`和`references/whole_slide.md`。主要来源：论文https://doi.org/10.64898/2026.06.19.26356060（medRxiv，2026年6月22日发布）；代码https://github.com/ratschlab/DeepSpotM；权重https://huggingface.co/ratschlab/DeepSpotM；PyPI https://pypi.org/project/deepspotm/。