CSIRO以无服务器架构实现S3原位基因组查询

CSIRO开发了无服务器基因组变异查询系统sBeacon，在不把大型基因组数据集复制到中央数据库的情况下，直接查询对象存储中的原始文件。系统由Amazon S3、AWS Lambda、Amazon Athena和Amazon DynamoDB等组件构成，并遵循全球基因组学与健康联盟（GA4GH）的Beacon标准，可面向大规模样本队列提供查询服务，同时保留数据原有的存储位置。

sBeacon将原始基因组文件与检索所需的元数据分开处理。VCF文件继续保存在Amazon S3中，疾病状态、年龄、地理位置等信息则单独建立索引。数据接入时，系统会生成元数据索引和Athena表，并借助CSIRO的Ontoserver解析本体术语，从而支持把表型条件与基因组变异结合起来查询。

收到变异查询后，API Gateway会把请求转交给Lambda函数，由后者判断需要访问的数据集及基因组区域。查询模块基于bcftools和htslib，通过HTTP字节范围请求只读取VCF文件中对应的局部内容，无需传输完整文件。不同数据源的结果汇总后，再通过Beacon API返回给调用方。

CSIRO前生物信息学产品解决方案架构师Anuradha Wickramarachchi曾强调，压缩方式是系统设计中的关键因素。sBeacon能够在基因组数据保持压缩状态时直接执行查询，既减少传输量，也降低存储和处理成本。

评估使用千人基因组计划1号染色体数据，样本量为2504个，压缩后的VCF文件大小为1.1GB并存放在Amazon S3。接入整个数据集耗时18秒、费用为0.00052美元，期间只生成索引文件，没有复制基因组数据。对覆盖1万个碱基对的区域执行查询，平均耗时1.52秒，成本为0.00013美元；当返回变异数量从4个增加到400个、扩大100倍时，整体查询耗时仍基本稳定。

sBeacon的设计源自此前发表于《Nature Biotechnology》的研究。相关研究称，该系统理论上最多可支持4000万个个体和30亿个基因组位置。早期Beacon模型允许各组织在保有基因组数据控制权的同时，通过统一接口对外提供标准化查询；GA4GH协议规定了跨分布式数据源的交互方式，但不限定底层存储技术。此次云端实现则利用无服务器组件的弹性，将基因组文件继续留在对象存储中，并按请求动态执行查询。