科研数据去哪找：生物学数据库全景指南

科研数据去哪找生物学数据库全景指南摘要本文为生物学与生物信息学研究者系统梳理了从国家级数据中心、国际权威专库如 GEO/SRA、TCGA、UK Biobank、GBIF到机器学习平台Hugging Face、Kaggle、Zenodo的三类数据源并重点说明了各类数据的访问门槛——直接开放、需申请审核或付费——以及申请流程与许可合规要点帮助读者根据自身研究需求快速定位并合法合规地获取所需数据。做生物学相关研究或者想用 AI 处理生物数据第一步往往不是缺方法而是不知道数据在哪、能不能拿到。这个领域的数据源比想象中分散国家级的科学数据中心、国际权威的基因和临床数据库、面向机器学习的开放数据集平台彼此定位不同、访问方式也不同——有的注册即可下载有的要走机构审核有的需要付费。本文按来源类型逐一列出真实可查的入口并说明哪些能直接下载、哪些有门槛帮助你在动手采集或申请之前先把路线看清楚。需要说明的是本文只收录经核实与生物学数据直接相关的来源。像 CnOpenData、国泰安 CSMAR 这类常被提及的数据库实际定位是经济金融领域上市公司财务、股票市场、行业研究并不属于生物学数据库范畴本文不会把它们混入生物学数据源列表具体说明见第三部分。关键术语与缩写速查表本文涉及较多数据库缩写下表汇总了频繁出现的核心术语及其全称与中文释义方便查阅。缩写英文全称中文释义CNCBChina National Center for Bioinformation国家生物信息中心中国官方生物信息基础设施主入口NGDCNational Genomics Data Center国家基因组科学数据中心CNCB 下属机构运营 GSA 等组学数据库NCBINational Center for Biotechnology Information美国国家生物技术信息中心运营 GEO、SRA、dbGaP 等数据库GEOGene Expression Omnibus基因表达综合数据库存储基因表达与转录组数据NCBI 运营SRASequence Read Archive序列读取存档存储原始测序数据NCBI 运营TCGAThe Cancer Genome Atlas癌症基因组图谱涵盖多种癌症的多组学数据项目GBIFGlobal Biodiversity Information Facility全球生物多样性信息网络全球最大的物种分布数据平台dbGaPDatabase of Genotypes and Phenotypes基因型-表型关联数据库人类受控访问数据NCBI 运营GDCGenomic Data Commons基因组数据共享平台TCGA 数据的主要门户DOIDigital Object Identifier数字对象标识符用于永久标识学术资源如 Zenodo 上的数据集IRBInstitutional Review Board机构审查委员会涉及人类受试者数据的伦理审批机构一、国内权威来源国家级科学数据中心与数据社区这一类是中国官方或半官方运营的基础设施权威性和长期稳定性相对更有保障是国内科研人员的首选起点。国家生物信息中心CNCBcncb.ac.cn中国官方生物信息基础设施的主入口下设多个专业数据库和工具平台。国家基因组科学数据中心NGDCngdc.cncb.ac.cnCNCB 下属机构其组学原始数据归档库 GSAGenome Sequence Archive是国内首个被国际期刊认可的组学数据发布平台适合存放和检索基因组、转录组等原始测序数据注册需邮箱验证。国家人口与健康科学数据中心ncmi.cn覆盖基础医学、临床医学、公共卫生等领域的数据资源。国家青藏高原科学数据中心data.tpdc.ac.cn覆盖生态、大气、水文等学科数据适合做生态学、环境生物学相关研究。下载需先将数据加入数据篮子再提交申请走审核流程具体审核周期以官网当前说明为准。和鲸社区ModelWhale / Heywhalemodelwhale.com / ai.heywhale.com已与国家基础学科公共科学数据中心NBSDC共建数据社区托管动物、植物等学科的元数据与样例数据可在线用 Notebook 直接分析适合快速上手和教学场景。二、国际权威来源基因组、临床与生物多样性专库国际上最常被科研人员使用的生物学专业数据库覆盖基因表达、测序、癌症基因组、生理信号、大规模队列和物种分布等方向。NCBI GEO基因表达数据库与 SRA测序数据归档NCBI 官方对公众免费开放其官方政策声明不对数据的使用和复制设限但需注意原始数据的提交者所在国家或个人仍可能主张相关知识产权具体参见 NCBI 使用政策 与 GEO 常见问题。测序原始数据的下载可配合官方工具 SRA Tools。dbGaP基因型-表型关联数据库涉及人类基因型与表型关联的受控访问数据经由 dbGaP 申请通常需要机构审批和数据访问申请DAR流程。TCGA 癌症基因组数据通过 GDC Portal 获取portal.gdc.cancer.gov处理后的 Level 3 数据大多数开放下载原始测序层级的 Level 1/2 数据属于受控访问需要 dbGaP 账号、机构审批及负责人PI签字的数据访问申请具体流程和审核周期以 GDC 官网当前公示为准。PhysioNetphysionet.org以心电、脑电等生理信号为主的数据库集合收录五十余个数据库。其访问分为开放访问、受限访问需签署数据使用协议、认证访问需完成培训认证并签署协议三个层级具体分级见数据库列表页。UK Biobank约五十万人规模的英国大型生物样本队列数据。申请分两个阶段——先注册研究者账号再提交具体的研究项目提案Proposal审核通过后需签署数据使用协议并按数据层级问卷及基础健康数据、基因数据、影像及全基因组数据分档收费对早期研究者及中低收入国家的申请者设有费用减免机制。具体审核周期与当前费用标准请以 UK Biobank 官网 Access Management System 的公示为准网络上流传的具体金额可能已过时。GBIF全球生物多样性信息网络gbif.org全球最大的物种分布数据网络中国科学院于 2013 年代表中国加入并建有 GBIF 中国节点。数据总体开放可在网页端按物种名或地区手动筛选下载也可通过 R 语言的 rgbif 包调用 API 批量获取。World Bank Datadata.worldbank.org提供环境与生物多样性相关的全球性汇总数据例如 Data Catalog 中的全球生物多样性网格数据集CC BY 4.0 许可API 免注册即可调用。需要特别说明的是这类数据是国家或区域层面的宏观统计聚合并非物种级或分子级的原始生物学数据只适合环境政策类研究做背景数据不能替代 GEO、GBIF 这类专业库。下表对四个核心数据库的关键特征做了横向对比方便快速判断哪个更适合当前研究方向数据库数据类型访问方式典型申请周期主要用途GEO / SRA基因表达数据、转录组与基因组测序原始数据开放免费下载即时注册后基因表达差异分析、转录组研究、测序数据复用与验证TCGA癌症基因组多组学数据突变、表达、甲基化等Level 3 开放下载Level 1/2 受控需申请Level 1/2 需 dbGaP 审批以周至月计癌症分子机制研究、预后标志物筛选、多组学整合分析UK Biobank大规模队列的多维度健康数据问卷、基因、影像、全基因组分档付费需提交研究提案并签署协议提案审核数周至数月人群队列研究、基因-环境交互分析、慢性病风险建模GBIF全球物种分布记录经纬度、时间、分类信息开放注册后网页下载或 API 批量获取即时注册后生物多样性评估、物种分布建模、生态保护规划三、面向机器学习的生物数据集平台与传统数据库不同的一类资源如果目标是训练或微调 AI 模型而不是做传统意义上的查基因、查通路、查物种分布下面这类平台承载的是机器学习任务型数据集性质和用途都与上述专业数据库不同需要分开看待。Hugging Face收录面向机器学习的基因组学数据集例如 arcinstitute/opengenome2约九万亿碱基对的 DNA 训练语料用于训练 Evo 2 等基因组基础模型、InstaDeepAI/multi_species_genomes覆盖 850 个物种的基因组序列数据集。这类数据集是预处理好的模型训练语料不是可供人工查询的数据库。Kaggle有蛋白质图谱分类Human Protein Atlas、白血病分类、单细胞 RNA 测序scRNA-seq相关数据集数量较多等生物类竞赛数据集参见 Bioassay 数据集示例 及 Biology 标签下的完整列表。这类数据集量大但质量参差不齐需要逐个查看数据说明和许可协议。Papers with Code在基因组学方向的数据集收录相对有限更多是论文代码复现的索引入口可参考 Genome Understanding 任务页。遇到基因组序列分类相关任务也可以参考由 ML-Bioinfo-CEITEC 团队维护、在 GitHub 开源的 Genomic Benchmarks 基准数据集合。Zenodo欧洲核子研究中心运营通用型开放科学仓库任何学科的论文附带数据和代码都可以存放并会分配 DOI其中不乏生物、生态类数据集。因为它是通用容器而非生物学专库检索时需要配合关键词搜索不能只靠浏览分类页面找到目标数据。国内的阿里云天池tianchi.aliyun.com/dataset和百度飞桨 AI Studioaistudio.baidu.com/datasetoverview也属于这一类。天池覆盖医疗健康等十余个行业包含中文医学自然语言处理评测集 CBLUE、新冠相关基因测序等生物医学相关数据集飞桨 AI Studio 有上千个开放数据集但没有专门的生物或基因板块入口需要在其数据集搜索页自行按关键词筛选。这两个平台上的数据集多为用户上传或竞赛配套权威性和更新频率不一使用前建议逐个核实来源和授权条款。面对三类典型的生物学研究需求下图把前三部分的数据源串联起来提供一个简单的决策路线参考——先判断问题性质再走向对应类型的数据源最后结合第四部分的可得性说明落地执行传统生物研究查基因、查通路、查临床表型是涉及癌症/人类遗传专题AI模型训练需要大规模预处理语料宏观生态分析物种分布、环境因子是需全球规模数据需宏观统计背景明确研究需求需求类型先看国内权威来源基础分子/组学数据CNCB / NGDCGSA转向国际专库TCGA癌症多组学dbGaP基因型-表型关联面向ML平台Hugging Face / Kaggle / Zenodo侧重中国区域国家青藏高原科学数据中心GBIF物种分布World Bank Data结合访问门槛评估确定目标数据库 → 进入第四部分看是否可拿四、可得性与注意哪些能直接拿到哪些要申请或受限把上面的来源按能不能直接拿到数据归类大致是三种情况直接开放、注册或免费即可下载GEO、SRA、GBIF、World Bank Data 的绝大多数数据、PhysioNet 中标注为开放访问的数据库、TCGA 中经过处理的 Level 3 数据以及和鲸社区中的样例数据集。这类数据适合作为研究的起点。需要申请或经过审核dbGaP 的受控数据、TCGA 的 Level 1/2 原始测序数据需要机构审批和 PI 签字、PhysioNet 中的受限访问与认证访问数据库需要签署协议或完成培训、国家青藏高原科学数据中心的数据需走数据篮子加申请审核流程。这类数据不建议按短期项目周期去规划审核往往需要提前预留时间。需要付费UK Biobank 按数据层级分档收费问卷及基础健康数据、基因数据、影像及全基因组数据的费用档位不同且对早期研究者和中低收入国家申请者有减免政策具体金额请以官网当前公示为准不要依据网络转述的旧数字做预算。找不到现成数据时的替代路径如果目标物种、目标疾病或目标场景在上述专业库中确实没有覆盖可以考虑三个方向——一是看和鲸、天池这类社区平台上是否有用途相近的长尾数据集作为阶段性替代二是评估目标数据是否属于国家科学数据中心体系中未在本文列出的其他分中心进一步核实三是评估是否只能通过自建采集或与已持有数据的机构合作来获得而不是继续在网上搜索一个可能并不存在的现成数据集。五、使用前须知许可与合规拿到数据只是第一步能不能在论文、产品或对外报告中使用取决于数据的许可条款和访问协议官方声明不限制使用和复制的数据库如 NCBI 相关库并不等于完全没有权利限制原始数据的提交者仍可能对数据主张知识产权引用和再发布前建议查看数据集自身的说明。受控访问类数据dbGaP、TCGA 原始层级数据、UK Biobank通常附带明确的数据使用协议包括使用范围限制、禁止重新识别个人身份、发表前的合规审查等条款必须在获批范围内使用不能擅自转让或用于协议未覆盖的用途。标注了具体许可证类型的数据集例如 World Bank 部分数据集采用 CC BY 4.0按许可证要求署名和使用机器学习平台Hugging Face、Kaggle、Zenodo上的数据集许可证并不统一同一平台内不同数据集可能分别是完全开放、仅限非商业使用或需要署名逐个查看数据集页面的许可证声明是必要步骤不能按平台整体默认对待。涉及人类受试者的数据临床、基因型-表型关联、大型队列即便技术上可以下载也要确认是否需要伦理审查IRB/伦理委员会批准这是与版权许可平行的另一层合规要求。六、参考资料与延伸阅读以下汇总了文中提及的主要数据库官方链接、关键政策文档以及生物数据管理与 FAIR 原则相关的综述文章方便读者深入查阅。 主要数据库官方链接数据库/平台官方入口CNCB国家生物信息中心https://www.cncb.ac.cnNGDC国家基因组科学数据中心https://ngdc.cncb.ac.cn国家人口与健康科学数据中心https://www.ncmi.cn国家青藏高原科学数据中心https://data.tpdc.ac.cn和鲸社区Heywhalehttps://www.heywhale.comNCBIGEO / SRA / dbGaPhttps://www.ncbi.nlm.nih.govGDC PortalTCGA 数据门户https://portal.gdc.cancer.govPhysioNethttps://physionet.orgUK Biobankhttps://www.ukbiobank.ac.ukGBIFhttps://www.gbif.orgGBIF 中国节点https://www.gbifchina.orgWorld Bank Datahttps://data.worldbank.orgHugging Facehttps://huggingface.co/datasetsKagglehttps://www.kaggle.com/datasetsZenodohttps://zenodo.org阿里云天池https://tianchi.aliyun.com/dataset百度飞桨 AI Studiohttps://aistudio.baidu.com/datasetoverview 关键政策与许可文档NCBI 使用政策Copyright and Disclaimershttps://www.ncbi.nlm.nih.gov/home/about/policies/GEO 数据提交与使用 FAQhttps://www.ncbi.nlm.nih.gov/geo/info/faq.htmlCreative Commons CC BY 4.0 许可证全文https://creativecommons.org/licenses/by/4.0/legalcode官方法律文本及 https://creativecommons.org/licenses/by/4.0/deed.zh-hans简体中文摘要dbGaP 数据访问申请指南https://dbgap.ncbi.nlm.nih.gov/aa/wga.cgi?pageloginUK Biobank 访问管理系统AMShttps://ams.ukbiobank.ac.uk 综述与延伸阅读FAIR 原则原始文献Wilkinson MD, Dumontier M, Aalbersberg IJ, et al.The FAIR Guiding Principles for scientific data management and stewardship. Scientific Data, 2016. DOI: 10.1038/sdata.2016.18— FAIRFindable, Accessible, Interoperable, Reusable即可发现、可访问、可互操作、可复用数据管理原则的开创性论文是所有生物数据共享实践的理论基础。FAIR 原则在生物医学领域的应用综述Boeckhout M, Zielhuis GA, Bredenoord AL.The FAIR guiding principles for data stewardship: fair enough?European Journal of Human Genetics, 2018. DOI: 10.1038/s41431-018-0160-0— 讨论了 FAIR 原则在基因组学与健康研究中的机遇与挑战对于需要处理人类受控数据的读者尤为推荐。Genomic Benchmarks 数据集论文Grešová K, Martinek V, Čechák D, et al.Genomic benchmarks: a collection of datasets for genomic sequence classification. BMC Genomic Data, 2023. DOI: 10.1186/s12863-023-01123-8— 提供了一套标准化的基因组序列分类基准数据集适合用于评估机器学习模型在 DNA 序列任务上的性能。结语以上信息基于公开检索整理具体的费用标准、审核周期、数据规模等数字可能随时间变化实际操作请以各官方页面当前公示为准。如果你需要查找的数据分散在上述多个来源中建议提前规划好时间逐项核对各平台的访问方式和申请门槛确保研究计划可行。关于数聚天成 DeepSData如果你不希望逐个平台自行尝试或者手头有一张具体的表例如“2023 年浙江省各市的社会融资规模”在国家统计局和人民银行网站反复查找仍未找到可以委托数聚天成 DeepSData 处理。我们提供深度数据可得性检索服务将你所需的具体表涉及哪个指标、哪个地区、哪个年份口径在国内外各大平台统一检索一遍再按“免费直连 / 需注册 / 需校园网 / 社区二手整理”分档列出并给出一个客观判断——该数据究竟能否获取。我们不承诺“一定能找到你所需的那一版本”也不代为下载第三方原始数据。我们所做的是把分散的来源尽可能检索齐全并如实反馈结果。如果确实无法获取也会据实说明以免你在无效尝试上耗费时间。更多信息请访问官网