HDF

✍ dations ◷ 2025-11-16 08:59:47 #HDF

层级数据格式(Hierarchical Data Format:HDF)是设计用来存储和组织大量数据的一组文件格式(HDF4,HDF5)。它最初开发于美国国家超级计算应用中心,现在由非营利社团HDF Group支持,其任务是确保HDF5技术的持续开发和存储在HDF中数据的持续可访问性。

伴随着这个目标,HDF库和相关工具可在自由的类BSD许可证下获得用于一般使用。HDF被很多商业和非商业软件平台所支持,包括Java、MATLAB、Scilab、Octave、Mathematica、IDL、Python, R, Fortran和Julia。可免费获得的HDF发行中包括了库,命令行实用程序,测试包源代码,Java接口,和基于Java的HDF查看器(HDFView)。

当前版本是HDF5,在设计和API上与主要的遗留版本HDF4有显著区别。

在1987年由美国国家超级计算应用中心(NCSA)的图形基础任务攻坚组(GFTF)着手创建一种架构无关的软件库和文件格式,致力于满足在NCSA当时使用的多种不同计算平台之间移动科学数据的需要。额外的目标还包括有效的存储和访问大对象的能力,在一个容器内存储不同类型的众多对象的能力,增长格式来容纳新类型的对象和对象元数据的能力,用C和Fortran二者的程序访问存储数据的能力。最初称为AEHOO(全包容层级面向对象格式),新软件和文件格式最终叫做层级数据格式(HDF)。HDF的设计组合了来自很多不同格式的想法,包括TIFF、CGM、FITS和Macintosh PICT(英语:PICT)格式。这个计划在1990年和1992年收到了美国国家科学基金会(NSF)的至关重要的拨款。大约1990年代早期美国国家航空航天局(NASA)研究了用在地球观测系统(EOS)计划中的15种不同文件格式。在两年评述过程之后,HDF被选择为EOS数据和信息系统的标准格式。

1996年美国能源部的劳伦斯利弗摩尔、洛斯阿拉莫斯和桑迪亚国家实验室与NCSA抽调人员成立了数据建模和格式(DMF)小组,研究满足高级模拟和计算规划(ASC)需要的并行I/O能力的文件格式。在NASA的额外支持下,三实验室与NCSA联合开发了第一版的HDF5并于1998年发行。在2003年,R&D杂志评选HDF5为“2002年一百个技术上最重要的新产品之一”。

HDF4是这个格式的较老版本,它支持可增殖的不同数据模型,包括了多维数组、光栅图像和表格。每种都定义了特定的聚集数据类型,并提供一个API用来读取、写入、组织数据和元数据。HDF开发者和用户可以增加新数据模型。

HDF是自描述的,允许应用程序解释文件的结构和内容而不需要外部信息。一个HDF文件可以持有混合的有关联的对象,它们可以作为一个群组或作为个别对象来访问。用户可以创建自己的叫做“vgroups”的群组结构。

HDF4格式有很多限制。它缺乏清晰的对象模型,这导致持难于持续支持和改进。支持多种不同的接口风格(图像、表格、数组)导致了复杂的API。对元数据的支持依赖于使用的是哪个接口;SD(科学数据集)对象支持任意命名属性,而其他类型只支持预定义的元数据。可能最重要的是,使用32-bit位有符号整数寻址限制了HDF4文件大小极大为2GB,这在很多现代科学应用中是不可接受的。它仍被HDF Group活跃支持着,可见于其支持页面]。

HDF5格式被设计解决HDF4库的某些限制,并致力于满足现代系统和应用的当前和预期要求。

HDF5简化了文件结构,只包含两种主要的对象类型:

这真正产生了层级的、类似文件系统的数据格式。事实上,在HDF5文件中的资源可以使用类似POSIX语法的“/路径/至/资源”来访问。元数据以用户定义形式存储,命名特性附加到群组和数据集之上。表示图形和表格的更复杂存储API,可以接着使用数据集、群组和特性来建造起来。

除了这些在文件格式上的进步,HDF5包括了改进的类型系统,和表示在数据集区域上选择的数据空间对象。API是面向对象的,有关于数据集、群组、特性、类型、数据空间和属性列表。

最新版的NetCDF版本4基于了HDF5。

由于它使用了B树来索引表格对象,HDF5有效工作于时间序列数据,比如股价序列,网络监控数据,和3D气象数据。大批量的数据直接进入数组(表格对象),它可以比SQL数据库的行存储更快访问,而非数组数据可获得B树访问。HDF5数据存储机制比SQL星模式(英语:Star schema)更简单和快速。

对HDF5的批评来源于它的单体设计和冗长规定。

本条目部分或全部内容出自以GFDL授权发布的《自由在线电脑词典》(FOLDOC)。

相关

  • Commodore 64康懋达64(英语:Commodore 64),也称为C64、CBM 64或在瑞典被称作VIC-64是由康懋达国际于1982年1月推出的8位家用电脑(首次在1982年1月7日至10日,于拉斯维加斯消费电子展上展出。)。
  • 各国锰产量列表这是一个2006年各国锰产量列表,基于英国地质调查所2008年6月的数据。
  • 天际线扫描天际线扫描或地平线扫描是剑桥大学生物学家William Sutherland在2008年提出的对环境与生物多样性问题的一种未来学研究方法。天际线扫描方法是基于德尔菲技术(Delphi Techni
  • 扬·格奥尔基·毛雷尔扬·格奥尔基·毛雷尔(罗马尼亚语:Ion Gheorghe Maurer 1902年9月23日-2000年2月8日), 罗马尼亚共产党中央常设主席团委员、罗马尼亚社会主义共和国政府总理。
  • 拉普拉斯变换拉普拉斯变换(英语:Laplace transform)是应用数学中常用的一种积分变换,又名拉氏转换,其符号为 L
  • 2009-2010年西南印度洋热带气旋季2009-2010年西南印度洋热带气旋季在2009年11月15日开始,并在2010年4月30日完结(某些地区的热带气旋季在2010年5月15日完结)。此文内容只包含在西南印度洋形成的热带气旋的介绍。
  • 圣克鲁斯岛 (哥伦比亚)圣克鲁斯岛(西班牙语:Santa Cruz del Islote)是哥伦比亚北部加勒比海圣贝尔纳多群岛中的一座小岛,属玻利瓦尔省管辖。该岛面积仅为0.012平方公里,却居住着超过1200人,被认为是世界
  • 莱恩·霍华德莱恩·詹姆斯·霍华德(Ryan James Howard、1979年11月19日-、生于密苏里州圣路易)是前美国职业棒球大联盟费城费城人队的球员。他获得2006年国家联盟最有价值球员奖。2006年球
  • 邓绾邓绾(1028年-1086年),字文约,北宋官员。成都府双流县(今四川省成都市双流区)人。宋仁宗庆历年间举进士,为礼部第一。转任职方员外郎。宋神宗熙宁三年(1070年)通判宁州。上书条陈时政数十事,以为宋朝建国百年,应当更化,颂扬王安石变法。擢升为集贤校理、检正中书孔目房,不久同知谏院。转任侍御史知杂事,判司农寺。推行常平法、水利法、免役法、保甲法等法,不遗余力。进升为御史中丞。王安石罢相,邓绾依附吕惠卿。王安石复相,又上奏弹劾吕惠卿、章惇。转任翰林学士。忤逆王安石之意,被宋神宗斥知虢州。因为颂新法得官职
  • 沙马基天文台沙马基天文台(阿塞拜疆语:Şamaxı Astrofizika Rəsədxanası),全称为阿塞拜疆国家科学院纳西尔丁·图西沙马基天体物理天文台(阿塞拜疆语:Azərbaycan Milli Elmlər Akademiyası Nəsirəddin Tusi adına Şamaxı Astrofizika Rəsədxanası),是世界上最大的天文台之一,隶属于阿塞拜疆国家科学院物理、数学和技术科学系。阿塞拜疆科学家尤西夫·马马达利耶夫(阿塞拜疆语:Yusif Məmmədəliyev)在天文台