↓↓↓文章末尾获取原文链接↓↓↓

本文1948字，阅读约需6分钟

摘要：利用FPGA数据处理板上的可重写半导体电路（FPGA），在数据生成后立即对每个像素进行预处理，并结合无损压缩，即在不丢失原始数据的情况下实现精确恢复的压缩方法，实现了平均约1/8600的超高压缩率。

关键词：数据压缩、同步辐射实验、即时压缩、可重写半导体电路（FPGA）

研究小组开发出可对同步辐射实验中X射线图像探测器输出的大容量数据进行实时压缩的数据处理平台，已在大型同步辐射设施“SPring-8”上完成搭建并投入使用。

本研究开发的数据处理平台是支撑“SPring-8-II”等下一代同步辐射设施的核心基础技术，这类设施预计将产生艾字节（EB，约等于10亿GB)的存储设备的数据量级的数据。此外，该技术也有望发展成为支撑广泛测量领域中大容量数据处理的基础技术。

在本研究对象——伽马射线准弹性散射（QEGS）实验中，一台拥有84万像素的CITIUS探测器以17.4千赫兹（kHz）的频率运行。此时探测器每秒产生27吉字节（GB，1GB=10亿字节）的数据，一周内即可达到约19拍字节（PB，约等于百万GB，相当于1000台1TB存储设备的数据量）。

研究小组利用FPGA数据处理板上的可重写半导体电路（FPGA），在数据生成后立即对每个像素进行预处理，并结合无损压缩，即在不丢失原始数据的情况下实现精确恢复的压缩方法，实现了平均约1/8600的超高压缩率。压缩后的数据自动传输至设施内数据中心，通过高性能计算机并行分析，用户可在实验过程中确认分析结果并优化测量条件。

装有FPGA数据处理板的计算机

背景

在大型同步辐射设施中，为了高精度观测物质内部原子与分子的结构和运动，探测器正朝着更高速度、更高分辨率的方向快速发展。捕捉随时间变化的测量需要每秒采集数万张图像，单次实验产生的数据量正急剧增加。

在本研究对象——QEGS实验中，通过以17.4kHz的频率驱动一台拥有84万像素的探测器运行，可实现纳秒（十亿分之一秒）级的原子和分子运动的观测。由此，每周会产生高达19PB的大容量数据。

在传统的光束线计算机环境下，直接保存、传输和分析此类数据实际上非常困难，并且分析可能需要数天甚至更长时间。因此，在实验过程中难以检查结果并优化测量条件。

此外，据估计，随着SPring-8-II光源亮度的进一步提升，数据量将进一步增加，达到EB级。因此，必须从传统的采集后集中处理的模式，转变为边采集边处理、实时返回结果的数据处理平台。

研究方法与成果

本研究未直接保存探测器每秒输出的27GB的原始数据，而是采用一种数据生成后立即进行预处理和无损压缩的全新方法。具体而言，研究小组在FPGA数据处理板上安装的FPGA（可重写半导体电路）上，对每个像素进行背景信号校正、阈值处理以去除噪声，并对短时间内连续获取的图像进行整合处理。通过这些处理，在保留具有科学意义信号的同时，减少了冗余信息和非信号成分。由此，研究小组能够降低数据中的信息量（熵），并显著提高后续无损压缩的效率。

在FPGA上预处理的数据在光束线计算机上进行可逆压缩，最终实现了平均约1/8600的高压缩率。在实际一周的实验中，约19PB原始数据被减少到约2.2TB。压缩后数据自动传输至SPring-8数据中心，并在采集后2～3分钟内完成保存。这种可逆压缩过程也显著降低了传输所需的网络带宽。

数据中心利用高性能计算机（HPC）进行并行分析。SPring-8数据中心引入Open OnDemand作为其HPC使用平台，本研究在其基础上搭建了一个专用于QEGS实验的分析应用群。最终实现了一个无需专门的命令行操作，基于网页浏览器的分析环境。

依托该整合平台，初步分析结果可在采集开始后约6分钟内获得，更详细的分析结果可在约7分钟后获得。这样一来，用户可以在实验过程中查看分析结果，并当场优化测量条件。以往有时需要在实验结束后数天甚至更长时间才能完成的分析，现在可以在实验过程中完成。

本研究成果不仅实现了高效的压缩技术，还在实际用户实验中运行验证了整合数据处理平台的有效性。该平台结合了从探测器的数据生成、FPGA的预处理、无损压缩、数据传输、高性能计算机的并行分析，以及可通过Web浏览器访问的分析环境。

图1. 本研究构建的探测器数据处理平台的概念图

从左至右显示了从测量数据的预处理、压缩、传输到分析的数据流。从左至右的图像依次为：①每秒生成27GB数据的X射线图像探测器；②装有FPGA数据处理板的计算机；③SPring-8设施内的数据中心；④高性能计算机上运行的分析应用程序的结果显示界面。

未来展望

本研究搭建的数据处理平台使同步辐射科学从“测量后分析”转变为“边测量边分析”，这将使研究小组可在实验过程中确认结果并优化测量条件，有望显著提升研究效率。

SPring-8-II预计将产生EB级数据，而本研究的整合平台将成为其核心基础技术。

此外，研究小组还致力于将该技术应用于每天预计产生约30PB数据的半导体X射线叠层衍射显微镜。由于叠层衍射技术能够以纳米级（nm，1nm为十亿分之一米）的分辨率进行三维重建，因而会产生远超QEGS的数据量。本研究的实时压缩、传输、并行分析技术为实现下一代X射线测量奠定了重要基础。

本研究的数据处理技术并非同步辐射设施或X射线自由电子激光（XFEL）专用，而是可广泛应用于所有从高速、高分辨率探测器输出大量图像数据的测量设备。处理大容量数据是许多先进测量领域面临的常见挑战，本技术有望成为解决这一挑战的基础技术。

https://www.riken.jp/press/2026/20260403_1/index.html

https://doi.org/10.1107/S1600577526000883

（1）资讯定制

对于本文章中提到的技术，有海外相关技术信息（行业资讯、技术报告、专利信息等）扩展搜集需求的，欢迎留言区留言，或联系邮箱【info#aipatent.com（注明“资讯定制”） *发送邮件时请将“#”替换为“@”】了解详情。

（2）征稿启事

应部分读者建议，本公众号现开放投稿，面向企业及科研机构人员征集稿件，可以分享技术信息、学术类论文、科研成果以及研究见解等。

投稿请发送至邮箱：support#aipatent.com（请注明“AIpatent公众号来稿”） *发送邮件时请将“#”替换为“@”

一种针对同步辐射实验大容量数据的即时压缩技术——将 SPring-8 数据压缩到其原始大小的 1/8600