Development of a method for extracting time series data from many time series data at high speed
| Autor: | FURUSHO, Shinji, IIZAWA, Atsushi, NAGAO, Tadashi, YAMAMOTO, Yukio, HAYABE, Shuichi, OZAMOTO, Yoshikatsu, KOBAYASHI, Masahide, SATO, Yu |
|---|---|
| Jazyk: | japonština |
| Rok vydání: | 2022 |
| Předmět: | |
| Zdroj: | 宇宙航空研究開発機構研究開発報告: 宇宙科学情報解析論文誌: 第11号 = JAXA Research and Development Report: Journal of Space Science Informatics Japan: Volume 11. :11-23 |
| ISSN: | 2433-2216 |
| Popis: | 宇宙科学分野の観測データや運用データなどの時系列データは表形式データである。それらはカラムも単位もタイムスタンプの間隔も異なり多様である。それらは100 億レコードを越えたり、1 万カラムを超えたりし巨大であることがある。それらの中には利用可能な状態を保ったまま半永久的に保管する必要があるものが多くある。またJAXA やNASA などに分散するそれらを組み合わせて利用するニーズも強い。ところがデータの長期の利用可能性の観点からRDBMS などのアプリケーションは上記の要求に適合しない。一方、CSV などの既存のデータフォーマットは巨大なデータには適さず、検索やソートなどの処理を迅速に行うことは難しく、分散したものを組み合わせることが難しい。そこで永続的な利用が可能なデータフォーマットであって、データが巨大であっても検索やソートができ、ネットワーク上に分散していても組合せができるD5A というデータフォーマットをすでに提案した。今回は時系列データを格納した多数のD5A を縦方向にも横方向にも時刻をキーに組合せた上で、その中から所望の範囲を新たな時系列データとして抽出できるCOMBINE を提案する。 Time series data such as observation data and operational data in the space science field are tabular data. They are diverse in terms of columns, units, and time stamp intervals. They can be huge, with more than 10 billion records or more than 10,000 columns. Many of them need to be stored semi-permanently in a usable state. There is also a strong need to combine and use them distributed in JAXA and NASA. However, from the perspective of long-term availability of data, applications such as RDBMS do not conform to the above requirements. On the other hand, existing data formats, such as CSV, are not suitable for massive data, and it is difficult to perform search and sort quickly and combine distributed data. Therefore, we have already proposed D5A, a data format that can be used permanently, can be searched and sorted even if the data is vast, and can be combined even if the data is distributed over a network. This time, we propose COMBINE, which can extract a desired range of time series data from many D5As by combining them vertically and horizontally using time as a key. 形態: カラー図版あり Physical characteristics: Original contains color illustrations 資料番号: AA2130033002 レポート番号: JAXA-RR-21-008 |
| Databáze: | OpenAIRE |
| Externí odkaz: |
|