データインポート モジュール
DADiMPは、DADiSPのデータインポート機能を拡張し、種々のフォーマットのデータファイルをインポートするソフトウェアです。DADiMPは、ASCIIおよびバイナリーデータ ファイルを直接DADiSPのラボブック(Labbook)にインポートすることができます。
DADiMPは、DADiSPの内蔵の標準インポート機能とは別に、OSのコマンドライン、バッチファイル、あるいはシェルスクリプトから実行されます。DADiMPは、DADiSPと独立に動作するので、別のデータ収集用のコンピュータで実行させることができます。それにより、対話的でなく、直接、データファイルにアクセスできることから、定常的データ集収業務を自動化し、スピードアップを図ることができます。
主な機能
- DADiSPと独立で動作します
- 高速かつ直接、データファイルをインポート
- データインポート パラメータは、DADiMPのコマンドライン、またはASCIIヘッダーファイルにてランタイムで設定
- ASCII、バイナリーデータ ファイル対応
- バイナリーデータ形式の混在するデータレコードをサポート
- 全チャンネルのインポート、あるいは一部分のチャンネルのインポート
新機能
以前のバージョンはトータルのファイルの大きさが2GBまででした。DADiMP 5.0はもっと大きなファイルの操作を可能にするために64ビットのファイルインデックスを用いています。しかし、個々のファイルの大きさは2GBまでとなります。が、トータルのファイルの大きさはテラバイトまでとなりました。このように、データファイルは各ファイルが2GB以内の大きさであれば多くのシリーズを含むファイルを作ることができます。
加えて、以前のDADiMPは一度に一つのシリーズのインポートしかできませんでした、また、インポートされたシリーズ毎にDADiMPが別々のデータファイルのパスを受け取るのでファイルはばらばらでした。DADiMP 5.0では、ヘッダーの情報と、出来る限り多くのシリーズのバッファをキープし、ファイルに対して単一パスを通すことでインポートします。これによりばらばらのファイルに対する性能が飛躍的に向上しました。
DADiMPのコードのベースはDADiMPと完全な互換性を持つことから、DADiSPがサポートしている全ての新しいヘッダーは、サードパーティーのASCIIファイルフォーマットやバイナリーファイルフォーマットのインポートを単純化するために、新たにビットスワップ・整数ビットタイプ・バイナリーデータタイプ・データ/時間形式やその他多数のものも含んだDADiMP 5.0でもサポートされます。
DADiMP 5.0の新機能の主な新機能
- 64ビットファイルインデックスによってテラバイトのファイルまでサポートするようになりました。
- ばらばらになっているASCIIファイルやバイナリ-ファイルを最適化しインポートします。
- DADiSPのヘッダーのフォーマットやキーワードに用いられている全てに対応しました。
機能詳細
-
単独インポートモジュール
DADiMPは小さく、速く、DADiSPのラボブックやデータセットへインポートするデータファイルの処理をするプログラムと別に単独で実行可能です。DADiMPは自身のプログラムや商用データベース・スプレッドシート・文書処理ソフトによってデータファイルをインポートすることができます。内蔵型のプログラムであるため、DADiMPはDADiSPと別に起動することができ、自動で勝手にインポートします。
-
データインポートパラメータ
データインポートパラメータは、実行時にDADiMPのコマンドラインもしくはASCIIヘッダーを用いて設定します。加えてDADiMPは、異なるヘッダーやチャンネル間のいらない情報を持つものを無視します。
-
単一及び複数のチャンネルのサポート
DADiMPは単一チャンネルのデータのインポートが可能です。例えば、100Hzでサンプリングした2ビットの符号付整数型のデータを100点もつバイナリーファイルのインポート等です。DADiMPは複数チャンネルの整理をする方法を2つ持っています。それは、一連のファイルの処理とばらばらのファイルの処理です。一連のファイルに対しては、各チャンネルからのデータは連続的です。つまり、チャンネル1の次にチャンネル2、その次にチャンネル3といった感じです。ばらばらなファイルがチャンネルに混ざり合わさった場合はチャンネル1,2,3…のサンプル1に続いて、チャンネル1,2,3…のサンプル2といった感じです。
-
多様なファイル・データタイプ
DADiSPは以下のデータタイプをサポートしています。
ASCII スペース・タブ・改行・コンマ・セミコロンによって別けられる10進数データ BYTE 符号無しの整数型1バイト SBYTE 符号付きの整数型1バイト UINTEGER 符号無しの整数型2バイト SINTEGER 符号付きの整数型2バイト LONG 符号付きの整数型4バイト ULONG 符号無しの整数型4バイト FLOAT IEEE 4バイト浮動小数点 DOUBLE IEEE 8バイト倍精度浮動小数点 DADiMPも多様な2進データタイプを持つデータの記録を操作できます。
-
選択インポート
ファイル内の全てのチャンネルはインポート可能で、列番号を選択することでその部分を抜き出すこともできます。指定したオフセットの場所から、もしくはファイルの1部から、データの読み込みが可能です。OFFSETパラメータを用いることで、非DADiSPのヘッダー情報はもとのファイルに保存されますが、バイパスされます。チャンネル間のバイトや文字に対してはスキップや不要なデータの削除が可能です。
-
時間変化とデータスケーリング
X_OFFSETと RATEパラメータはデータを時間ベースで指定することが可能です。また、Y_OFFSET とSLOPEパラメータは各データシリーズのスケーリングを独立してサポートします。 一様な抽出データはX_OFFSETとRATEパラメータによって指定することができるので、チャンネルの時間を削除することで結果として速くなり、よりロバストなインポートやデータ処理が可能になります。不均一な抽出データXYシリーズとして表示や処理ができます。
ヘッダー例
DADiSPは各シリーズの記述やチャンネルに含まれたDADiSPデータベースの要約された情報を保存します。DADiMPを用いてデータをインポートするには、インポートしたい各チャンネルのASCIIヘッダーが必要です。ヘッダー情報はデータもしくは個別ファイルとして同ファイルに保存されます。
以下に標準的なデータヘッダーとASCIIデータの
4つのシリーズを含んだDADiMP入力ファイルの例を示します。
このデータのファイル名を’lot1.dat’とすると、以下のコマンドでデータをインポートできます。
dadimp lot1.dat |
この時ファイルはPROCESS1.というラボブックのデータセットLot1へインポートされます。 MATLABのMATファイルをインポートしたい場合はDADiSP/MAT Fileモジュールを参照して下さい。