「バッチ処理」タグアーカイブ

PowerShell, ブログ, プログラミング

PowerShellで数十万行のCSVを高速処理するベストプラクティス

2025年11月15日管理者コメントする

PowerShellで数十万行以上のCSVを扱うと、
「読み込みが遅い」「メモリが一気に膨れる」「処理が固まったように見える」
といった問題が発生しがちです。

実はこれ、PowerShellのCSV処理の仕組みによる“あるある”で、
正しい書き方をすれば劇的に高速化できます。

この記事では、現場でも使われている 高速処理テクニック・実装例・注意点 をまとめます。

✔ なぜPowerShellはCSV処理が遅くなるのか

PowerShellの Import-Csv は便利ですが…

全行を一度にメモリへ展開する
オブジェクト化のコストが高い
数十万件を超えると数百MB〜GB級のメモリ使用

という特徴があります。

そのため、以下のような書き方は最も遅くなります。

✔ 高速化のポイントは「逐次読み込み」と「Stream処理」

PowerShellで数十万行を高速に処理する場合の最重要ポイントは以下。

💡 高速化の基本

Import-Csv を使わず StreamReader を使う
1行ずつ処理して不要になったデータは捨てる
Select-Object, Where-Object をループで使わない
型変換を最小限にする
出力は StringBuilder にまとめて最後に書き込む

✔ ベストプラクティス①：StreamReaderで逐次処理

最も高速でメモリ効率も良い方法です。

$path = "large.csv"
$out  = "result.csv"

$reader = [System.IO.StreamReader]::new($path)
$writer = [System.IO.StreamWriter]::new($out, $false, [Text.Encoding]::UTF8)

# ヘッダー読み込み
$header = $reader.ReadLine()
$writer.WriteLine($header)

# 1行ずつ高速処理
while (($line = $reader.ReadLine()) -ne $null) {
    $cols = $line.Split(",")
    
    # 例：3列目が100以上の場合だけ出力
    if ([int]$cols[2] -ge 100) {
        $writer.WriteLine($line)
    }
}

$reader.Close()
$writer.Close()

Write-Host "完了"

$path = "large.csv"

$out = "result.csv"

$reader = [System.IO.StreamReader]::new($path)

$writer = [System.IO.StreamWriter]::new($out, $false, [Text.Encoding]::UTF8)

# ヘッダー読み込み

$header = $reader.ReadLine()

$writer.WriteLine($header)

# 1行ずつ高速処理

while (($line = $reader.ReadLine()) -ne $null) {

$cols = $line.Split(",")

# 例：3列目が100以上の場合だけ出力

if ([int]$cols[2] -ge 100) {

$writer.WriteLine($line)

}

$reader.Close()

$writer.Close()

Write-Host "完了"

✔ 特徴

Import-Csv ではなく Split で直接取得 → 超高速
メモリ使用量は常に一定
数百万行でも余裕

✔ ベストプラクティス②：Import-Csv を使う場合の高速化

「やっぱりオブジェクトで扱いたい」という場合はこちら。

✔ 注意点

ForEach-Object -Parallel は PowerShell 7 以降限定
並列化は CPUコア数に依存
メモリ使用量は多め

✔ ベストプラクティス③：Select-Object / Where-Object を避ける

以下は遅くなりがち：

理由：すべての行をオブジェクトとして保持してしまう。

💡 改善

または、最速は StreamReader + Split。

✔ ベストプラクティス④：StringBuilderで出力バッファを作る

行ごとに Add-Content を実行すると激遅になります。

✔ StringBuilderを使う（高速）

✔ ベストプラクティス⑤：PowerShell 7 を使う

PowerShell 5.1 から PowerShell 7 に変えるだけで速度が倍以上になるケースが多いです。

理由

.NET Core ベースで高速化
ForEach-Object が最適化
Parallel 処理対応

✔ 実際の処理速度比較（目安）

手法	100万行の処理	メモリ使用量
Import-Csv → ループ	数十秒〜数分	数百MB〜1GB超
Import-Csv -Parallel	10〜40秒	多め
StreamReader + Split	5〜15秒	数MB

※ PCスペックにより変動。

✔ まとめ：最速は「StreamReader＋Splitによる逐次処理」

PowerShellで数十万行のCSVを高速処理するなら

✔ 最適解

逐次読み込み（ストリーム処理）
行ごとにSplitして必要な列だけ触る
StringBuilderでまとめて出力する
PowerShell 7 ならParallel化も可能

業務バッチで使う場合は、
StreamReader方式が最も安全で高速です。

実際の現場でも「メモリ溢れ対策」「速度改善」で最も採用されています。

HULFT, Web開発, ブログ

HULFTの転送速度を理論値で算出する方法：単独転送と間欠転送で何が変わる？

2025年11月13日管理者コメントする

HULFTで大容量ファイルを送信する際、
「単独転送と間欠転送では速度がどれくらい違うのか？」
と気になる場面は多いはずです。

特に、S3送信やネットワーク負荷対策で間欠転送を設定した場合、
「どれだけ転送時間が増えるのか？」を事前に把握しておきたいところです。

本記事では、HULFTの転送処理を理論値（数式）で算出する方法をわかりやすく解説します。

1. HULFT転送の基本：ブロック単位で送られる

HULFTはファイルをそのまま送るのではなく、
一定サイズ（ブロック長）に分割してブロック単位で送信します。

例えばブロック長を 16KB に設定している場合：

1ブロック = 16KB
1MBのファイルなら 1,048,576 ÷ 16,384 ≒ 64ブロック

という計算になります。

この「ブロック数 × ブロックあたりの処理時間」が転送時間に大きく影響します。

2. 単独転送の理論値：最速で送るシンプルな動作

単独転送（=間欠転送なし）は、
ブロックを休まず連続で送っていく動作です。

■ 単独転送の理論値計算式

※実効転送速度（Throughput）はネットワーク・HULFTヘッダなどのオーバーヘッドを含む実測値。

■ 例：500MBのファイルを100Mbpsで送信する場合

理論上は40秒となります。

実際にはHULFTヘッダ分のオーバーヘッドで数秒増える程度。

3. 間欠転送の理論値：休止時間の積み重ねで大幅に遅くなる

間欠転送は、各ブロック送信後に**休止時間（インターバル）**が入ります。

HULFTの設定例：

ブロック長：16KB
ブロック回数：100回
休止時間：30ms

■ 間欠転送の理論計算式

ここが最も重要なポイント。

ブロックが多い場合、休止時間が膨れ上がります。

4. 実例：500MBファイルを間欠転送で送るとどうなる？

★ 前提

ブロック長：16KB
500MB = 32,768ブロック
単独転送時間：40秒（前述）
休止時間：20ms

■ 間欠転送の追加時間

■ 合計転送時間

→ 実際の現場でも「間欠転送は数倍遅くなる」理由はここにある

ブロック数 × 休止時間 → これが爆発的に効いてくるためです。

5. 実効転送速度（Throughput）の簡易算出方法

実測値を1回取るだけで、理論値がもっと正確になります。

■ 実測からの計算式

例えば

100MBのファイル
送信実測15秒
→ 実効速度 = 100MB ÷ 15 = 6.6MB/s（53Mbps）

これを単独転送の基準値にすることで、
間欠転送の予測精度が向上します。

6. 間欠転送の「適切な使いどころ」

間欠転送は遅くなるため万能ではありませんが、
以下の目的では効果的です。

S3/クラウド側で転送速度制限がある場合
受信側の負荷分散が必要な場合
夜間バッチでNW帯域を食いすぎるのを避けたい時
他システムの処理性能に合わせたいケース

速度ではなく安定性や負荷分散を目的に使うのが本来の用途。

7. 間欠転送設定によるエラー（S3Timeout など）について

休止時間を入れると、
1ブロックあたりの処理が遅くなる → 全体が長くなる → タイムアウトに近づく
という問題があります。

特にS3送信では

S3Timeout（約60秒）
NW機器の制限
プロキシのタイムアウト

などに引っかかるケースが多い。

✔ 大容量ファイルほど間欠転送はリスクが高い

500MB・1GB級のファイルではブロック数が膨大になるため、
一気にタイムアウト領域に入ります。

まとめ

項目	単独転送	間欠転送
速度	最速	休止時間分だけ遅い
仕組み	ブロックを連続送信	ブロック送信→休止の繰り返し
理論値算出	単独転送時間のみ	単独転送＋(ブロック数×休止時間)
メリット	最速で送れる	負荷を抑え安定性を上げる
デメリット	帯域を多く使う	極端に遅く、タイムアウトを誘発

PowerShell, ブログ, プログラミング

PowerShellでログ収集とバックアップを自動化する実践スクリプト

2025年10月28日管理者コメントする

システム運用や開発現場では、ログ収集やバックアップ作業を「手動で行う」ケースがまだ多く残っています。しかし、PowerShellを使えばこれらを自動化し、毎日の定型作業を一気に効率化できます。

この記事では、**「ログを自動収集してバックアップするPowerShellスクリプト」**を実例付きで紹介します。
スクリプトはWindows環境でそのまま動作し、日次・週次の定期ジョブとしても活用可能です。

⚙️ 実践スクリプト：ログ収集＆バックアップ自動化

以下のスクリプトは、

ログフォルダをスキャン
日付別フォルダにコピー
古いバックアップを自動削除
する一連の処理を行います。

# ============================
# PowerShell ログ収集＆バックアップ自動化スクリプト
# ============================

# 設定項目
$SourceDir  = "C:\Logs"                     # 元ログフォルダ
$BackupRoot = "D:\Backup\Logs"              # バックアップ先ルート
$KeepDays   = 30                            # 保持期間（日数）

# 日付フォルダ名 (例: 20251028)
$Today = (Get-Date).ToString("yyyyMMdd")
$BackupDir = Join-Path $BackupRoot $Today

# バックアップフォルダ作成
if (!(Test-Path $BackupDir)) {
    New-Item -ItemType Directory -Path $BackupDir | Out-Null
    Write-Host "バックアップフォルダを作成しました: $BackupDir"
}

# ログファイルをコピー
Write-Host "ログ収集中..."
Get-ChildItem -Path $SourceDir -Filter "*.log" -Recurse | ForEach-Object {
    $dest = Join-Path $BackupDir $_.Name
    Copy-Item $_.FullName $dest -Force
}
Write-Host "コピー完了。"

# 古いバックアップ削除
Write-Host "古いバックアップを削除中..."
Get-ChildItem -Path $BackupRoot -Directory | Where-Object {
    $_.Name -match "^\d{8}$" -and
    (Get-Date($_.Name.Substring(0,4)+'-'+$_.Name.Substring(4,2)+'-'+$_.Name.Substring(6,2))) -lt (Get-Date).AddDays(-$KeepDays)
} | ForEach-Object {
    Remove-Item $_.FullName -Recurse -Force
    Write-Host "削除: $($_.FullName)"
}

Write-Host "バックアップ処理が完了しました。"

# ============================

# PowerShell ログ収集＆バックアップ自動化スクリプト

# ============================

# 設定項目

$SourceDir = "C:\Logs" # 元ログフォルダ

$BackupRoot = "D:\Backup\Logs" # バックアップ先ルート

$KeepDays = 30 # 保持期間（日数）

# 日付フォルダ名 (例: 20251028)

$Today = (Get-Date).ToString("yyyyMMdd")

$BackupDir = Join-Path $BackupRoot $Today

# バックアップフォルダ作成

if (!(Test-Path $BackupDir)) {

New-Item -ItemType Directory -Path $BackupDir | Out-Null

Write-Host "バックアップフォルダを作成しました: $BackupDir"

}

# ログファイルをコピー

Write-Host "ログ収集中..."

Get-ChildItem -Path $SourceDir -Filter "*.log" -Recurse | ForEach-Object {

$dest = Join-Path $BackupDir $_.Name

Copy-Item $_.FullName $dest -Force

}

Write-Host "コピー完了。"

# 古いバックアップ削除

Write-Host "古いバックアップを削除中..."

Get-ChildItem -Path $BackupRoot -Directory | Where-Object {

$_.Name -match "^\d{8}$" -and

(Get-Date($_.Name.Substring(0,4)+'-'+$_.Name.Substring(4,2)+'-'+$_.Name.Substring(6,2))) -lt (Get-Date).AddDays(-$KeepDays)

} | ForEach-Object {

Remove-Item $_.FullName -Recurse -Force

Write-Host "削除: $($_.FullName)"

}

Write-Host "バックアップ処理が完了しました。"

📦 処理の流れ

処理	内容
① 初期設定	ログフォルダ・バックアップフォルダ・保持日数を設定
② 日付フォルダ作成	yyyyMMdd形式で新しいバックアップフォルダを作成
③ ログコピー	対象フォルダからすべての.logファイルをコピー
④ 古いフォルダ削除	30日より古いフォルダを自動削除

🕒 定期実行する方法（Windows タスクスケジューラ）

Windows検索バーで「タスクスケジューラ」と入力して起動
「基本タスクの作成」→ タスク名を「ログバックアップ」とする
「毎日」または「毎週」を選択
「操作」で「プログラムの開始」を選択し、以下を指定

Program/script: powershell.exe Add arguments: -File "D:\Scripts\log_backup.ps1"
完了後、右クリック → 「プロパティ」 → 「最上位の特権で実行する」を有効にする

💡 応用ポイント

ZIP圧縮も追加可能：Compress-Archiveを使ってバックアップサイズを削減
ログローテーション：ファイルサイズや日付で自動的にローテーションするよう拡張可能
メール通知：バックアップ完了後にSend-MailMessageで報告を送信可能
CSVやJSON対応：ログ形式が異なる場合もGet-Content＋ConvertFrom-Jsonなどで加工可能

🚀 まとめ

PowerShellを使えば、GUI操作では面倒なログバックアップを簡潔に自動化できます。
1日1回の定期タスクに登録するだけで、手動の手間を大幅削減。
運用の安定化にもつながります。

ポイント：小さなスクリプトでも「業務時間を削減」できるのがPowerShellの強みです。

HULFT, Java, ブログ, プログラミング

HULFT連携：Javaからユーティリティコマンドを呼び出す実装例

2025年10月1日管理者コメントする

HULFTには「送受信ジョブを定義して使う方法」以外に、utlsendなどのユーティリティ系コマンドを直接呼び出してファイル転送や加工を行う手段があります。
これらは事前の送受信定義が不要で、コマンド実行時に条件を指定できるため、テスト送信・スポット利用・簡易処理に非常に便利です。

本記事では、JavaでHULFTコマンドを実行する例をご紹介します。

utlsend : ファイル送信
utlrecv : ファイル受信
utlconcat : ファイル連結
utlsplit : ファイル分割

Javaから外部コマンドを実行する基本

Javaでは ProcessBuilder を使うことで、外部のHULFTコマンドを呼び出せます。
エラー出力も標準出力にまとめる設定をすれば、ログ管理が容易になります。

共通の呼び出しテンプレートは以下の通りです。

import java.io.*;

public class HulftCommandRunner {
    public static void runCommand(String... command) {
        try {
            ProcessBuilder pb = new ProcessBuilder(command);
            pb.redirectErrorStream(true);
            Process process = pb.start();

            BufferedReader reader = new BufferedReader(
                    new InputStreamReader(process.getInputStream(), "MS932")); // Windows日本語環境想定
            String line;
            while ((line = reader.readLine()) != null) {
                System.out.println(line);
            }

            int exitCode = process.waitFor();
            System.out.println("終了コード: " + exitCode);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

import java.io.*;

public class HulftCommandRunner {

public static void runCommand(String... command) {

try {

ProcessBuilder pb = new ProcessBuilder(command);

pb.redirectErrorStream(true);

Process process = pb.start();

BufferedReader reader = new BufferedReader(

new InputStreamReader(process.getInputStream(), "MS932")); // Windows日本語環境想定

String line;

while ((line = reader.readLine()) != null) {

System.out.println(line);

}

int exitCode = process.waitFor();

System.out.println("終了コード: " + exitCode);

} catch (Exception e) {

e.printStackTrace();

}

以降の例では、この runCommand を利用して各ユーティリティコマンドを実行します。

1. ファイル送信（`utlsend`）

事前の送信定義が不要で、対象ファイルと宛先ノードを直接指定できます。

public class ExampleSend {
    public static void main(String[] args) {
        HulftCommandRunner.runCommand(
            "utlsend",
            "-f", "/data/test.txt",
            "-n", "NODE001"
        );
    }
}

public class ExampleSend {

public static void main(String[] args) {

HulftCommandRunner.runCommand(

"utlsend",

"-f", "/data/test.txt",

"-n", "NODE001"

);

}

-f : 送信するファイルパス
-n : 宛先ノード名（HULFTに登録済み）

2. ファイル受信（`utlrecv`）

受信ジョブを登録せず、コマンドだけでファイルを取得できます。

public class ExampleRecv {
    public static void main(String[] args) {
        HulftCommandRunner.runCommand(
            "utlrecv",
            "-f", "/data/recv.txt",
            "-n", "NODE001"
        );
    }
}

public class ExampleRecv {

public static void main(String[] args) {

HulftCommandRunner.runCommand(

"utlrecv",

"-f", "/data/recv.txt",

"-n", "NODE001"

);

}

-f : 保存先のファイル名
-n : 送信元ノード名

3. ファイル連結（`utlconcat`）

複数のファイルを1つにまとめたいときに使います。

public class ExampleConcat {
    public static void main(String[] args) {
        HulftCommandRunner.runCommand(
            "utlconcat",
            "-o", "/data/merged.txt",
            "-f", "/data/file1.txt",
            "-f", "/data/file2.txt"
        );
    }
}

public class ExampleConcat {

public static void main(String[] args) {

HulftCommandRunner.runCommand(

"utlconcat",

"-o", "/data/merged.txt",

"-f", "/data/file1.txt",

"-f", "/data/file2.txt"

);

}

-o : 出力ファイル名
-f : 結合対象のファイル（複数指定可）

4. ファイル分割（`utlsplit`）

大きなファイルを分割して処理したいときに使います。

public class ExampleSplit {
    public static void main(String[] args) {
        HulftCommandRunner.runCommand(
            "utlsplit",
            "-f", "/data/bigfile.txt",
            "-l", "1000"
        );
    }
}

public class ExampleSplit {

public static void main(String[] args) {

HulftCommandRunner.runCommand(

"utlsplit",

"-f", "/data/bigfile.txt",

"-l", "1000"

);

}

-f : 分割対象ファイル
-l : 分割する行数（例：1000行ごと）

運用上の注意点

PATHの設定
Javaから呼び出す際は、utlsend.exe などのHULFTバイナリがPATHに通っている必要があります。
通っていない場合はフルパス指定が必須です。
終了コードの確認
- 0 : 正常終了
- 0以外 : エラー（詳細はHULFTマニュアルのエラーコード参照）
ログ管理
実際の業務バッチでは process.getInputStream() の内容をファイル出力してログ管理することを推奨します。

まとめ

utlsend でファイルを即送信できる
utlrecv で即時受信が可能
utlconcat でファイルを連結
utlsplit でファイルを分解

これらをJavaから呼び出すことで、柔軟なファイル連携や加工処理が実現できます。

Oracle, SQL, データベース, ブログ

PL/SQL：BULK COLLECTとFORALLを使った効率的な大量データ処理

2025年9月17日管理者コメントする

Oracle PL/SQLを使って大量データを処理する際、1行ずつループして処理を行うとパフォーマンスが低下します。
このようなケースで活躍するのが BULK COLLECT と FORALL です。

これらを活用することで、SQLとPL/SQL間のコンテキスト切り替えを最小限に抑え、大量データを効率的に処理できます。

BULK COLLECTとは？

BULK COLLECTは、複数行のデータを一括でコレクション（配列型変数）に格納する仕組みです。

基本構文

使用例

DECLARE
  TYPE t_emp IS TABLE OF employees%ROWTYPE;
  l_emp t_emp;
BEGIN
  SELECT * 
  BULK COLLECT INTO l_emp
  FROM employees
  WHERE department_id = 10;

  DBMS_OUTPUT.PUT_LINE('取得件数: ' || l_emp.COUNT);
END;

DECLARE

TYPE t_emp IS TABLE OF employees%ROWTYPE;

l_emp t_emp;

BEGIN

SELECT *

BULK COLLECT INTO l_emp

FROM employees

WHERE department_id = 10;

DBMS_OUTPUT.PUT_LINE('取得件数: ' || l_emp.COUNT);

END;

✅ 通常のSELECT INTOでは1行しか取得できませんが、BULK COLLECTを使うと複数行をまとめて変数に格納できます。

FORALLとは？

FORALLは、コレクションに格納されたデータを使って一括処理（INSERT/UPDATE/DELETE）を行う構文です。

基本構文

使用例

DECLARE
  TYPE t_empno IS TABLE OF employees.employee_id%TYPE;
  l_empno t_empno;
BEGIN
  -- 部署ID 20の社員IDをまとめて取得
  SELECT employee_id
  BULK COLLECT INTO l_empno
  FROM employees
  WHERE department_id = 20;

  -- 一括で給与を10%アップ
  FORALL i IN l_empno.FIRST .. l_empno.LAST
    UPDATE employees
    SET salary = salary * 1.1
    WHERE employee_id = l_empno(i);

  COMMIT;
END;

DECLARE

TYPE t_empno IS TABLE OF employees.employee_id%TYPE;

l_empno t_empno;

BEGIN

-- 部署ID 20の社員IDをまとめて取得

SELECT employee_id

BULK COLLECT INTO l_empno

FROM employees

WHERE department_id = 20;

-- 一括で給与を10%アップ

FORALL i IN l_empno.FIRST .. l_empno.LAST

UPDATE employees

SET salary = salary * 1.1

WHERE employee_id = l_empno(i);

COMMIT;

END;

✅ FORループで1件ずつUPDATEするよりも大幅に高速化できます。

BULK COLLECTとFORALLを組み合わせる

実務では、BULK COLLECTで一括取得 → FORALLで一括更新／削除といった流れがよく使われます。

処理フロー例

BULK COLLECTで対象データを配列に取得
配列の内容をFORALLで一括更新
コミット

このように組み合わせることで、バッチ処理や大量データ更新におけるパフォーマンスを劇的に改善できます。

パフォーマンス比較

従来のループ処理
SQLとPL/SQL間で行き来が多くなり、数万件以上の処理では遅くなる
BULK COLLECT + FORALL
コンテキストスイッチが最小化され、処理速度が数倍〜数十倍向上するケースもある

注意点

BULK COLLECTで一度に大量データを取得するとメモリ不足の可能性あり
→ LIMIT句を組み合わせて分割取得が推奨
FORALLはDML専用（SELECTでは使えない）
例外処理はSAVE EXCEPTIONSを付けて制御することも可能

まとめ

BULK COLLECT → 複数行を一括取得
FORALL → 複数行を一括処理
大量データ処理では必須テクニック
メモリ管理や例外処理に注意しつつ使うと、バッチ処理の効率が大幅に改善

💡 実際のプロジェクトでは「数十万件以上のデータ更新」で特に効果が出やすいため、PL/SQLチューニングの定番として覚えておきましょう。

HULFT, Web開発, ブログ

HULFTで日付付きファイルを配信元ファイル名のまま受信する方法

2025年9月11日管理者コメントする

HULFTを使ったファイル連携では、バッチ処理などで日付が付与されたファイル名を扱うケースが多くあります。
例えば、送信側で以下のように日付が付与されたファイルを生成する場合です。

sales_20250911.csv
sales_20250912.csv

受信側でもこのファイル名をそのまま維持して保存したい、という要件はよくあります。
本記事では、その場合に利用できる HULFTの動的パラメータ $SNDFILE を使った方法を解説します。

`$SNDFILE`とは？

HULFTには送受信時に利用できる動的パラメータが用意されています。
その中の一つが $SNDFILE で、これは 「送信元ファイル名」 を表します。

つまり $SNDFILE を指定することで、送信側が持つ実際のファイル名を受信側でそのまま利用することが可能です。

設定例

受信側（集信定義）の「受信ファイル名」に $SNDFILE を指定します。

C:\recv\$SNDFILE

この設定を行うと、送信されたファイル名のまま受信先に保存することが出来ます。

例：送信元のファイルが `sales_20250911.csv` の場合

配信元： /data/sales_20250911.csv
受信定義： C:\recv\$SNDFILE
保存結果： C:\recv\sales_20250911.csv

利用上の注意点

受信先でファイル名を固定して指定すると上書きされる
例えば C:\recv\sales.csv のように固定名を指定した場合、複数ファイルを送信すると最後のファイルで上書きされてしまいます。
→ $SNDFILE を使うことで、送信元ファイルごとに別々のファイルとして受信できます。
動的パラメータが有効になっている必要がある
$SNDFILE はHULFTの動的パラメータ機能を利用するため、システム環境設定で動的パラメータが有効化されていることを確認してください。
ディレクトリは固定、ファイル名だけ動的
C:\recv\ 部分は固定ですが、ファイル名部分に $SNDFILE を置くことで柔軟に対応可能です。

まとめ

$SNDFILE を使うことで、送信元のファイル名をそのまま受信側に引き継げる。
日付付きファイルや動的に生成されるファイル名を扱う場合に便利。
受信定義に C:\recv\$SNDFILE のように設定するだけで利用可能。

HULFTの運用では「配信元のファイル名をそのまま使いたい」という要件は多いため、覚えておくと便利なテクニックです。

✔ なぜPowerShellはCSV処理が遅くなるのか

✔ 高速化のポイントは「逐次読み込み」と「Stream処理」

💡 高速化の基本

✔ ベストプラクティス①：StreamReaderで逐次処理

✔ 特徴

✔ ベストプラクティス②：Import-Csv を使う場合の高速化

✔ 注意点

✔ ベストプラクティス③：Select-Object / Where-Object を避ける

💡 改善

✔ ベストプラクティス④：StringBuilderで出力バッファを作る

✔ StringBuilderを使う（高速）

✔ ベストプラクティス⑤：PowerShell 7 を使う

理由

✔ 実際の処理速度比較（目安）

✔ まとめ：最速は「StreamReader＋Splitによる逐次処理」

✔ 最適解

関連記事

1. HULFT転送の基本：ブロック単位で送られる

2. 単独転送の理論値：最速で送るシンプルな動作

■ 単独転送の理論値計算式

■ 例：500MBのファイルを100Mbpsで送信する場合

3. 間欠転送の理論値：休止時間の積み重ねで大幅に遅くなる

■ 間欠転送の理論計算式

4. 実例：500MBファイルを間欠転送で送るとどうなる？

★ 前提

■ 間欠転送の追加時間

■ 合計転送時間

→ 実際の現場でも「間欠転送は数倍遅くなる」理由はここにある

5. 実効転送速度（Throughput）の簡易算出方法

■ 実測からの計算式

6. 間欠転送の「適切な使いどころ」

7. 間欠転送設定によるエラー（S3Timeout など）について

✔ 大容量ファイルほど間欠転送はリスクが高い

まとめ

関連記事

⚙️ 実践スクリプト：ログ収集＆バックアップ自動化

📦 処理の流れ

🕒 定期実行する方法（Windows タスクスケジューラ）

💡 応用ポイント

🚀 まとめ

関連記事

Javaから外部コマンドを実行する基本

1. ファイル送信（utlsend）

2. ファイル受信（utlrecv）

3. ファイル連結（utlconcat）

4. ファイル分割（utlsplit）

運用上の注意点

まとめ

関連記事

BULK COLLECTとは？

基本構文

使用例

FORALLとは？

基本構文

使用例

BULK COLLECTとFORALLを組み合わせる

処理フロー例

パフォーマンス比較

注意点

まとめ

関連記事

$SNDFILEとは？

設定例

例：送信元のファイルが sales_20250911.csv の場合

利用上の注意点

まとめ

関連記事

「駑馬十駕」を信念に IT系情報を中心に調べた事をコツコツ綴っています。

　関連記事

　関連記事

　関連記事

1. ファイル送信（`utlsend`）

2. ファイル受信（`utlrecv`）

3. ファイル連結（`utlconcat`）

4. ファイル分割（`utlsplit`）

　関連記事

　関連記事

`$SNDFILE`とは？

例：送信元のファイルが `sales_20250911.csv` の場合

　関連記事