「バッチ処理」タグアーカイブ

PowerShellでログ収集とバックアップを自動化する実践スクリプト

2025年10月28日管理者コメントする

システム運用や開発現場では、ログ収集やバックアップ作業を「手動で行う」ケースがまだ多く残っています。しかし、PowerShellを使えばこれらを自動化し、毎日の定型作業を一気に効率化できます。

この記事では、**「ログを自動収集してバックアップするPowerShellスクリプト」**を実例付きで紹介します。
スクリプトはWindows環境でそのまま動作し、日次・週次の定期ジョブとしても活用可能です。

⚙️ 実践スクリプト：ログ収集＆バックアップ自動化

以下のスクリプトは、

ログフォルダをスキャン
日付別フォルダにコピー
古いバックアップを自動削除
する一連の処理を行います。

# ============================
# PowerShell ログ収集＆バックアップ自動化スクリプト
# ============================

# 設定項目
$SourceDir  = "C:\Logs"                     # 元ログフォルダ
$BackupRoot = "D:\Backup\Logs"              # バックアップ先ルート
$KeepDays   = 30                            # 保持期間（日数）

# 日付フォルダ名 (例: 20251028)
$Today = (Get-Date).ToString("yyyyMMdd")
$BackupDir = Join-Path $BackupRoot $Today

# バックアップフォルダ作成
if (!(Test-Path $BackupDir)) {
    New-Item -ItemType Directory -Path $BackupDir | Out-Null
    Write-Host "バックアップフォルダを作成しました: $BackupDir"
}

# ログファイルをコピー
Write-Host "ログ収集中..."
Get-ChildItem -Path $SourceDir -Filter "*.log" -Recurse | ForEach-Object {
    $dest = Join-Path $BackupDir $_.Name
    Copy-Item $_.FullName $dest -Force
}
Write-Host "コピー完了。"

# 古いバックアップ削除
Write-Host "古いバックアップを削除中..."
Get-ChildItem -Path $BackupRoot -Directory | Where-Object {
    $_.Name -match "^\d{8}$" -and
    (Get-Date($_.Name.Substring(0,4)+'-'+$_.Name.Substring(4,2)+'-'+$_.Name.Substring(6,2))) -lt (Get-Date).AddDays(-$KeepDays)
} | ForEach-Object {
    Remove-Item $_.FullName -Recurse -Force
    Write-Host "削除: $($_.FullName)"
}

Write-Host "バックアップ処理が完了しました。"

# ============================

# PowerShell ログ収集＆バックアップ自動化スクリプト

# ============================

# 設定項目

$SourceDir = "C:\Logs" # 元ログフォルダ

$BackupRoot = "D:\Backup\Logs" # バックアップ先ルート

$KeepDays = 30 # 保持期間（日数）

# 日付フォルダ名 (例: 20251028)

$Today = (Get-Date).ToString("yyyyMMdd")

$BackupDir = Join-Path $BackupRoot $Today

# バックアップフォルダ作成

if (!(Test-Path $BackupDir)) {

New-Item -ItemType Directory -Path $BackupDir | Out-Null

Write-Host "バックアップフォルダを作成しました: $BackupDir"

}

# ログファイルをコピー

Write-Host "ログ収集中..."

Get-ChildItem -Path $SourceDir -Filter "*.log" -Recurse | ForEach-Object {

$dest = Join-Path $BackupDir $_.Name

Copy-Item $_.FullName $dest -Force

}

Write-Host "コピー完了。"

# 古いバックアップ削除

Write-Host "古いバックアップを削除中..."

Get-ChildItem -Path $BackupRoot -Directory | Where-Object {

$_.Name -match "^\d{8}$" -and

(Get-Date($_.Name.Substring(0,4)+'-'+$_.Name.Substring(4,2)+'-'+$_.Name.Substring(6,2))) -lt (Get-Date).AddDays(-$KeepDays)

} | ForEach-Object {

Remove-Item $_.FullName -Recurse -Force

Write-Host "削除: $($_.FullName)"

}

Write-Host "バックアップ処理が完了しました。"

📦 処理の流れ

処理	内容
① 初期設定	ログフォルダ・バックアップフォルダ・保持日数を設定
② 日付フォルダ作成	yyyyMMdd形式で新しいバックアップフォルダを作成
③ ログコピー	対象フォルダからすべての.logファイルをコピー
④ 古いフォルダ削除	30日より古いフォルダを自動削除

🕒 定期実行する方法（Windows タスクスケジューラ）

Windows検索バーで「タスクスケジューラ」と入力して起動
「基本タスクの作成」→ タスク名を「ログバックアップ」とする
「毎日」または「毎週」を選択
「操作」で「プログラムの開始」を選択し、以下を指定

Program/script: powershell.exe Add arguments: -File "D:\Scripts\log_backup.ps1"
完了後、右クリック → 「プロパティ」 → 「最上位の特権で実行する」を有効にする

💡 応用ポイント

ZIP圧縮も追加可能：Compress-Archiveを使ってバックアップサイズを削減
ログローテーション：ファイルサイズや日付で自動的にローテーションするよう拡張可能
メール通知：バックアップ完了後にSend-MailMessageで報告を送信可能
CSVやJSON対応：ログ形式が異なる場合もGet-Content＋ConvertFrom-Jsonなどで加工可能

🚀 まとめ

PowerShellを使えば、GUI操作では面倒なログバックアップを簡潔に自動化できます。
1日1回の定期タスクに登録するだけで、手動の手間を大幅削減。
運用の安定化にもつながります。

ポイント：小さなスクリプトでも「業務時間を削減」できるのがPowerShellの強みです。

HULFT, Java, ブログ, プログラミング

HULFT連携：Javaからユーティリティコマンドを呼び出す実装例

2025年10月1日管理者コメントする

HULFTには「送受信ジョブを定義して使う方法」以外に、utlsendなどのユーティリティ系コマンドを直接呼び出してファイル転送や加工を行う手段があります。
これらは事前の送受信定義が不要で、コマンド実行時に条件を指定できるため、テスト送信・スポット利用・簡易処理に非常に便利です。

本記事では、JavaでHULFTコマンドを実行する例をご紹介します。

utlsend : ファイル送信
utlrecv : ファイル受信
utlconcat : ファイル連結
utlsplit : ファイル分割

Javaから外部コマンドを実行する基本

Javaでは ProcessBuilder を使うことで、外部のHULFTコマンドを呼び出せます。
エラー出力も標準出力にまとめる設定をすれば、ログ管理が容易になります。

共通の呼び出しテンプレートは以下の通りです。

import java.io.*;

public class HulftCommandRunner {
    public static void runCommand(String... command) {
        try {
            ProcessBuilder pb = new ProcessBuilder(command);
            pb.redirectErrorStream(true);
            Process process = pb.start();

            BufferedReader reader = new BufferedReader(
                    new InputStreamReader(process.getInputStream(), "MS932")); // Windows日本語環境想定
            String line;
            while ((line = reader.readLine()) != null) {
                System.out.println(line);
            }

            int exitCode = process.waitFor();
            System.out.println("終了コード: " + exitCode);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

import java.io.*;

public class HulftCommandRunner {

public static void runCommand(String... command) {

try {

ProcessBuilder pb = new ProcessBuilder(command);

pb.redirectErrorStream(true);

Process process = pb.start();

BufferedReader reader = new BufferedReader(

new InputStreamReader(process.getInputStream(), "MS932")); // Windows日本語環境想定

String line;

while ((line = reader.readLine()) != null) {

System.out.println(line);

}

int exitCode = process.waitFor();

System.out.println("終了コード: " + exitCode);

} catch (Exception e) {

e.printStackTrace();

}

以降の例では、この runCommand を利用して各ユーティリティコマンドを実行します。

1. ファイル送信（`utlsend`）

事前の送信定義が不要で、対象ファイルと宛先ノードを直接指定できます。

public class ExampleSend {
    public static void main(String[] args) {
        HulftCommandRunner.runCommand(
            "utlsend",
            "-f", "/data/test.txt",
            "-n", "NODE001"
        );
    }
}

public class ExampleSend {

public static void main(String[] args) {

HulftCommandRunner.runCommand(

"utlsend",

"-f", "/data/test.txt",

"-n", "NODE001"

);

}

-f : 送信するファイルパス
-n : 宛先ノード名（HULFTに登録済み）

2. ファイル受信（`utlrecv`）

受信ジョブを登録せず、コマンドだけでファイルを取得できます。

public class ExampleRecv {
    public static void main(String[] args) {
        HulftCommandRunner.runCommand(
            "utlrecv",
            "-f", "/data/recv.txt",
            "-n", "NODE001"
        );
    }
}

public class ExampleRecv {

public static void main(String[] args) {

HulftCommandRunner.runCommand(

"utlrecv",

"-f", "/data/recv.txt",

"-n", "NODE001"

);

}

-f : 保存先のファイル名
-n : 送信元ノード名

3. ファイル連結（`utlconcat`）

複数のファイルを1つにまとめたいときに使います。

public class ExampleConcat {
    public static void main(String[] args) {
        HulftCommandRunner.runCommand(
            "utlconcat",
            "-o", "/data/merged.txt",
            "-f", "/data/file1.txt",
            "-f", "/data/file2.txt"
        );
    }
}

public class ExampleConcat {

public static void main(String[] args) {

HulftCommandRunner.runCommand(

"utlconcat",

"-o", "/data/merged.txt",

"-f", "/data/file1.txt",

"-f", "/data/file2.txt"

);

}

-o : 出力ファイル名
-f : 結合対象のファイル（複数指定可）

4. ファイル分割（`utlsplit`）

大きなファイルを分割して処理したいときに使います。

public class ExampleSplit {
    public static void main(String[] args) {
        HulftCommandRunner.runCommand(
            "utlsplit",
            "-f", "/data/bigfile.txt",
            "-l", "1000"
        );
    }
}

public class ExampleSplit {

public static void main(String[] args) {

HulftCommandRunner.runCommand(

"utlsplit",

"-f", "/data/bigfile.txt",

"-l", "1000"

);

}

-f : 分割対象ファイル
-l : 分割する行数（例：1000行ごと）

運用上の注意点

PATHの設定
Javaから呼び出す際は、utlsend.exe などのHULFTバイナリがPATHに通っている必要があります。
通っていない場合はフルパス指定が必須です。
終了コードの確認
- 0 : 正常終了
- 0以外 : エラー（詳細はHULFTマニュアルのエラーコード参照）
ログ管理
実際の業務バッチでは process.getInputStream() の内容をファイル出力してログ管理することを推奨します。

まとめ

utlsend でファイルを即送信できる
utlrecv で即時受信が可能
utlconcat でファイルを連結
utlsplit でファイルを分解

これらをJavaから呼び出すことで、柔軟なファイル連携や加工処理が実現できます。

Oracle, SQL, データベース, ブログ

PL/SQL：BULK COLLECTとFORALLを使った効率的な大量データ処理

2025年9月17日管理者コメントする

Oracle PL/SQLを使って大量データを処理する際、1行ずつループして処理を行うとパフォーマンスが低下します。
このようなケースで活躍するのが BULK COLLECT と FORALL です。

これらを活用することで、SQLとPL/SQL間のコンテキスト切り替えを最小限に抑え、大量データを効率的に処理できます。

BULK COLLECTとは？

BULK COLLECTは、複数行のデータを一括でコレクション（配列型変数）に格納する仕組みです。

基本構文

使用例

DECLARE
  TYPE t_emp IS TABLE OF employees%ROWTYPE;
  l_emp t_emp;
BEGIN
  SELECT * 
  BULK COLLECT INTO l_emp
  FROM employees
  WHERE department_id = 10;

  DBMS_OUTPUT.PUT_LINE('取得件数: ' || l_emp.COUNT);
END;

DECLARE

TYPE t_emp IS TABLE OF employees%ROWTYPE;

l_emp t_emp;

BEGIN

SELECT *

BULK COLLECT INTO l_emp

FROM employees

WHERE department_id = 10;

DBMS_OUTPUT.PUT_LINE('取得件数: ' || l_emp.COUNT);

END;

✅ 通常のSELECT INTOでは1行しか取得できませんが、BULK COLLECTを使うと複数行をまとめて変数に格納できます。

FORALLとは？

FORALLは、コレクションに格納されたデータを使って一括処理（INSERT/UPDATE/DELETE）を行う構文です。

基本構文

使用例

DECLARE
  TYPE t_empno IS TABLE OF employees.employee_id%TYPE;
  l_empno t_empno;
BEGIN
  -- 部署ID 20の社員IDをまとめて取得
  SELECT employee_id
  BULK COLLECT INTO l_empno
  FROM employees
  WHERE department_id = 20;

  -- 一括で給与を10%アップ
  FORALL i IN l_empno.FIRST .. l_empno.LAST
    UPDATE employees
    SET salary = salary * 1.1
    WHERE employee_id = l_empno(i);

  COMMIT;
END;

DECLARE

TYPE t_empno IS TABLE OF employees.employee_id%TYPE;

l_empno t_empno;

BEGIN

-- 部署ID 20の社員IDをまとめて取得

SELECT employee_id

BULK COLLECT INTO l_empno

FROM employees

WHERE department_id = 20;

-- 一括で給与を10%アップ

FORALL i IN l_empno.FIRST .. l_empno.LAST

UPDATE employees

SET salary = salary * 1.1

WHERE employee_id = l_empno(i);

COMMIT;

END;

✅ FORループで1件ずつUPDATEするよりも大幅に高速化できます。

BULK COLLECTとFORALLを組み合わせる

実務では、BULK COLLECTで一括取得 → FORALLで一括更新／削除といった流れがよく使われます。

処理フロー例

BULK COLLECTで対象データを配列に取得
配列の内容をFORALLで一括更新
コミット

このように組み合わせることで、バッチ処理や大量データ更新におけるパフォーマンスを劇的に改善できます。

パフォーマンス比較

従来のループ処理
SQLとPL/SQL間で行き来が多くなり、数万件以上の処理では遅くなる
BULK COLLECT + FORALL
コンテキストスイッチが最小化され、処理速度が数倍〜数十倍向上するケースもある

注意点

BULK COLLECTで一度に大量データを取得するとメモリ不足の可能性あり
→ LIMIT句を組み合わせて分割取得が推奨
FORALLはDML専用（SELECTでは使えない）
例外処理はSAVE EXCEPTIONSを付けて制御することも可能

まとめ

BULK COLLECT → 複数行を一括取得
FORALL → 複数行を一括処理
大量データ処理では必須テクニック
メモリ管理や例外処理に注意しつつ使うと、バッチ処理の効率が大幅に改善

💡 実際のプロジェクトでは「数十万件以上のデータ更新」で特に効果が出やすいため、PL/SQLチューニングの定番として覚えておきましょう。

HULFT, Web開発, ブログ

HULFTで日付付きファイルを配信元ファイル名のまま受信する方法

2025年9月11日管理者コメントする

HULFTを使ったファイル連携では、バッチ処理などで日付が付与されたファイル名を扱うケースが多くあります。
例えば、送信側で以下のように日付が付与されたファイルを生成する場合です。

sales_20250911.csv
sales_20250912.csv

受信側でもこのファイル名をそのまま維持して保存したい、という要件はよくあります。
本記事では、その場合に利用できる HULFTの動的パラメータ $SNDFILE を使った方法を解説します。

`$SNDFILE`とは？

HULFTには送受信時に利用できる動的パラメータが用意されています。
その中の一つが $SNDFILE で、これは 「送信元ファイル名」 を表します。

つまり $SNDFILE を指定することで、送信側が持つ実際のファイル名を受信側でそのまま利用することが可能です。

設定例

受信側（集信定義）の「受信ファイル名」に $SNDFILE を指定します。

C:\recv\$SNDFILE

この設定を行うと、送信されたファイル名のまま受信先に保存することが出来ます。

例：送信元のファイルが `sales_20250911.csv` の場合

配信元： /data/sales_20250911.csv
受信定義： C:\recv\$SNDFILE
保存結果： C:\recv\sales_20250911.csv

利用上の注意点

受信先でファイル名を固定して指定すると上書きされる
例えば C:\recv\sales.csv のように固定名を指定した場合、複数ファイルを送信すると最後のファイルで上書きされてしまいます。
→ $SNDFILE を使うことで、送信元ファイルごとに別々のファイルとして受信できます。
動的パラメータが有効になっている必要がある
$SNDFILE はHULFTの動的パラメータ機能を利用するため、システム環境設定で動的パラメータが有効化されていることを確認してください。
ディレクトリは固定、ファイル名だけ動的
C:\recv\ 部分は固定ですが、ファイル名部分に $SNDFILE を置くことで柔軟に対応可能です。

まとめ

$SNDFILE を使うことで、送信元のファイル名をそのまま受信側に引き継げる。
日付付きファイルや動的に生成されるファイル名を扱う場合に便利。
受信定義に C:\recv\$SNDFILE のように設定するだけで利用可能。

HULFTの運用では「配信元のファイル名をそのまま使いたい」という要件は多いため、覚えておくと便利なテクニックです。

覚え書き.com

「バッチ処理」タグアーカイブ

PowerShellでログ収集とバックアップを自動化する実践スクリプト

⚙️ 実践スクリプト：ログ収集＆バックアップ自動化

📦 処理の流れ

🕒 定期実行する方法（Windows タスクスケジューラ）

💡 応用ポイント

🚀 まとめ

HULFT連携：Javaからユーティリティコマンドを呼び出す実装例

Javaから外部コマンドを実行する基本

1. ファイル送信（`utlsend`）

2. ファイル受信（`utlrecv`）

3. ファイル連結（`utlconcat`）

4. ファイル分割（`utlsplit`）

運用上の注意点

まとめ

PL/SQL：BULK COLLECTとFORALLを使った効率的な大量データ処理

BULK COLLECTとは？

基本構文

使用例

FORALLとは？

基本構文

使用例

BULK COLLECTとFORALLを組み合わせる

処理フロー例

パフォーマンス比較

注意点

まとめ

HULFTで日付付きファイルを配信元ファイル名のまま受信する方法

`$SNDFILE`とは？

設定例

例：送信元のファイルが `sales_20250911.csv` の場合

利用上の注意点

まとめ

「駑馬十駕」を信念に IT系情報を中心に調べた事をコツコツ綴っています。

⚙️ 実践スクリプト：ログ収集＆バックアップ自動化

📦 処理の流れ

🕒 定期実行する方法（Windows タスクスケジューラ）

💡 応用ポイント

🚀 まとめ

関連記事

Javaから外部コマンドを実行する基本

1. ファイル送信（utlsend）

2. ファイル受信（utlrecv）

3. ファイル連結（utlconcat）

4. ファイル分割（utlsplit）

運用上の注意点

まとめ

関連記事

BULK COLLECTとは？

基本構文

使用例

FORALLとは？

基本構文

使用例

BULK COLLECTとFORALLを組み合わせる

処理フロー例

パフォーマンス比較

注意点

まとめ

関連記事

$SNDFILEとは？

設定例

例：送信元のファイルが sales_20250911.csv の場合

利用上の注意点

まとめ

関連記事

「駑馬十駕」を信念に IT系情報を中心に調べた事をコツコツ綴っています。

　関連記事

1. ファイル送信（`utlsend`）

2. ファイル受信（`utlrecv`）

3. ファイル連結（`utlconcat`）

4. ファイル分割（`utlsplit`）

　関連記事

　関連記事

`$SNDFILE`とは？

例：送信元のファイルが `sales_20250911.csv` の場合

　関連記事