PowerShell：如何合并 CSV 文件？

您是否有多个 CSV 文件需要合并为一个文件？如果您不知道正确的方法，这可能是一项乏味且耗时的任务。幸运的是，有了 PowerShell，事情就变得简单多了。在本教程中，我们将了解如何使用 PowerShell 将多个 CSV 文件的内容快速合并到一个文件中。我们将引导您完成分步说明，并为您提供实际示例来帮助您完成此任务。按照我们的分步说明，合并 CSV 文件将变得轻而易举！让我们开始吧！

使用 PowerShell 合并 CSV 文件的简介

在深入研究合并 CSV 文件的过程之前，让我们花点时间了解一下为什么需要 PowerShell 来合并 CSV 文件。 CSV 文件通常用于存储和交换数据。行代表文件的每一行，逗号或另一个指定的分隔符分隔行中的每个值。我们可以在 Excel 中打开它们并手动复制粘贴数据。然而，管理多个 CSV 文件可能是一项乏味且耗时的任务。您可以使用 PowerShell（一种功能强大的脚本语言）自动执行任务，包括合并 CSV 文件。 PowerShell 提供了一组强大的功能来处理 CSV 文件，使其成为管理大型数据集的理想工具。

使用 PowerShell 合并 CSV 文件的好处

通过合并 CSV 文件，您可以整合来自不同来源的数据并全面了解您的信息。无论您需要合并来自不同地区的销售数据、来自多个部门的员工记录，还是来自不同服务器的日志文件，PowerShell 都提供了强大的解决方案来简化此过程。将多个 CSV 文件合并为一个文件的能力在许多场景中非常宝贵，例如数据分析、报告和数据集成。

PowerShell 在合并 CSV 文件方面具有多项优势。首先，PowerShell 是一种功能强大的脚本语言，提供了用于处理 CSV 文件的广泛功能。这包括读取和写入 CSV 文件的能力，以及操作 CSV 文件中的数据的能力。

如何使用 PowerShell 合并 CSV 文件？

让我们逐步了解合并 CSV 文件的过程。使用 Import-Csv 和 Export-Csv cmdlet 可以轻松地在 PowerShell 中合并 CSV 文件。假设两个 CSV 文件共享相同的结构，下面是一个简单的示例，演示如何将它们合并为一个：

# Import the CSV files
$csv1 = Import-Csv -Path "C:\Scripts\Users\Users-1.csv"
$csv2 = Import-Csv -Path "C:\Scripts\Users\Users-2.csv"

# Merge the CSV files and export to a new CSV file
$csv1 + $csv2 | Export-Csv -Path "C:\Scripts\Users\MergedFile.csv" -NoTypeInformation

在此脚本中，Import-Csv 用于将 File1.csv 和 File2.csv 的内容分别读取到 $csv1 和 $csv2 变量中。然后使用 + 运算符连接两个 CSV 记录数组。最后，使用 Export-Csv 将组合数据写入 MergedFile.csv。通过组合 Import-Csv 和 Export-Csv cmdlet，我们可以合并多个 CSV 文件，同时保留数据的结构和完整性。

PowerShell 合并文件夹中的所有 CSV 文件

假设您有一个包含大量 CSV 文件的目录，每个文件代表特定时间段或类别的数据。要执行全面分析，必须将这些文件合并为单个文件，确保保留标题行。

这次，让我们借助 PowerShell 脚本将所有 CSV 文件合并到一个文件夹中！使用以下脚本：

#Parameters
$SourceFolder = "C:\Scripts\Users"
$Output = "C:\Scripts\Users\AllUsers.csv"

# Get a list of the CSV files in a directory
$CSVFiles = Get-ChildItem -Path $SourceFolder  -Filter "*.csv"

# Loop over each CSV file
ForEach ($CSVFile in $CSVFiles) {
    # Import the CSV file and Append to another
   Import-Csv $CSVFile.FullName | Export-Csv -Path $output -Append -NoTypeInformation
}

此代码将合并指定文件夹中的所有 CSV 文件，并将输出保存到名为“output.csv”的新文件中。请注意，所有 CSV 文件必须具有相同的列。如果没有，您将面临错误：

Export-Csv ：无法将 CSV 内容附加到以下文件：C:\Scripts\Users\AllUsers.csv。附加对象没有与以下列对应的属性：Mail。要继续处理不匹配的属性，请添加 -Force 参数，然后重试该命令。

使用 PowerShell 合并 CSV 文件

PowerShell 提供了多种用于操作和组合 CSV 文件的功能。例如，您可以使用“Select-Object”cmdlet 从 CSV 文件中选择特定列。您还可以使用“Sort-Object”cmdlet 对 CSV 文件中的数据进行排序。此外，PowerShell 还提供了其他几个用于处理 CSV 文件的 cmdlet，例如“Import-Csv”、“Export-Csv”和“ConvertTo-Csv”。以下是用于合并多个 CSV 文件中的公共列的 PowerShell 脚本：

# Get a list of the CSV files in a directory
$CSVFiles = Get-ChildItem -Path "C:\Scripts\Users" -Filter "*.csv"

# Initialize an array to hold the data from the CSV files
$CSVData = @()

# Loop over each CSV file
ForEach ($CSVFile in $CSVFiles) {
    # Import the CSV file
    $CSVContent = Import-Csv -Path $CSVFile.FullName

    # Add the data from the CSV file to the array
    $CSVData += $CSVContent
}

# Now, $csvData contains the combined data from all the CSV files
$CSVData | Export-Csv -Path "C:\Scripts\Users.csv" -NoTypeInformation

附加带有附加列信息的 CSV 文件

在某些情况下，您可能希望将其他列信息添加到合并的 CSV 文件中。这可能包括源文件的文件名、时间戳或为数据提供上下文的任何其他相关信息。

要向 CSV 文件附加附加列信息，您可以使用 PowerShell 中的 Add-Member cmdlet。此 cmdlet 允许您向对象添加自定义属性，从而使您能够在将数据导出到合并文件之前修改数据。

下面是一个示例脚本，演示如何附加带有附加列信息的 CSV 文件：

$sourceFolder = "C:\Scripts\Users"
$sourceFiles = Get-ChildItem -Path $sourceFolder -Filter *.csv
$outputFile = "C:\Scripts\Users\merged.csv"

$combinedOutput = foreach ($file in $sourceFiles) {
    $content = Import-Csv -Path $file.FullName
    $content | Add-Member -MemberType NoteProperty -Name 'Filename' -Value $file.Name -PassThru
}

$combinedOutput | Export-Csv -Path $outputFile -NoTypeInformation

在此脚本中，我们使用 Add-Member cmdlet 将名为“Filename”的附加属性添加到 CSV 文件的每一行。使用 $file.Name 变量将此属性的值设置为源文件的名称。通过添加此属性，我们可以轻松识别合并的 CSV 文件中每一行的源文件。

通过应用这些先进的 CSV 合并技术，您可以处理不同的场景并确保合并的 CSV 文件满足您的特定要求。无论您需要合并具有不同标题的文件、高效处理大型数据集还是附加其他列信息，PowerShell 都提供了完成这些任务的灵活性和强大功能。

过滤合并的 CSV 文件数据

要根据特定条件过滤合并的 CSV 文件，您可以使用 Where-Object cmdlet：

$mergedData = Import-Csv -Path "merged.csv"
$filteredData = $mergedData | Where-Object { $_.Sales > 1000 }
$filteredData | Export-Csv -Path "filtered_data.csv" -NoTypeInformation

在此示例中，我们使用 Import-Csv 导入合并的 CSV 文件。然后，我们使用 Where-Object cmdlet 根据特定条件（在本例中为销售额大于 1000）过滤数据。最后，我们使用 Export-Csv 将过滤后的数据导出到名为“filtered_data.csv”的新 CSV 文件。

使用 Get-Content 和 Add-Content 合并文件

在 PowerShell 中合并 CSV 文件的最简单方法之一是使用 Get-Content 和 Add-Content cmdlet。此方法涉及使用 Get-Content 读取每个 CSV 文件的内容，并使用 Add-Content 将其附加到新的组合文件中。让我们看看如何实现这一点：

Get-Content "C:\Scripts\Users\*.csv" | Add-Content "C:\Scripts\Users\Merged.csv"

在上面的脚本中，我们使用通配符 *.csv 指定 CSV 文件的路径，以选择具有 .csv 扩展名的所有文件。 Get-Content cmdlet 读取每个文件的内容，Add-Content cmdlet 将其附加到组合文件中。此方法对于合并具有相同结构的 CSV 文件而言简单且高效。但是，它无法处理需要保留标头或处理具有不同结构的 CSV 文件的情况。

保留标头并跳过重复标头

虽然以前的方法成功合并了 CSV 文件，但它可能会导致重复的标题行，这可能会给数据分析带来挑战。为了克服这个问题，我们可以修改脚本以保留第一个文件中的标题行并跳过后续文件中的标题行。这是实现此目的的更新脚本：

#Parameters
$sourceFolder = "C:\Scripts\Users"
$outputFile = "C:\Scripts\Merged.csv"

$SourceFiles = Get-ChildItem -Path $sourceFolder -Filter *.csv

$FirstFile = $true
ForEach ($File in $SourceFiles) {
    $Content = Get-Content $File.FullName

    if ($firstFile) {
        $content[0] | Add-Content $outputFile
        $firstFile = $false
    }
    $content | Select-Object -Skip 1 | Add-Content $outputFile
}

在此修改后的脚本中，我们使用 Get-Content cmdlet 读取每个文件的内容。然后，我们使用布尔变量 $firstFile 检查它是否是第一个文件。如果它是第一个文件，我们将标题行附加到输出文件中。对于后续文件，我们使用带有 -Skip 1 参数的 Select-Object cmdlet 来排除标题行并将剩余行附加到输出文件。这可确保合并后的文件只有一个标题行。

处理大型 CSV 文件

如果您正在处理大型 CSV 文件或大量文件，优化合并过程以提高效率非常重要。实现此目的的一种方法是使用 System.IO 命名空间中的 StreamReader 和 StreamWriter 类。这种方法允许我们以流方式处理文件，最大限度地减少内存使用。让我们看看如何实现：

$sourceFolder = "C:\Scripts\Users"
$sourceFiles = Get-ChildItem -Path $sourceFolder -Filter *.csv
$outputFile = "C:\Scripts\merged.csv"

$streamWriter = [System.IO.StreamWriter]::new($outputFile)

ForEach ($File in $SourceFiles) {
    $streamReader = [System.IO.StreamReader]::new($file.FullName)

    # Skip the header row for subsequent files
    if ($streamReader.Peek() -ne -1) {
        $streamReader.ReadLine() | Out-Null
    }

    while ($line = $streamReader.ReadLine()) {
        $streamWriter.WriteLine($line)
    }

    $streamReader.Close()
}

$streamWriter.Close()

在这种优化方法中，我们创建 StreamReader 和 StreamWriter 类的实例。 StreamReader 逐行读取每个文件的内容，跳过后续文件的标题行。 StreamWriter 将行直接写入输出文件。通过以流的方式处理文件，我们可以高效地处理大型CSV文件或大量文件，而不会消耗过多的内存。

使用 PowerShell 合并 CSV 文件的高级技术

PowerShell 提供了多种用于合并 CSV 文件的高级技术。例如，您可以使用“Join-Object”cmdlet 基于公共列合并多个 CSV 文件中的数据。当您需要将多个源的数据合并到一个数据集中时，这非常有用。此外，PowerShell 还提供了多种其他高级技术来操作和转换 CSV 文件中的数据。

常见错误以及如何解决它们

使用 CSV 文件时，了解可能发生的常见错误非常重要。一种常见错误是 CSV 文件之间的列名称不匹配。要避免此错误，请确保所有 CSV 文件中的列名称匹配。另一个常见错误是 CSV 文件中数据丢失或无效。要解决此错误，您可以使用“Where-Object”cmdlet 过滤掉无效数据。

使用 PowerShell 合并 CSV 文件的最佳实践

为了确保准确高效地合并数据，在使用 PowerShell 合并 CSV 文件时遵循最佳实践非常重要。首先，确保所有 CSV 文件具有相同的结构和格式。这将有助于避免合并来自不同源的文件时出现兼容性问题。其次，使用描述性文件名，以便于识别每个文件的内容。最后，请确保在合并 CSV 文件之前备份数据，以避免数据丢失。

包起来

在本综合指南中，我们探索了使用 PowerShell 合并 CSV 文件的不同方法和技术。无论您是处理少量文件还是处理大型数据集，PowerShell 都提供灵活高效的解决方案来自动执行合并过程。我们研究了使用 PowerShell 合并 CSV 文件的各种方法和技术，包括使用 Get-Content 和 Add-Content 合并文件、保留标题、合并多列文件、处理具有不同标题的文件以及高效合并大文件。通过根据您的具体要求选择合适的方法，您可以确保准确高效地合并数据。因此，继续利用 PowerShell 的强大功能无缝合并 CSV 文件，从而节省数据分析工作流程的时间和精力。