当前位置:网站首页 > 更多 > 玩电脑 > 正文

[玩转系统] 在 PowerShell 中合并多个 CSV 文件 [3 种方法]

作者:精品下载站 日期:2024-12-14 05:25:25 浏览:13 分类:玩电脑

在 PowerShell 中合并多个 CSV 文件 [3 种方法]


[玩转系统] 在 PowerShell 中合并多个 CSV 文件 [3 种方法]

使用 Import-CsvExport-Csv

在合并多个 .csv 文件之前,我们先编写一个脚本来查看指定目录中有多少个 .csv 文件。

为此,创建一个名为 $sourcefiles 的变量,其中包含目录中所有 CSV 文件的列表。接下来,使用 Get-ChildItem cmdlet 检索目录中的所有 CSV 文件。您可以使用以下命令来执行此操作。

使用 Get-ChildItem 检索所有 CSV 文件:

$sourcefolder = "C:\Users\DELL\Desktop\work\csv"
$sourcefiles = Get-ChildItem -Path $sourcefolder -Filter *.csv
$sourcefiles

输出 :

Directory: C:\Users\DELL\Desktop\work\csv

Mode                 LastWriteTime         Length Name
----                 -------------         ------ ----
-a----          1/4/2023   7:46 PM             52 students_group1.csv
-a----          1/4/2023   7:47 PM             46 students_group2.csv

我们可以在给定目录中看到两个 .csv 文件(students_group1.csvstudents_group2),即 C:\Users\在我们的例子中为 DELL\Desktop\work\csv;确保更新包含 CSV 文件的目录。但首先,让我们看看每个 .csv 文件中可用的内容。

使用 Import-Csv Cmdlet:

ipcsv students_group1.csv | ft -AutoSize

名为students_group1.csv的文件的内容:

Name   Marks
----   -----
Ayesha 80
Burhan 95
Usman  79
Haram  60

使用 Import-Csv Cmdlet:

ipcsv students_group2.csv | ft -AutoSize

名为students_group2.csv的文件的内容:

Name  Marks
----  -----
Amna  60
Fizza 75
Sana  89
Ali   88

在上面,我们可以看到 students_group1.csvstudents_group2.csv 文件包含两列(NameMarks)四行包含有关学生姓名和分数的信息。这里,我们使用ipcsv命令读取CSV文件的内容,该命令是PowerShell中Import-Csv的别名。

现在,我们可以使用 foreach 循环来遍历 $sourcefiles 列表中的每个 .csv 文件,并将它们合并为一个 .csv 文件。以下是如何执行此操作的示例代码:

使用 Import-Csv Cmdlet:

$sourcefolder = "C:\Users\DELL\Desktop\work\csv"
$sourcefiles = Get-ChildItem -Path $sourcefolder -Filter *.csv
$result = @()
foreach ($file in $sourcefiles) {
    $data = Import-Csv $file.FullName
    $result += $data
}
$result | Export-Csv "C:\Users\DELL\Desktop\work\csv\merged.csv" -NoTypeInformation
$result

输出 :

Name   Marks
----   -----
Ayesha 80
Burhan 95
Usman  79
Haram  60
Amna   60
Fizza  75
Sana   89
Ali    88

在此代码段中,使用 Import-Csv cmdlet 将 .csv 文件的内容读取到 $data 变量中。然后更新 $result 变量以包含每个 .csv 文件中的数据。 $result 包含两个 CSV 文件中可用的合并数据。

最后,我们可以使用 Export-Csv cmdlet 将合并的数据写入新的 CSV 文件。以下是如何执行此操作的示例:

使用 Export-Csv Cmdlet:

$result | Export-Csv "C:\Users\DELL\Desktop\work\csv\merged.csv" -NoTypeInformation

执行上述代码后,我们可以在给定目录 (C:\Users\DELL\Desktop\work\csv ) 中观察到一个名为 merged.csv 的新 CSV 文件:目录中所有 CSV 文件的合并数据。

注意:仅当这两个 CSV 文件具有相同的结构(即它们具有相同数量的字段/列,并且每列中的数据具有相同类型)时,此方法才有效。

使用 + 运算符

使用 + 运算符在 PowerShell 中连接两个 CSV 文件。

使用 + 运算符:

# Import the data from the first CSV file
$csv_file1 = Import-Csv 'C:\Users\DELL\Desktop\work\csv\students_group1.csv'
# Import the data from the second CSV file
$csv_file2 = Import-Csv 'C:\Users\DELL\Desktop\work\csv\students_group2.csv'

# Concatenate the data from the two CSV files
$merged_csv = $csv_file1 + $csv_file2

# Export the merged data to a new CSV file
$merged_csv |
Export-Csv 'C:\Users\DELL\Desktop\work\csv\merged_csv_File.csv' -NoTypeInformation
$merged_csv

输出 :

Name Marks
----------
Ayesha 80
Burhan 95
Usman  79
Haram  60
Amna  60
Fizza 75
Sana  89
Ali   88

我们已经了解了 Import-CsvExport-Csv cmdlet,它们分别读取源文件的内容并将合并的数据写入新的 CSV 文件。

此处,将在指定路径中创建一个名为 merged_csv_File.csv 的新文件,其中包含 csv_file1.csvcsv_file2.csv 的合并数据(请参阅上面的输出)。

使用File

使用 File 类的 ReadAllLines()WriteAllLines() 方法在 PowerShell 中合并两个具有相同标头的 CSV 文件。

使用文件类:

#path to save merged CSV file
$outputCsv = "C:\Users\DELL\Desktop\work\csv\result.csv"

#path to read CSV files 
$inputCsvs = get-childItem "C:\Users\DELL\Desktop\work\csv\*.csv"

#read and write CSV header
[System.IO.File]::WriteAllLines($outputCsv,[System.IO.File]::ReadAllLines($inputCsvs[0])[0])

#read and append file contents except for the header
foreach ($csv in $inputCsvs)  {
 $lines = [System.IO.File]::ReadAllLines($csv)
 #append all text to $outputCsv file
 [System.IO.File]::AppendAllText($outputCsv, ($lines[1..$lines.Length] | Out-String))
}

#import $outputCsv to see merged content
ipcsv $outputCsv | ft -AutoSize

输出 :

Name Marks
----------
Ayesha 80
Burhan 95
Usman  79
Haram  60
Amna  60
Fizza 75
Sana  89
Ali   88

执行上述脚本后,我们可以看到在指定目录C:\Users\DELL\Desktop\work\csv中创建了合并文件,名为result.csv

在上面的示例中,我们创建了两个变量,$inputCsvs 包含 CSV 文件(students_group1.csvstudents_group2.csv 所在目录的路径)) 位于我们要合并的位置,并创建 $outputCsv 变量来存储合并的 CSV 文件数据。

这里,使用 System.IO.File 类的 ReadAllLines() 方法读取数组 $inputCsvs 中第一个 CSV 文件的标头,并将其写入合并中使用 WriteAllLines() 方法的 CSV ($outputCsv)。

  • 在 Powershell 中,WriteAllLines 创建一个新文件,将指定的字符串数组写入该文件,然后关闭它。
  • ReadAllLines 打开一个文件,读取该文件的所有行,然后关闭它。

之后,使用 foreach 循环遍历目录中的每个 CSV 文件。在循环内部,我们再次使用 ReadAllLines() 方法读取 CSV 文件的所有行,同时使用 AppendAllText() 方法将所有数据追加到合并的 CSV 中文件($outputCsv)。

这就是如何在 PowerShell 中合并多个 CSV 文件。

您需要 登录账户 后才能发表评论

取消回复欢迎 发表评论:

关灯