如何使用 PowerShell 计算文本文件中的重复行数？

最近，我正在处理一些文本文件，需要使用 PowerShell 来计算重复行的数量。我尝试了不同的方法来做到这一点。在本教程中，我们将探索使用 PowerShell 计算文本文件中重复行的不同方法。

方法 1：使用组对象

PowerShell 提供 Group-Object cmdlet 来计算文本文件中的重复行。此方法读取文件，对行进行分组，然后计算每行的出现次数。

这是一个完整的脚本。

# Path to the text file
$filePath = "C:\MyFolder\MyExample.txt"

# Read the file and group by each line
$lineGroups = Get-Content $filePath | Group-Object

# Display the results
$lineGroups | ForEach-Object {
    [PSCustomObject]@{
        Line = $_.Name
        Count = $_.Count
    }
} | Sort-Object -Property Count -Descending

• Get-Content $filePath 读取文件的内容。
• Group-Object 将相同的行组合在一起。
• ForEach-Object 迭代每个组以创建包含行及其计数的自定义对象。
• Sort-Object -Property Count -Descending 按计数降序对结果进行排序。

我执行了上面的脚本，你可以看到它给了我一个详细的报告，如下面的屏幕截图所示：

方法 2：使用哈希表

使用哈希表是在 PowerShell 中计算文本文件中重复行的另一种有效方法。此方法涉及迭代每一行并更新哈希表中的计数。

这是一个完整的例子；看看它：

# Path to the text file
$filePath = "C:\MyFolder\MyExample.txt"

# Initialize a hashtable to store line counts
$lineCounts = @{}

# Read the file and count each line
Get-Content $filePath | ForEach-Object {
    if ($lineCounts.ContainsKey($_)) {
        $lineCounts[$_]++
    } else {
        $lineCounts[$_] = 1
    }
}

# Display the results
$lineCounts.GetEnumerator() | ForEach-Object {
    [PSCustomObject]@{
        Line = $_.Key
        Count = $_.Value
    }
} | Sort-Object -Property Count -Descending

• @{} 初始化一个空哈希表。
• 获取内容$filePath | ForEach-Object 读取文件并迭代每一行。
• 该脚本检查哈希表中是否存在该行。如果是，则增加计数；否则，它会添加计数为 1 的行。
• GetEnumerator() 从哈希表中检索键值对。
• 结果按计数降序排列。

您可以在下面的屏幕截图中看到输出：

方法三：使用自定义函数

您还可以创建自定义函数来计算文本文件中的重复行数。该函数读取文件的内容，对行进行分组，然后过滤掉行数大于 1 的组。这表明该行在文件中重复。

这是完整的脚本：

function Get-DuplicateLines {
    param (
        [string]$filePath
    )

    # Check if the file exists
    if (-Not (Test-Path $filePath)) {
        Write-Error "The file path '$filePath' does not exist."
        return
    }

    # Read the file and group by each line
    $lineGroups = Get-Content $filePath | Group-Object

    # Filter groups where the count is greater than 1 (duplicates) and select the line and count
    $duplicates = $lineGroups | Where-Object { $_.Count -gt 1 } | Select-Object Name, Count

    # Output the duplicate lines and their counts
    return $duplicates
}

# Example usage of the function
$filePath = "C:\MyFolder\MyExample.txt"
$duplicateLines = Get-DuplicateLines -filePath $filePath

# Display the duplicate lines
if ($duplicateLines) {
    $duplicateLines | Format-Table -AutoSize
} else {
    Write-Output "No duplicate lines found."
}

您可以在下面的屏幕截图中看到我使用 VS code 执行 PowerShell 脚本后的输出。

结论

在本 PowerShell 教程中，我将解释如何使用 PowerShell 计算文本文件中的重复行数。然后我们通过示例检查不同的方法。