Remove Duplicate Lines

Den Duplikate-Zeilen-Entferner verwenden

1. Die Liste in den Eingabebereich einfügen - ein Eintrag pro Zeile. CSV-Zeilen, E-Mails, Log-Einträge, URLs oder jegliche durch Zeilenumbrüche getrennte Inhalte sind alle in Ordnung.
2. Die Optionen umschalten, die zu deinen Daten passen: Groß-/Kleinschreibung beachten hält Benutzer und benutzer getrennt, Leerzeichen entfernen ignoriert führendes und nachstehendes Leerzeichen beim Vergleich, Ausgabe sortieren ordnet die Überlebenden alphabetisch an.
3. Die Statistik-Karte lesen, die über der Ausgabe erscheint: ursprüngliche Zeilenanzahl, eindeutige Zeilenanzahl und die Anzahl der verworfenen Duplikate.
4. Die bereinigte Ausgabe kopieren mit der Kopierschaltfläche. Das Ergebnis behält standardmäßig die ursprüngliche Reihenfolge bei - das erste Auftreten gewinnt und spätere Kopien werden verworfen.
5. Das Ergebnis zurück einfügen in deine Tabellenkalkulation, den Datenbankimport oder den Texteditor. Das Tool verändert die ursprüngliche Eingabe nicht, sodass du die Optionen anpassen und so oft neu ausführen kannst, wie nötig.

Wie die Deduplizierung funktioniert

Das Tool teilt die Eingabe an \\n auf und durchläuft dann das resultierende Array, während es ein JavaScript-Set aufbaut, das nach der normalisierten Form jeder Zeile geordnet ist. Die Normalisierung ist günstig: ein toLowerCase-Aufruf, wenn Groß-/Kleinschreibung-ignorierend-Modus aktiv ist, und ein trim-Aufruf, wenn Leerzeichen-Modus aktiv ist. Das erste Mal, dass ein Schlüssel im Set erscheint, wird die ursprüngliche (un-normalisierte) Zeile in das Ausgabe-Array gepusht; jedes spätere Auftreten wird übersprungen. Das ergibt Erste-gesehen-gewinnt-Semantik mit O(n) Zeit und O(n) Speicher, wobei n die Anzahl der Zeilen ist. Sortierung, wenn aktiviert, führt Array.prototype.sort auf den Überlebenden mit dem Standard-Code-Punkt-Vergleicher aus, der deterministisch und locale-agnostisch ist. Die gesamte Transformation läuft synchron im Browser-Tab - kein Worker, kein Server-Roundtrip.

Wann du das verwenden würdest

• Bereinigen eines Newsletter-Abonnenten-Exports vor dem Hochladen zu deinem E-Mail-Service-Anbieter, damit Duplikate deine Abmelderate nicht aufblähen.
• Eine Liste von Domains oder IPs deduplizieren, die aus mehreren Log-Quellen gezogen wurden, bevor sie in eine Firewall-Deny-Liste weitergeleitet werden.
• Eine Einkaufswagen-Produktliste bereinigen, bei der Scraper manchmal dieselbe SKU zweimal ausgeben.
• Einen sortierten, aber verrauschten journalctl-Dump komprimieren, damit wiederholte Fehlerzeilen das Signal nicht ertränken.
• Eine Wortliste für einen Sicherheitstest vorbereiten, bei dem nur eindeutige Kandidaten für den Cracker nützlich sind.
• CSV-Zeilen konsolidieren, die aus zwei verschiedenen Dashboards exportiert wurden, bei denen der Primärschlüssel identisch ist, die Zeilen aber zweimal erscheinen.

Häufige Fallstricke und Sonderfälle

• Nachstehende Leerzeichen-Unterschiede. Zwei Zeilen, die auf dem Bildschirm identisch aussehen, können sich durch ein nachstehendes Leerzeichen oder Tabulator unterscheiden, was sie standardmäßig getrennt hält. Aktiviere Leerzeichen entfernen, um sie als Duplikate zu behandeln.
• Typografische Anführungszeichen und weiche Bindestriche. Kopieren und Einfügen aus einem Textverarbeitungsprogramm führt oft U+2019 (typografisches Apostroph) oder U+00AD (weiches Bindestrich) ein, die zwei Zeilen als verschieden erscheinen lassen. Der Unsichtbare-Zeichen-Detektor auf dieser Website wird sie anzeigen.
• Gemischte Zeilenenden. DOS-artige CRLF-Zeilen haben ein nachstehendes \\r, das sie von nur-LF-Duplikaten unterscheidet. Aktiviere den Leerzeichen-Modus oder normalisiere die Eingabe zuerst.
• Sortierte Ausgabe ändert die Erste-gesehen-Reihenfolge. Wenn du Sortierung aktivierst, wird die "Erste-Auftreten-gewinnt"-Garantie während der Deduplizierung beibehalten, aber die Überlebenden werden dann alphabetisch neu angeordnet.
• Nicht-ASCII-Sortierreihenfolge. Die Standard-Sortierung verwendet UTF-16-Code-Einheiten, sodass Unicode-Zeichen in Code-Punkt-Reihenfolge landen statt in sprachlicher Reihenfolge. Für locale-bewusste Sortierung verwende das Text-Sortiertool auf dieser Website.
• Leerzeilen zählen. Leere Zeilen werden als Zeilen mit leerem Inhalt behandelt; mehrere Leerzeilen werden unter Deduplizierung auf eine einzige Leerzeile zusammengefasst.

Einzigartigkeit als Mengenoperation

Was du hier berechnet, ist die mathematische Menge aus einer Multimenge: Gegeben eine Sequenz mit Wiederholung, erzeuge die zugrundeliegende Sammlung verschiedener Elemente. In relationalen Datenbanken ist das SELECT DISTINCT. In der Shell ist das die Kombination sort | uniq - der sort-Schritt ist erforderlich, weil uniq nur benachbarte Duplikate zusammenfasst. Der effizientere awk '!seen[$0]++'-Idiom tut genau das, was dieses Tool tut: eine Hash-Menge, die nach der Zeile geordnet ist, druckt jede Zeile das erste Mal, wenn ihr Schlüssel noch nicht gesehen wurde, in der streamenden Erste-gesehen-Reihenfolge. Dieser Einzeiler ist ein Klassiker in Unix-Toolchains, weil er die Reihenfolge ohne vollständige Sortierung bewahrt. POSIX definiert uniq in IEEE Std 1003.1, und die Flags -u, -d und -c erlauben dir, nur Eindeutige, nur Duplikate oder Zähler anzuzeigen.

Vergleich mit Alternativen

sort -u datei ist der kanonische Unix-Einzeiler und läuft in O(n log n) Zeit mit locale-bewusster Sortierung, wenn dein LC_ALL gesetzt ist. awk '!seen[$0]++' läuft in O(n), verwendet aber Speicher proportional zur Anzahl der verschiedenen Zeilen, was nur bei Multi-Gigabyte-Eingaben ein Problem ist. Für CSV-Dateien, bei denen Duplikate durch bestimmte Spalten und nicht durch die gesamte Zeile definiert sind, sind csvdedupe von csvkit oder ein SQL-Import mit einer DISTINCT ON-Klausel das Richtige. Excel hat eine Duplikate-entfernen-Schaltfläche unter dem Daten-Tab, die Mehrspaltenschlüssel mit einer schönen UI verarbeitet. Verwende dieses Web-Tool, wenn deine Liste kurz bis mittel ist (bis zu einigen hunderttausend Zeilen), du Groß-/Kleinschreibung-Ignorierung oder Leerzeichen-Entfernung ohne das Erstellen eines Regex umschalten möchtest und keinen Terminal öffnen möchtest - besonders auf einem gesperrten Arbeits-Laptop.