Usuń zduplikowane linie online – darmowy deduplikator tekstu i narzędzie do czyszczenia list
Natychmiast znajduj i usuwaj zduplikowane linie z list tekstowych, adresów e-mail, słów kluczowych SEO, adresów URL, wierszy CSV i plików dziennika w czasie rzeczywistym. Zachowaj oryginalną kolejność na liście lub sortuj wyniki alfabetycznie lub według częstotliwości — dzięki obsłudze dopasowywania bez uwzględniania wielkości liter, normalizacji białych znaków, kontroli tylko duplikatów i zliczaniu wystąpień.
Jak usunąć zduplikowane linie online
- Wklej swój tekst lub listę: Wprowadź swoją wielowierszową listę w polu Wprowadź tekst po lewej stronie lub kliknij Załaduj listę próbek, aby przetestować ze zduplikowanymi adresami e-mail i mieszaną wielkością liter.
- Wybierz filtr i tryb dopasowywania: Zachowaj Porównanie uwzględniające wielkość liter zaznaczone pod kątem dokładnego dopasowania kodu/dziennika lub odznacz je (lub kliknij Email / Keyword List), więc
Alex@example.comialex@example.comsą deduplikowane razem. - Sortuj lub audytuj częstotliwości: Użyj listy rozwijanej Ort Order, aby zachować oryginalną sekwencję, posortuj alfabetycznie (A–Z lub Z–A) lub uszereguj linie według Najczęstsze pierwsze z włączoną funkcją Pokaż liczbę duplikatów.
- Kopiuj lub eksportuj do
.txt: Kliknij Kopiuj clipboard, aby wkleić wyczyszczoną listę do programu Excel, Arkuszy Google lub edytora kodu, lub kliknij Pobierz .txt, aby zapisać ją jako plik.
Tryby deduplikacji i przykłady wyników
Załóżmy, że lista wejściowa zawiera: apple, banana, apple, cherry, banana, apple. Oto jak każdy tryb przetwarza listę:
| Tryb / Preset | Co to robi | Przykładowe wyjście |
|---|---|---|
| Zachowaj unikalne linie (domyślnie) | Zachowuje jedną kopię każdego wiersza w oryginalnej kolejności, usuwając wszystkie kolejne powtórzenia. | ajabłko, banan, wiśnia |
| Raport częstotliwości | Deduplikuje linie, sortuje według najwyższej częstotliwości i pokazuje liczbę wystąpień. | ajabłko (3×), banan (2×), wiśnia (1×) |
| EWyodrębnij tylko duplikaty (2+) | Wyświetla tylko te linie, które zostały powtórzone co najmniej dwukrotnie (idealne rozwiązanie do wyszukiwania zduplikowanych rekordów). | a jabłko (3×), banan (2×) |
| Zachowuj wyłącznie pojedyncze linie (1×) | Wyświetla tylko linie, które pojawiły się dokładnie raz i nigdy się nie powtórzyły. | Wiśnia |
Typowe przypadki użycia usuwania zduplikowanych linii
- E Oczyszczanie poczty i listy subskrybentów: Deduplikuj wyeksportowane biuletyny lub listy e-mailowe CRM, korzystając z trybu rozróżniania wielkości liter i przycinania białych znaków, aby subskrybenci nigdy nie otrzymywali zduplikowanych kampanii.
- SEO Audyt słów kluczowych i linków zwrotnych: Połącz eksporty słów kluczowych lub listy URL z Google Search Console, Ahrefs i SEMrush, a następnie usuń zduplikowane zapytania jednym kliknięciem.
- Analiza i debugowanie logów: Włącz raport częstotliwości w dziennikach serwerów, listach IP lub śladach stosu, aby natychmiast zobaczyć, które komunikaty o błędach lub adresy IP pojawiają się najczęściej.
- Code, Config i CSV Przygotowanie: Oczyść reguły `.gitignore`, zmienne środowiskowe, pliki hostów lub jednokolumnowe identyfikatory CSV bez utraty oryginalnej kolejności linii.
Często zadawane pytania
Jak usunąć zduplikowane linie, zachowując pierwotną kolejność?
Pozostaw opcję Sort Order ustawioną na Zachache Original Order (wartość domyślna). Narzędzie zachowuje pierwsze wystąpienie każdej linii dokładnie w miejscu, w którym się pojawiło, i usuwa wszelkie późniejsze powtórzenia.
Jaka jest różnica między „Zachowaj pierwsze wystąpienie” a „Zachowaj ostatnie wystąpienie”?
Podczas zachowywania oryginalnej kolejności lub dopasowywania bez uwzględniania wielkości liter, funkcja Keep First Occurrence zachowuje najwcześniejszą pozycję i wielkość liter powtarzanej linii, natomiast Keep Last Occurrence zachowuje ostateczną pozycję i wielkość liter (przydatne w przypadku zastępowania konfiguracji lub rejestrowania chronologicznego).
Dlaczego dwie wizualnie identyczne linie nie zostały usunięte jako duplikaty?
Zwykle dzieje się tak, ponieważ jedna linia ma na końcu spacje lub niewielkie różnice uppercase/lowercase. Pozostaw zaznaczone Trim początkowe i końcowe białe znaki, włącz Normalizuj wiele wewnętrznych spacji i odznacz Porównanie z uwzględnieniem wielkości liter, aby wychwycić wszystkie ukryte odmiany.
Jak mogę zobaczyć, które linie zostały zduplikowane na mojej liście?
Wybierz EWyodrębnij tylko zduplikowane linie (2+ razy) w obszarze Filter Mode (lub kliknij Auduj tylko duplikaty (2+) preset). Ukrywa to unikalne singletony i wyświetla tylko te linie, które pojawiły się wiele razy.