Удалить повторяющиеся строки онлайн – бесплатный дедупликатор текста и очиститель списков
Мгновенно находите и удаляйте повторяющиеся строки из текстовых списков, адресов электронной почты, ключевых слов SEO, URL-адресов, строк CSV и файлов журналов в режиме реального времени. Сохраняйте исходный порядок списка или сортируйте результаты в алфавитном порядке или по частоте — с поддержкой сопоставления без учета регистра, нормализации пробелов, аудита только дубликатов и подсчета вхождений.
Как удалить повторяющиеся строки онлайн
- Вставьте свой текст или список: Введите свой многострочный список в поле Введите текст слева или нажмите Загрузить образец списка для тестирования с повторяющимися адресами электронной почты и смешанным регистром.
- Выберите режим фильтра и сопоставления: Оставьте Сравнение с учетом регистра отмеченным для точного соответствия кода/журнала или снимите флажок (или щелкните Электронная почта / Список ключевых слов), чтобы
Alex@example.comиalex@example.comдедуплицируются вместе. - Сортировка или частота аудита:. Используйте раскрывающийся список Порядок сортировки, чтобы сохранить исходную последовательность, сортируйте по алфавиту (A–Z или Z–A) или ранжируйте строки по Наиболее часто встречающиеся первые с включенным Показывать количество дубликатов.
- Скопируйте или экспортируйте в
.txt: Нажмите Копировать в clipboard, чтобы вставить очищенный список в Excel, Google Sheets или редактор кода, или нажмите Загрузить .txt, чтобы сохранить его в виде файла.
Режимы дедупликации и примеры вывода
Предположим, ваш входной список содержит: apple, banana, apple, cherry, banana, apple. Вот как каждый режим обрабатывает список:
| Режим / Preset | Что он делает | Пример вывода |
|---|---|---|
| Сохранить уникальные строки (по умолчанию) | Сохраняет одну копию каждой строки в исходном порядке, удаляя все последующие повторы. | яблоко, банан, вишня |
| Частотный отчет | Дедупликация строк, сортировка по наибольшей частоте и отображение количества вхождений. | яблоко (3×), банан (2×), вишня (1×) |
| Извлечь только дубликаты (2+) | Выводит только те строки, которые повторились как минимум дважды (идеально подходит для поиска повторяющихся записей). | яблоко (3×), банан (2×) |
| Сохранять строго одиночные строки (1×) | Выводит только строки, которые появились ровно один раз и никогда не повторялись. | вишня |
Распространенные случаи использования удаления повторяющихся строк
- Очистка электронной почты и списка подписчиков: Дедупликация экспортированных информационных бюллетеней или списков электронной почты CRM с использованием режима без учета регистра и обрезки пробелов, чтобы подписчики никогда не получали повторяющиеся кампании.
- SEO Аудит ключевых слов и обратных ссылок: Объедините экспорт ключевых слов или списки URL из Google Search Console, Ahrefs и SEMrush, а затем удалите повторяющиеся запросы одним щелчком мыши.
- Анализ и отладка журнала: Включите Frequency Report в журналах сервера, списках IP-адресов или трассировках стека, чтобы сразу увидеть, какие сообщения об ошибках или IP-адреса возникают чаще всего.
- Code, Config и CSV Подготовка: Очистите правила `.gitignore`, переменные среды, файлы хостов или одностолбцовые идентификаторы CSV без потери исходного порядка строк.
Часто задаваемые вопросы
Как удалить повторяющиеся строки, сохранив исходный порядок?
Оставьте для Sort Order значение Keep Original Order (по умолчанию). Инструмент сохраняет первое появление каждой строки в том же месте, где она появилась, и удаляет все последующие повторы.
В чем разница между «Сохранить первое вхождение» и «Сохранить последнее вхождение»?
При сохранении исходного порядка или сопоставлении без учета регистра функция Keep First Occurrence сохраняет самую раннюю позицию и регистр повторяющейся строки, тогда как Keep Last Occurrence сохраняет конечную позицию и регистр (полезно для переопределения конфигурации или хронологических журналов).
Почему две визуально одинаковые строки не были удалены как дубликаты?
Обычно это происходит из-за того, что в конце одной строки есть пробелы или небольшие различия uppercase/lowercase. Оставьте флажок Обрезать начальные и конечные пробелы, включите Нормализовать несколько внутренних пробелов и снимите флажок Сравнение с учетом регистра, чтобы выявить все скрытые варианты.
Как я могу увидеть, какие строки были продублированы в моем списке?
Выберите Извлечь только повторяющиеся строки (2+ раза) в Режим фильтра (или щелкните Проверять только повторяющиеся строки (2+) preset). Это скрывает уникальные одиночные элементы и отображает только те строки, которые появлялись несколько раз.