Как средствами Linux удалить дубликаты строк из текстового файла? Удаление дубликатов строк из текстового файла средствами ОС Linux не составляет особого труда, для этого нам достаточно стандартных программ sort и uniq.
К примеру у нас имеется текстовый файл garbage.txt с содержимым:
строка 1 строка 2 строка 3 строка 1 строка 4 строка 5 строка 1 строка 6 строка 7
Стандартные утилиты sort и uniq помогут нам отсортировать строки и выбрать только уникальные:
$ sort garbage.txt | uniq -u строка 2 строка 3 строка 4 строка 5 строка 6 строка 7
Результат мы можем вывести в файл:
$ sort garbage.txt | uniq -u > sort.txt
