чистка файла списка подсетей от перекрывающихся диапазонов

[lnx]

Коллеги, имея сайт есть потребность отбить посещения ботов. Существуют распространяемые грязные списки подсетей ботов, содержащие в себе частиные дублирования. При попытке скормить такие списки файрволу получаем ошибки вида -

Error: INVALID_ENTRY: Entry '178.ХХХ.240.0/20' overlaps entry '178.ХХХ.248.0/21'
Error: INVALID_ENTRY: Entry 'ХХХ.106.0.0/16' overlaps entry 'ХХХ.106.93.192/26'

приходится ручками открывать файл и удалять дубли. Да, в командной строке я могу отсортировать и оставить только уникальные строки. А вот на очистку от такого рода дублирований знаний не хватает. Подскажите пожалуйста, как это сделать по отношению к файлу kozliki со списком сетей?

[ALiEN]

При попытке скормить такие списки файрволу получаем ошибки

Вопросы к фаерволу. Ipset берет перекрывающиеся диапазоны без ошибок.

$: ipset create temp hash:net
$: ipset add temp 178.0.240.0/20
$: ipset add temp 178.0.240.0/21
$: ipset -L
Name: temp
Type: hash:net
Revision: 7
Header: family inet hashsize 1024 maxelem 65536 bucketsize 12 initval 0xa353e61c
Size in memory: 552
References: 0
Number of entries: 2
Members:
178.0.240.0/21
178.0.240.0/20