Наш Телеграм

Как удалить дубликаты номенклатуры с ИИ: 5 методов от простого к сложному

автоматическое объединение карточек с сохранением всей истории операций

умный выбор эталонной позиции товара на основе данных

очистка всего каталога за несколько часов, а не за недели

Представьте, что внутренняя проверка обнаружила в вашем номенклатурном каталоге свыше 500 дублирующихся позиций. Первое желание - дать задание сотрудникам убрать их вручную, но здесь есть несколько сложностей. Такой процесс потребует как минимум двух недель монотонных действий. Как решить, какую из трех карточек «Пистолет, 35 л/мин» сделать основной, а какие удалить? И что произойдет с историей продаж и поставок, которая привязана к удаляемым записям?

Попытка навести порядок своими силами часто только усугубляет беспорядок. Специалисты по ошибке могут удалить не ту позицию, теряя ценную историю транзакций. Либо, опасаясь ошибиться, они создают пометки вроде «(не использовать)», которые еще больше засоряют систему. По итогу ручная чистка дубликатов не решает проблему, а лишь откладывает ее, что обходится компании в серьезные суммы.

Три системные проблемы как цена ручной очистки

Каталог без четкой структуры - это не просто технический недостаток, а причина постоянных сбоев в работе и денежных потерь. Ручной метод очистки не устраняет коренные причины, а только временно их маскирует.

Цена ручного удаления - три системные проблемы

Утрата истории и аналитических данных

Когда специалист вручную убирает карточку-дубль, он рискует потерять всю связанную с ней цепочку документов - от заказов до возвратов. Это искажает аналитику продаж, делает прогнозы неверными, а другие ИИ-агенты, например, для повышения среднего чека, начинают работать на основе ошибочных сведений. Вы лишаетесь ценной информации для принятия стратегических решений.

Просчеты в закупках и избыточные запасы на складе

Менеджер отдела снабжения видит несколько очень похожих позиций, к примеру, «Автоматический барабан 924S-30B» с разными внутренними кодами. Не имея возможности оперативно выяснить, дубль ли это, он заказывает товар еще раз. Это ведет к покупке лишних наименований, заморозке оборотных денег на складе и потере оптовых скидок, которые можно было бы получить при объединении заказа.

Нерациональное расходование рабочего времени

Ручная чистка каталога на 10 000 наименований может отнять у двух специалистов несколько недель. Это сотни оплаченных компанией часов, которые уходят на механическую работу вместо интеллектуальной. Вместо того чтобы анализировать рынок или вести переговоры с поставщиками, ваши люди занимаются исправлением данных. Автоматизация этого процесса с помощью ИИ высвобождает их для задач, которые напрямую создают прибыль.

Обсудить ваши задачи и возможности автоматизации

Свяжитесь с нами через популярные мессенджеры

Пять методов поиска и объединения дубликатов с помощью ИИ

Современные технологии дают возможность подойти к задаче дедупликации системно. Для этого ИИ-агент "Нормализатор НСИ" применяет несколько уровней анализа, двигаясь от простого к сложному, чтобы очистка данных была максимально точной и полной.

Метод 1. Поиск по точному совпадению

Это базовый уровень, который имитирует, но значительно ускоряет ручной поиск. ИИ-агент сканирует весь справочник и находит карточки с абсолютно идентичными наименованиями или артикулами производителя. Этот метод позволяет быстро устранить самые очевидные дубли, возникшие из-за повторного импорта данных или ошибок сотрудников.

Метод 2. Лемматический и фонетический анализ

Система переходит на более глубокий уровень. ИИ понимает, что "Клапан 1/4" и "Клапан 1/4 дюйма" - это один и тот же товар. Он приводит слова к их основной форме (лемматизация) и анализирует их звучание (фонетический анализ), чтобы найти неявные дубли. Этот метод эффективен для выявления опечаток ("подшибник" вместо "подшипник") и разных стилей написания.

Метод 3. Анализ по атрибутам и характеристикам

ИИ-агент сравнивает не только названия, но и весь набор характеристик товара. Он анализирует бренд, модель, габариты, материал и другие ключевые атрибуты. Если у двух карточек с разными названиями совпадают 5 из 6 ключевых параметров, система с высокой вероятностью пометит их как дубликаты. Это позволяет находить товары, которые были названы по-разному, но по сути являются одним и тем же.

Алгоритм fuzzy matching с точностью до 98% позволяет выявлять опечатки, перестановки слов и различные варианты написания одного и того же товара. Система анализирует не только наименования, но и технические характеристики, артикул производителя и другие атрибуты, что обеспечивает глубокую диагностику даже в самых запущенных справочниках.

Метод 4. Контекстуальный анализ истории операций

Это один из самых сложных и эффективных методов. ИИ-агент "Нормализатор НСИ" анализирует историю транзакций в 1С и Битрикс24. Он определяет, какая из карточек-дубликатов используется чаще, имеет более полную историю продаж и закупок. На основе этих данных система предлагает сделать именно эту карточку "эталонной", а остальные присоединить к ней, корректно перенеся всю историю документов.

Метод 5. Проактивный контроль создания новых позиций

После завершения очистки агент переходит в режим постоянного мониторинга. Когда менеджер пытается создать новую номенклатурную позицию в CRM или учетной системе, ИИ в реальном времени проверяет ее на схожесть с уже существующими. Если система находит совпадение с вероятностью свыше 95%, она блокирует создание дубля и предлагает использовать уже имеющуюся карточку. Это предотвращает появление нового беспорядка.

Как работает ИИ-агент "Нормализатор НСИ"

Внедрение ИИ-агента - это переход от разовых "уборок" к системному управлению качеством данных. Процесс полностью автоматизирован и интегрирован с вашими ключевыми системами, такими как 1С и Битрикс24. 

Как работает ИИ-агент "Нормализатор НСИ"
Аудит и интеллектуальный анализ

На первом этапе агент подключается к вашей базе данных и проводит полный аудит номенклатуры, используя все пять описанных методов. Он выявляет не только явные и скрытые дубли, но и "товары-призраки" с пометками, ошибки форматирования и другие аномалии.

Предложение по слиянию и стандартизации

По результатам аудита система формирует детальный отчет и предлагает конкретный план действий. Для каждой группы дубликатов она рекомендует эталонную карточку и список позиций для слияния. Ответственный сотрудник может проверить рекомендации и утвердить их в режиме "человек-в-контуре".

Автоматическое объединение и очистка

После утверждения агент выполняет всю техническую работу. Он сливает карточки-дубликаты, корректно переносит на эталонную позицию все остатки и историю документов из 1С и Битрикс24. Некорректные и архивные позиции помечаются к удалению, а все наименования приводятся к единому стандарту.

Важно, что при слиянии автоматически переносятся все связанные документы, история операций, остатки и связи с контрагентами. Это обеспечивает целостность данных и не прерывает бизнес-процессы. Наименования и атрибуты приводятся к единому стандарту, что гарантирует корректную работу всех интеграций между системами.

От чистого справочника к прозрачным закупкам 

Результат работы ИИ-агента - это не просто аккуратный справочник. Это надежный фундамент для всей коммерческой деятельности, который приносит измеримые выгоды. 

Прозрачные остатки на складе

Устранение дублей позволяет видеть реальные, консолидированные остатки по каждой товарной позиции. Отдел закупок перестает работать вслепую и может принимать решения на основе точных данных. Это напрямую снижает затоваривание склада и высвобождает оборотные средства.

Эффективная работа других ИИ-агентов

Качество данных - основа для работы всей экосистемы ИИ. На чистых и структурированных данных ИИ-агент "Агент по допродажам" строит точные рекомендации, а ИИ-агент "Аналитик цен" корректно сравнивает предложения поставщиков с вашей историей закупок.

Сокращение операционных издержек

Менеджеры тратят секунды, а не минуты, на поиск нужного товара. Снижается количество ошибок в счетах и коммерческих предложениях. Новые сотрудники быстрее адаптируются, работая с понятной и логичной номенклатурой. Все это сокращает невидимые затраты времени и ресурсов.

Выводы

Неструктурированные справочники создают системные проблемы, которые ежедневно приводят к финансовым потерям. Ручная очистка не решает эту задачу эффективно и несет в себе риски потери данных.

Мы внедрим ИИ-агента "Нормализатор НСИ" в ваши учетные системы 1С и Битрикс24. Он проведет полный аудит справочников, автоматически выявит все типы дубликатов и выполнит их корректное слияние с сохранением полной истории операций.

В результате вы получите единый и стандартизированный каталог номенклатуры. Ваши менеджеры будут тратить меньше времени на рутину, а отдел закупок сможет принимать решения на основе точных данных, что исключит лишние расходы и повысит эффективность всего коммерческого департамента.

Свяжитесь с нами, чтобы обсудить специфику ваших справочников. Мы проанализируем ваши процессы и предложим решение, которое обеспечит порядок в данных и экономию для бизнеса.