Наш Телеграм

Как удалить дубликаты номенклатуры с ИИ: 5 методов от простого к сложному

автоматическое объединение карточек с сохранением всей истории операций

умный выбор эталонной позиции товара на основе данных

очистка всего каталога за несколько часов, а не за недели

Представьте, что внутренняя проверка обнаружила в вашем номенклатурном каталоге свыше 500 дублирующихся позиций. Первое желание - дать задание сотрудникам убрать их вручную, но здесь есть несколько сложностей. Такой процесс потребует как минимум двух недель монотонных действий. Как решить, какую из трех карточек «Пистолет, 35 л/мин» сделать основной, а какие удалить? И что произойдет с историей продаж и поставок, которая привязана к удаляемым записям?

Попытка навести порядок своими силами часто только усугубляет беспорядок. Специалисты по ошибке могут удалить не ту позицию, теряя ценную историю транзакций. Либо, опасаясь ошибиться, они создают пометки вроде «(не использовать)», которые еще больше засоряют систему. По итогу ручная чистка дубликатов не решает проблему, а лишь откладывает ее, что обходится компании в серьезные суммы.

Три системные проблемы как цена ручной очистки

Каталог без четкой структуры - это не просто технический недостаток, а причина постоянных сбоев в работе и денежных потерь. Ручной метод очистки не устраняет коренные причины, а только временно их маскирует.

Цена ручного удаления - три системные проблемы

Утрата истории и аналитических данных

Когда специалист вручную убирает карточку-дубль, он рискует потерять всю связанную с ней цепочку документов - от заказов до возвратов. Это искажает аналитику продаж, делает прогнозы неверными, а другие ИИ-агенты, например, для повышения среднего чека, начинают работать на основе ошибочных сведений. Вы лишаетесь ценной информации для принятия стратегических решений.

Просчеты в закупках и избыточные запасы на складе

Менеджер отдела снабжения видит несколько очень похожих позиций, к примеру, «Автоматический барабан 924S-30B» с разными внутренними кодами. Не имея возможности оперативно выяснить, дубль ли это, он заказывает товар еще раз. Это ведет к покупке лишних наименований, заморозке оборотных денег на складе и потере оптовых скидок, которые можно было бы получить при объединении заказа.

Нерациональное расходование рабочего времени

Ручная чистка каталога на 10 000 наименований может отнять у двух специалистов несколько недель. Это сотни оплаченных компанией часов, которые уходят на механическую работу вместо интеллектуальной. Вместо того чтобы анализировать рынок или вести переговоры с поставщиками, ваши люди занимаются исправлением данных. Автоматизация этого процесса с помощью ИИ высвобождает их для задач, которые напрямую создают прибыль.

Обсудить ваши задачи и возможности автоматизации

Свяжитесь с нами через популярные мессенджеры

Пять методов поиска и объединения дубликатов с помощью ИИ

Современные технологии дают возможность подойти к задаче дедупликации системно. Для этого ИИ-агент "Нормализатор НСИ" применяет несколько уровней анализа, двигаясь от простого к сложному, чтобы очистка данных была максимально точной и полной.

Метод 1. Поиск по точному совпадению

Это начальный уровень, который повторяет, но многократно ускоряет поиск вручную. ИИ-агент проходит по всему каталогу и находит карточки с полностью одинаковыми названиями или артикулами от производителя. Этот способ помогает быстро убрать самые явные дубли, которые появились из-за повторной загрузки данных или ошибок персонала.

Метод 2. Лемматический и фонетический анализ

Далее система погружается на более глубокий уровень. Искусственный интеллект понимает, что «Клапан 1/4» и «Клапан 1/4 дюйма» означают одно и то же. Он приводит слова к начальной форме (лемматизация) и анализирует их на слух (фонетический анализ), чтобы находить неочевидные дубли. Такой метод хорошо справляется с опечатками («подшибник» и «подшипник») и разными вариантами написания.

Метод 3. Анализ по атрибутам и характеристикам

ИИ-агент сопоставляет не только наименования, но и полный набор характеристик продукта. Он изучает бренд, модель, размеры, материал и прочие важные атрибуты. Если у двух позиций с разными названиями совпадают 5 из 6 основных параметров, система с большой вероятностью определит их как дубликаты. Это помогает находить товары, которые назвали по-разному, но по своей сути они идентичны.

Алгоритм нечеткого сопоставления (fuzzy matching) с точностью до 98% помогает обнаруживать опечатки, слова не по порядку и разные формулировки для одного и того же товара. Система анализирует не только названия, но и технические параметры, артикул производителя и другие поля, что дает возможность провести глубокую проверку даже в самых запущенных каталогах.

Метод 4. Контекстуальный анализ истории операций

Этот метод - один из наиболее сложных и результативных. ИИ-агент "Нормализатор НСИ" изучает историю транзакций в ваших системах 1С и Битрикс24. Он выявляет, какая из карточек-дублей используется активнее, имеет более полную историю продаж и поставок. Опираясь на эти сведения, система рекомендует назначить именно эту карточку «эталонной», а к ней присоединить остальные, аккуратно перенеся всю историю документов.

Метод 5. Проактивный контроль создания новых позиций

Когда очистка завершена, агент начинает работать в режиме постоянного контроля. При попытке менеджера создать новую товарную позицию в CRM или учетной программе, ИИ в тот же момент проверяет ее на сходство с уже имеющимися. Если система обнаруживает совпадение с вероятностью более 95%, она не дает создать дубликат и рекомендует использовать уже существующую карточку. Это защищает от возникновения нового беспорядка.

Как устроен процесс работы ИИ-агента "Нормализатор НСИ"

Запуск ИИ-агента означает переход от периодических «уборок» к системному подходу в управлении качеством данных. Весь процесс автоматизирован и интегрирован с вашими основными рабочими системами, такими как 1С и Битрикс24.

Как работает ИИ-агент "Нормализатор НСИ"
Аудит и интеллектуальный анализ

На первом шаге агент соединяется с вашей базой данных и выполняет полную проверку номенклатуры, применяя все пять описанных выше методов. Он находит не только явные и скрытые дубли, но и «товары-призраки» с пометками, ошибки в написании и прочие отклонения.

Предложение по слиянию и стандартизации

По итогам проверки система готовит подробный отчет и предлагает четкий план действий. Для каждой группы дубликатов она советует выбрать эталонную карточку и указывает список позиций для объединения. Ответственный специалист может изучить эти рекомендации и утвердить их, контролируя процесс.

Автоматическое объединение и очистка

После получения подтверждения агент берет на себя всю техническую часть. Он объединяет карточки-дубликаты, правильно перенося на эталонную позицию все остатки и историю документов из 1С и Битрикс24. Неправильно заведенные и архивные позиции отмечаются для удаления, а все названия приводятся к общему стандарту.

Важный момент: при объединении автоматически переносятся все связанные документы, история сделок, остатки и связи с контрагентами. Это сохраняет целостность данных и не останавливает рабочие процессы. Наименования и характеристики приводятся к единому формату, что обеспечивает правильную работу всех интеграций между программами.

От чистого каталога к прозрачным закупкам

Итог работы ИИ-агента - это не просто аккуратный каталог, а прочная основа для всей коммерческой работы компании, которая дает ощутимые преимущества.

Прозрачные остатки на складе

Устранение дубликатов помогает видеть настоящие, объединенные остатки по каждому товару. Отдел снабжения перестает действовать наугад и может принимать решения, опираясь на точные сведения. Это напрямую сокращает избыточные запасы на складе и высвобождает оборотные средства.

Эффективная работа других ИИ-агентов

Качество данных - это фундамент для работы всей экосистемы ИИ. На чистых и структурированных сведениях ИИ-агент "Агент по допродажам" формирует точные рекомендации, а ИИ-агент "Аналитик цен" правильно сопоставляет предложения от поставщиков с вашей историей закупок.

Сокращение операционных издержек

Менеджеры находят нужный товар за секунды, а не за минуты. Уменьшается число ошибок в счетах и коммерческих предложениях. Новые сотрудники быстрее входят в курс дела, работая с понятной и структурированной номенклатурой. Все это сокращает скрытые издержки времени и сил.

Выводы

Неупорядоченные каталоги порождают системные сложности, которые каждый день ведут к денежным потерям. Ручная чистка не решает эту проблему эффективно и создает риски утраты важной информации.

Мы настроим работу ИИ-агента "Нормализатор НСИ" в ваших учетных программах 1С и Битрикс24. Он проведет полную проверку каталогов, сам найдет все виды дубликатов и выполнит их правильное объединение, сохранив всю историю операций.

В итоге вы получите единый и приведенный к стандарту каталог товаров. Ваши менеджеры будут меньше времени тратить на рутинные задачи, а отдел снабжения сможет работать на основе точных данных, что уберет лишние траты и сделает весь коммерческий блок эффективнее.

Напишите нам, чтобы обсудить особенности ваших каталогов. Мы изучим ваши рабочие процессы и подберем решение, которое наведет порядок в данных и принесет экономию вашему бизнесу.