#Імпорт Pro

This feature is provided by the commercial plugin «Дія: Імпорт записів Pro», please purchase to use

#Вступ

Плагін Імпорт Pro надає розширені можливості на додаток до стандартної функції імпорту.

#Встановлення

Цей плагін залежить від плагіна керування асинхронними завданнями. Перед використанням необхідно спочатку увімкнути плагін керування асинхронними завданнями.

#Покращення функціоналу

• Підтримує асинхронні операції імпорту, що виконуються в окремому потоці, та дозволяє імпортувати великі обсяги даних.

• Підтримує розширені параметри імпорту.

#Посібник користувача

#Асинхронний імпорт

Після запуску імпорту процес виконуватиметься в окремому фоновому потоці, не вимагаючи ручної конфігурації від користувача. В інтерфейсі користувача, після початку операції імпорту, у верхньому правому куті відображатиметься поточне завдання імпорту, що виконується, з відображенням прогресу в реальному часі.

Після завершення імпорту ви можете переглянути результати в завданнях імпорту.

#Продуктивність

Щоб оцінити продуктивність імпорту великих обсягів даних, ми провели порівняльні тести в різних сценаріях, з різними типами полів та конфігураціями тригерів (результати можуть відрізнятися залежно від конфігурації сервера та бази даних і наведені лише для довідки):

Обсяг даних	Типи полів	Конфігурація імпорту	Час обробки
1 мільйон записів	Рядок, Число, Дата, Електронна пошта, Довгий текст	• Запускати робочий процес: Ні • Ідентифікатор дублікатів: Немає	Приблизно 1 хвилина
500 000 записів	Рядок, Число, Дата, Електронна пошта, Довгий текст, Багато-до-багатьох	• Запускати робочий процес: Ні • Ідентифікатор дублікатів: Немає	Приблизно 16 хвилин
500 000 записів	Рядок, Число, Дата, Електронна пошта, Довгий текст, Багато-до-багатьох, Багато-до-одного	• Запускати робочий процес: Ні • Ідентифікатор дублікатів: Немає	Приблизно 22 хвилини
500 000 записів	Рядок, Число, Дата, Електронна пошта, Довгий текст, Багато-до-багатьох, Багато-до-одного	• Запускати робочий процес: Асинхронне сповіщення • Ідентифікатор дублікатів: Немає	Приблизно 22 хвилини
500 000 записів	Рядок, Число, Дата, Електронна пошта, Довгий текст, Багато-до-багатьох, Багато-до-одного	• Запускати робочий процес: Асинхронне сповіщення • Ідентифікатор дублікатів: Оновлювати дублікати, з 50 000 дублікатів	Приблизно 3 години

На основі наведених вище результатів тестування продуктивності та існуючих архітектурних рішень, нижче наведено пояснення та рекомендації щодо факторів, що впливають на продуктивність:

1. Механізм обробки дублікатів записів: При виборі опцій Оновлювати дублікати записів або Оновлювати лише дублікати записів система виконує операції запиту та оновлення по одному рядку, що значно знижує ефективність імпорту. Якщо ваш файл Excel містить зайві дублікати даних, це ще більше вплине на швидкість імпорту. Рекомендується очистити файл Excel від непотрібних дублікатів (наприклад, за допомогою професійних інструментів для видалення дублікатів) перед імпортом у систему, щоб уникнути зайвої витрати часу.

2. Ефективність обробки полів зв'язків: Система обробляє поля зв'язків, виконуючи запити на асоціації по одному рядку, що може стати вузьким місцем продуктивності в сценаріях з великими обсягами даних. Для простих структур зв'язків (наприклад, зв'язок один-до-багатьох між двома колекціями) рекомендується використовувати поетапну стратегію імпорту: спочатку імпортувати базові дані основної колекції, а потім, після завершення, встановити зв'язки між колекціями. Якщо бізнес-вимоги вимагають одночасного імпорту даних зв'язків, будь ласка, зверніться до результатів тестування продуктивності в таблиці вище, щоб розумно спланувати час імпорту.

3. Механізм запуску робочих процесів: Не рекомендується вмикати запуск робочих процесів у сценаріях імпорту великих обсягів даних, головним чином з наступних двох причин:

   • Навіть коли статус завдання імпорту показує 100%, воно не завершується негайно. Системі все ще потрібен додатковий час для створення планів виконання робочих процесів. На цьому етапі система генерує відповідний план виконання робочого процесу для кожного імпортованого запису, що займає потік імпорту, але не впливає на використання вже імпортованих даних.
   • Після повного завершення завдання імпорту, одночасне виконання великої кількості робочих процесів може призвести до навантаження на системні ресурси, впливаючи на загальну швидкість відгуку системи та користувацький досвід.

Вищезгадані 3 фактори, що впливають на продуктивність, будуть розглянуті для подальшої оптимізації.

#Конфігурація імпорту

#Параметри імпорту - Запускати робочий процес

Під час імпорту ви можете вибрати, чи запускати робочі процеси. Якщо цю опцію позначено, і колекція прив'язана до робочого процесу (подія колекції), імпорт запускатиме виконання робочого процесу для кожного рядка.

#Параметри імпорту - Визначення дублікатів записів

Позначте цю опцію та виберіть відповідний режим, щоб під час імпорту система визначала та обробляла дублікати записів.

Параметри в конфігурації імпорту застосовуватимуться як значення за замовчуванням. Адміністратори можуть контролювати, чи дозволяти завантажувачу змінювати ці параметри (за винятком опції запуску робочого процесу).

Налаштування дозволів для завантажувача

• Дозволити завантажувачу змінювати параметри імпорту

• Заборонити завантажувачу змінювати параметри імпорту

#Опис режимів

• Пропускати дублікати записів: Запитує існуючі записи на основі вмісту «Поля ідентифікатора». Якщо запис вже існує, цей рядок пропускається; якщо не існує, він імпортується як новий запис.
• Оновлювати дублікати записів: Запитує існуючі записи на основі вмісту «Поля ідентифікатора». Якщо запис вже існує, цей запис оновлюється; якщо не існує, він імпортується як новий запис.
• Оновлювати лише дублікати записів: Запитує існуючі записи на основі вмісту «Поля ідентифікатора». Якщо запис вже існує, цей запис оновлюється; якщо не існує, він пропускається.

#Поле ідентифікатора

Система визначає, чи є рядок дублікатом запису, на основі значення цього поля.

• Правило зв'язування: Динамічне відображення/приховування кнопок;
• Редагувати кнопку: Редагувати заголовок, тип та іконку кнопки;