Пользовательские функции очистки¶
Реализация своей функции¶
Ниже приведен пример простой cleanse функции, которая принимает имя пользователя из INPUT_PORT_1 и выводит полное имя пользователя в OUTPUT_PORT_1.
В примере отображается:
Самостоятельная конфигурация (
configure() call);Добавление полей (userService, module, two configuration variables);
Использование входных/выходных параметров
package tests;
import java.util.Objects;
import org.springframework.beans.factory.annotation.Autowired;
import org.unidata.mdm.core.dto.UserWithPasswordDTO;
import org.unidata.mdm.core.service.UserService;
import org.unidata.mdm.data.configuration.DataConfigurationConstants;
import org.unidata.mdm.data.module.DataModule;
import org.unidata.mdm.dq.core.context.CleanseFunctionContext;
import org.unidata.mdm.dq.core.dto.CleanseFunctionResult;
import org.unidata.mdm.dq.core.type.cleanse.CleanseFunction;
import org.unidata.mdm.dq.core.type.cleanse.CleanseFunctionConfiguration;
import org.unidata.mdm.dq.core.type.cleanse.CleanseFunctionExecutionScope;
import org.unidata.mdm.dq.core.type.cleanse.CleanseFunctionInputParam;
import org.unidata.mdm.dq.core.type.cleanse.CleanseFunctionOutputParam;
import org.unidata.mdm.dq.core.type.cleanse.CleanseFunctionPortFilteringMode;
import org.unidata.mdm.dq.core.type.cleanse.CleanseFunctionPortInputType;
import org.unidata.mdm.dq.core.type.cleanse.CleanseFunctionPortValueType;
import org.unidata.mdm.dq.core.type.constant.CleanseConstants;
import org.unidata.mdm.system.type.annotation.ConfigurationRef;
import org.unidata.mdm.system.type.annotation.ModuleRef;
import org.unidata.mdm.system.type.configuration.ConfigurationValue;
import org.unidata.mdm.system.type.module.Module;
/**
* @author Mikhail Mikhailov on Feb 16, 2021
*/
public class TestCleanseFunction implements CleanseFunction {
@Autowired
private UserService userService;
@ModuleRef(DataModule.MODULE_ID)
private Module dataModule;
@ConfigurationRef(DataConfigurationConstants.PROPERTY_DATA_NODES)
private ConfigurationValue<String> nodes;
@ConfigurationRef(DataConfigurationConstants.PROPERTY_DATA_SHARDS)
private ConfigurationValue<Long> shards;
/**
* This function configuration.
*/
private static final CleanseFunctionConfiguration CONFIGURATION
= CleanseFunctionConfiguration.configuration()
.supports(CleanseFunctionExecutionScope.LOCAL)
.input(CleanseFunctionConfiguration.port()
.name(CleanseConstants.INPUT_PORT_1)
.displayName("User name")
.description("User name to resolve")
.filteringMode(CleanseFunctionPortFilteringMode.MODE_ONCE)
.inputTypes(CleanseFunctionPortInputType.SIMPLE)
.valueTypes(CleanseFunctionPortValueType.STRING)
.required(true)
.build())
.output(CleanseFunctionConfiguration.port()
.name(CleanseConstants.OUTPUT_PORT_1)
.displayName("Full name")
.description("Resolved full name or null")
.filteringMode(CleanseFunctionPortFilteringMode.MODE_ALL)
.inputTypes(CleanseFunctionPortInputType.SIMPLE)
.valueTypes(CleanseFunctionPortValueType.STRING)
.required(true)
.build())
.build();
/**
* Constructor.
*/
public TestCleanseFunction() {
super();
}
/**
* {@inheritDoc}
*/
@Override
public CleanseFunctionConfiguration configure() {
return CONFIGURATION;
}
/**
* {@inheritDoc}
*/
@Override
public CleanseFunctionResult execute(CleanseFunctionContext ctx) {
CleanseFunctionResult output = new CleanseFunctionResult();
CleanseFunctionInputParam param1 = ctx.getInputParam(CleanseConstants.INPUT_PORT_1);
String result = null;
if (param1 != null && !param1.isEmpty() && param1.isSingleton()) {
String input = param1.toSingletonValue();
UserWithPasswordDTO uwp = userService.getUserByName(input);
if (Objects.nonNull(uwp)) {
result = uwp.getFullName();
}
}
output.putOutputParam(CleanseFunctionOutputParam.of(CleanseConstants.OUTPUT_PORT_1, result));
return output;
}
}
Пример пометки атрибута с ошибкой при валидации¶
Модуль: org.unidata.mdm.dq.core
Пример добавления атрибута с ошибкой в отчет
public class SomeValidationFunction extends AbstractBasicCleanseFunction {
/**
* Executes a cleanse function in the given context.
*/
@Override
public CleanseFunctionResult execute(CleanseFunctionContext ctx) {
//Создаем результат выполнения функции валидации
CleanseFunctionResult output = new CleanseFunctionResult();
//Достаем параметр из порта 1
CleanseFunctionInputParam param1 = ctx.getInputParam(CleanseConstants.INPUT_PORT_1);
//Тут, например, проверили, что есть такой параметр и туда пришел атрибут
if (param1 == null || param1.isEmpty()) {
//Такого порта нет или атрибут туда не пришел - отправили в результат false
output.putOutputParam(CleanseFunctionOutputParam.of(CleanseConstants.OUTPUT_PORT_1, Boolean.FALSE));
} else {
boolean[] isValid;
for (int i = 0; i < param1.getAttributes().size(); i++) {
//Достаем атрибут из порта
Attribute attribute = param1.getAttributes().get(i);
//Проверка...
//Если не прошла валидацию, то добавляем в отчет атрибут
if (!isValid[i]) {
output.addSpot(new DataQualitySpot(param1, attribute.toLocalPath(), attribute));//порт, путь к атрибуту, само значение атрибута
}
}
//Отправили в результат итог
output.putOutputParam(CleanseFunctionOutputParam.of(CleanseConstants.OUTPUT_PORT_1, BooleanUtils.and(isValid)));
}
return output;
}
}
Результат выполнения функции валидации¶
org.unidata.mdm.dq.core.dto.CleanseFunctionResult
Указаны только сигнатуры методов, отвечающих за указание атрибута с ошибкой
/**
* CF execution result.
* Результат выполнения функции валидации
*/
public class CleanseFunctionResult {
/**
* Gets failed paths collection at whole.
* Возвращает весь список путей к атрибутам, в которых случилась ошибка валидации
*
* @return failed paths collection
*/
public List<DataQualitySpot> getSpots();
/**
* Adds a failure/problem spot as object.
* Добавляет в список новое место с ошибкой валидации
*
* @param failure the failure to add
*/
public void addSpot(DataQualitySpot failure);
/**
* Adds failure/problem spots to the spots collection.
* Добавляет список мест с ошибкой валидации к списку результата
*
* @param failures the spots to add
*/
public void addSpots(Collection<DataQualitySpot> failures);
/**
* Returns true, if this result contains failed validation paths.
* Возвращает true, если результат содержит места с ошибкой валидации
*
* @return true, if this result contains failed validation paths.
*/
public boolean hasSpots();
}
Отметка об атрибуте с ошибкой¶
org.unidata.mdm.dq.core.type.io.DataQualitySpot
Указаны только методы для создания объекта ошибки в функции валидации
/**
* Failure/problem spot - not found/missing/malformed/invalid input attributes.
* Место с проблемой/ошибкой - входящий атрибут не найден/отсутствует/некорректный/невалидный
*/
public class DataQualitySpot {
/**
* The input.
* Входящий параметр функции валидации
*/
private final CleanseFunctionInputParam input;
/**
* Local path in the record, being examined.
* Локальный путь к атрибуту в записи, в котором возникла ошибка функции валидации
*/
private final String path;
/**
* The value. May be null (for missing attributes).
* Значение атрибута, может быть null в случае отсутствия проверяемого атрибута
*/
private final Attribute attribute;
/**
* For spots, denoting incomplete paths.
* Для отображения неполных путей. Используется, когда нет атрибута
* Например, сюда можно комплексный атрибут, внутри которого произошла ошибка.
* Или саму запись, если нет более конкретного атрибута
*/
private final DataRecord container;
/**
* Constructor.
* @param path the path
*/
public DataQualitySpot(String path);
/**
* Constructor.
* @param input the input param
* @param path the path
* @param attribute the attribute
*/
public DataQualitySpot(CleanseFunctionInputParam input, String path, Attribute attribute);
/**
* Constructor.
* @param input the input param
* @param path the path
* @param container the container
*/
public DataQualitySpot(CleanseFunctionInputParam input, String path, DataRecord container);
/**
* {@inheritDoc}
*/
@Override
public String toString() {
return new StringBuilder()
.append(input.getPortName())
.append(" > ")
.append(path)
.append(" = ")
.append(attribute)
.toString();
}
}