Wednesday, July 24, 2024

How to start DMS CDC for DB2 to Oracle database using LRI

 












Query to get boundary values - DB2

 


SELECT '["' || Max(LONGDESCRIPTIONID) || '"],' /*, COUNT(*)*/

FROM ( SELECT LONGDESCRIPTIONID, NTILE(30) OVER (ORDER BY LONGDESCRIPTIONID) AS nt FROM MAXIMO.LONGDESCRIPTION ) AS subquery

GROUP BY nt

ORDER BY nt;


AWS DMS task boundary for DB2 -AWS


{

    "rules": [

        {

            "rule-type": "transformation",

            "rule-id": "635020703",

            "rule-name": "635020703",

            "rule-target": "table",

            "object-locator": {

                "schema-name": "IMOO",

                "table-name": "LONGDESCRIPTION"

            },

            "rule-action": "rename",

            "value": "LONGDESCRIPTION_DMS",

            "old-value": null

        },

        {

            "rule-type": "selection",

            "rule-id": "634996098",

            "rule-name": "634996098",

            "object-locator": {

                "schema-name": "MAXIMO",

                "table-name": "LONGDESCRIPTION"

            },

            "rule-action": "include",

            "filters": []

        },

        {

            "rule-type": "table-settings",

            "rule-id": "10017",

            "rule-name": "10017",

            "object-locator": {

                "schema-name": "MAXIMO",

                "table-name": "LONGDESCRIPTION"

            },

            "parallel-load": {

                "type": "ranges",

                "columns": [

                    "LONGDESCRIPTIONID"

                ],

                "boundaries": [

                    [

                        "610614"

                    ],

                    [

                        "2138943"

                    ],

                    [

                        "68086972"

                    ],

                    [

                        "69076217"

                    ],

                    [

                        "70370782"

                    ],

                    [

                        "71437915"

                    ],

                    [

                        "156280074"

                    ],

                    [

                        "181021018"

                    ],

                    [

                        "181875346"

                    ],

                    [

                        "182522701"

                    ],

                    [

                        "183057527"

                    ],

                    [

                        "232091413"

                    ],

                    [

                        "232639702"

                    ],

                    [

                        "233198798"

                    ],

                    [

                        "233762154"

                    ],

                    [

                        "234272071"

                    ],

                    [

                        "234831446"

                    ],

                    [

                        "235343041"

                    ],

                    [

                        "236045262"

                    ],

                    [

                        "236643877"

                    ],

                    [

                        "237186110"

                    ],

                    [

                        "237706781"

                    ],

                    [

                        "238246770"

                    ],

                    [

                        "238747339"

                    ],

                    [

                        "240326830"

                    ],

                    [

                        "240846182"

                    ],

                    [

                        "241419872"

                    ],

                    [

                        "242068765"

                    ],

                    [

                        "242640651"

                    ],

                    [

                        "243387629"

                    ]

                ]

            },

            "rule-action": "include",

            "filters": []

        }

    ]

}

How to modify JSON DMS task for load data using limited LOB - AWS

 JSON DMS task for load data using limited LOB - AWS  


{

    "Logging": {

        "EnableLogging": true,

        "EnableLogContext": true,

        "LogComponents": [

            {

                "Severity": "LOGGER_SEVERITY_DEFAULT",

                "Id": "TRANSFORMATION"

            },

            {

                "Severity": "LOGGER_SEVERITY_DEFAULT",

                "Id": "SOURCE_UNLOAD"

            },

            {

                "Severity": "LOGGER_SEVERITY_DEFAULT",

                "Id": "IO"

            },

            {

                "Severity": "LOGGER_SEVERITY_DEFAULT",

                "Id": "TARGET_LOAD"

            },

            {

                "Severity": "LOGGER_SEVERITY_DEFAULT",

                "Id": "PERFORMANCE"

            },

            {

                "Severity": "LOGGER_SEVERITY_DEFAULT",

                "Id": "SOURCE_CAPTURE"

            },

            {

                "Severity": "LOGGER_SEVERITY_DEFAULT",

                "Id": "SORTER"

            },

            {

                "Severity": "LOGGER_SEVERITY_DEFAULT",

                "Id": "REST_SERVER"

            },

            {

                "Severity": "LOGGER_SEVERITY_DEFAULT",

                "Id": "VALIDATOR_EXT"

            },

            {

                "Severity": "LOGGER_SEVERITY_DEFAULT",

                "Id": "TARGET_APPLY"

            },

            {

                "Severity": "LOGGER_SEVERITY_DEFAULT",

                "Id": "TASK_MANAGER"

            },

            {

                "Severity": "LOGGER_SEVERITY_DEFAULT",

                "Id": "TABLES_MANAGER"

            },

            {

                "Severity": "LOGGER_SEVERITY_DEFAULT",

                "Id": "METADATA_MANAGER"

            },

            {

                "Severity": "LOGGER_SEVERITY_DEFAULT",

                "Id": "FILE_FACTORY"

            },

            {

                "Severity": "LOGGER_SEVERITY_DEFAULT",

                "Id": "COMMON"

            },

            {

                "Severity": "LOGGER_SEVERITY_DEFAULT",

                "Id": "ADDONS"

            },

            {

                "Severity": "LOGGER_SEVERITY_DEFAULT",

                "Id": "DATA_STRUCTURE"

            },

            {

                "Severity": "LOGGER_SEVERITY_DEFAULT",

                "Id": "COMMUNICATION"

            },

            {

                "Severity": "LOGGER_SEVERITY_DEFAULT",

                "Id": "FILE_TRANSFER"

            }

        ],

        "LogConfiguration": {

            "TraceOnErrorMb": 10,

            "EnableTraceOnError": false

        },

        "CloudWatchLogGroup": "dms-tasks-fenv2-ibm-maximo-windows-dms-ri-lg2x",

        "CloudWatchLogStream": "dms-task-SELZLHKDZ5CIDLRD7XZKV3FU4A"

    },

    "StreamBufferSettings": {

        "StreamBufferCount": 12,

        "CtrlStreamBufferSizeInMB": 8,

        "StreamBufferSizeInMB": 16

    },

    "ErrorBehavior": {

        "FailOnNoTablesCaptured": true,

        "ApplyErrorUpdatePolicy": "LOG_ERROR",

        "FailOnTransactionConsistencyBreached": false,

        "RecoverableErrorThrottlingMax": 1800,

        "DataErrorEscalationPolicy": "SUSPEND_TABLE",

        "ApplyErrorEscalationCount": 0,

        "RecoverableErrorStopRetryAfterThrottlingMax": true,

        "RecoverableErrorThrottling": true,

        "ApplyErrorFailOnTruncationDdl": false,

        "DataTruncationErrorPolicy": "LOG_ERROR",

        "ApplyErrorInsertPolicy": "LOG_ERROR",

        "EventErrorPolicy": "IGNORE",

        "ApplyErrorEscalationPolicy": "LOG_ERROR",

        "RecoverableErrorCount": -1,

        "DataErrorEscalationCount": 0,

        "TableErrorEscalationPolicy": "STOP_TASK",

        "RecoverableErrorInterval": 5,

        "ApplyErrorDeletePolicy": "IGNORE_RECORD",

        "TableErrorEscalationCount": 0,

        "FullLoadIgnoreConflicts": true,

        "DataErrorPolicy": "LOG_ERROR",

        "TableErrorPolicy": "SUSPEND_TABLE"

    },

    "TTSettings": {

        "TTS3Settings": null,

        "TTRecordSettings": null,

        "EnableTT": false

    },

    "FullLoadSettings": {

        "CommitRate": 50000,

        "StopTaskCachedChangesApplied": false,

        "StopTaskCachedChangesNotApplied": false,

        "MaxFullLoadSubTasks": 45,

        "TransactionConsistencyTimeout": 600,

        "CreatePkAfterFullLoad": false,

        "TargetTablePrepMode": "TRUNCATE_BEFORE_LOAD"

    },

    "TargetMetadata": {

        "ParallelApplyBufferSize": 0,

        "ParallelApplyQueuesPerThread": 0,

        "ParallelApplyThreads": 0,

        "TargetSchema": "maximo",

        "InlineLobMaxSize": 0,

        "ParallelLoadQueuesPerThread": 0,

        "SupportLobs": true,

        "LobChunkSize": 0,

        "TaskRecoveryTableEnabled": false,

        "ParallelLoadThreads": 0,

        "LobMaxSize": 32,

        "BatchApplyEnabled": false,

        "FullLobMode": false,

        "LimitedSizeLobMode": true,

        "LoadMaxFileSize": 0,

        "ParallelLoadBufferSize": 0

    },

    "BeforeImageSettings": null,

    "ControlTablesSettings": {

        "historyTimeslotInMinutes": 5,

        "HistoryTimeslotInMinutes": 5,

        "StatusTableEnabled": false,

        "SuspendedTablesTableEnabled": false,

        "HistoryTableEnabled": false,

        "ControlSchema": "",

        "FullLoadExceptionTableEnabled": false

    },

    "LoopbackPreventionSettings": null,

    "CharacterSetSettings": null,

    "FailTaskWhenCleanTaskResourceFailed": false,

    "ChangeProcessingTuning": {

        "StatementCacheSize": 100,

        "CommitTimeout": 1,

        "RecoveryTimeout": -1,

        "BatchApplyPreserveTransaction": true,

        "BatchApplyTimeoutMin": 1,

        "BatchSplitSize": 0,

        "BatchApplyTimeoutMax": 30,

        "MinTransactionSize": 1000,

        "MemoryKeepTime": 1000,

        "BatchApplyMemoryLimit": 500,

        "MemoryLimitTotal": 32768

    },

    "ChangeProcessingDdlHandlingPolicy": {

        "HandleSourceTableDropped": true,

        "HandleSourceTableTruncated": true,

        "HandleSourceTableAltered": true

    },

    "PostProcessingRules": null

}

How to get max LOB size in column - DB2 database

 


SELECT MAX(LENGTHB(LOB_COLUMN)) FROM TABLE;