Monday, September 9, 2024

Source database providers for DMS Schema Conversion - DMS SCT

Source database  providers for DMS Schema Conversion - DMS SCT



=> DMS Schema Conversion supports the following data providers as sources for your migration projects.


  • Microsoft SQL Server version 2008 R2, 2012, 2014, 2016, 2017, and 2019
  • Oracle version 10.2 and higher, 11g and up to 12.2, 18c, and 19c, and Oracle Data Warehouse
  • PostgreSQL version 9.2 and higher
  • MySQL version 5.5 and higher

Friday, August 16, 2024

How to create oracle database in silent mode using dbca ?

Create oracle database in silent mode using dbca


export ORACLE_SID=POC1


dbca -silent -createDatabase \

 -templateName General_Purpose.dbc \

 -gdbname POC1 -sid POC1 -responseFile NO_VALUE \

 -characterSet AL32UTF8 \

 -enableArchive true -archiveLogMode auto \

 -recoveryAreaDestination /u02/fast_recovery_area \

 -initParams db_unique_name=POC1, db_recovery_file_dest_size=10G, db_create_file_dest='/u02/oradata/', db_create_online_log_de

st_1='/u02/oradata/', db_create_online_log_dest_2='/u02/fast_recovery_area/', dg_broker_start=false \

 -sysPassword Welcome2 \

 -systemPassword Welcome2 \

 -createAsContainerDatabase true \

 -numberOfPDBs 1 \

 -pdbName PDB1 \

 -pdbAdminPassword Welcome2 \

 -databaseType MULTIPURPOSE \

 -memoryMgmtType auto_sga \

 -totalMemory 1000 \

 -storageType FS \

 -datafileDestination "/u02/oradata/" \

 -useOMF true \

 -redoLogFileSize 50 \

 -emConfiguration NONE \

 -sampleSchema true \

 -ignorePreReqs


Monday, August 5, 2024

How to check Postgres Schema size using psql query ?

 


Check Postgres Schema size using psql query



Query1 :


SELECT     pg_catalog.pg_namespace.nspname,

           pg_size_pretty(SUM(pg_relation_size(pg_catalog.pg_class.oid))::BIGINT)

FROM       pg_catalog.pg_class

           INNER JOIN pg_catalog.pg_namespace

           ON         relnamespace = pg_catalog.pg_namespace.oid

GROUP BY   pg_catalog.pg_namespace.nspname;





Query 2 : 



with SchemaSize as

(

select ps.nspname as schema_name,

sum(pg_relation_size(pc.oid)) as total_size

from pg_class pc

join pg_catalog.pg_namespace ps

on ps.oid = pc.relnamespace

group by ps.nspname

)

select ss.schema_name,

pg_size_pretty(ss.total_size)

from SchemaSize ss

order by ss.total_size desc

limit 20;

Wednesday, July 24, 2024

How to start DMS CDC for DB2 to Oracle database using LRI

 












Query to get boundary values - DB2

 


SELECT '["' || Max(LONGDESCRIPTIONID) || '"],' /*, COUNT(*)*/

FROM ( SELECT LONGDESCRIPTIONID, NTILE(30) OVER (ORDER BY LONGDESCRIPTIONID) AS nt FROM MAXIMO.LONGDESCRIPTION ) AS subquery

GROUP BY nt

ORDER BY nt;


AWS DMS task boundary for DB2 -AWS


{

    "rules": [

        {

            "rule-type": "transformation",

            "rule-id": "635020703",

            "rule-name": "635020703",

            "rule-target": "table",

            "object-locator": {

                "schema-name": "IMOO",

                "table-name": "LONGDESCRIPTION"

            },

            "rule-action": "rename",

            "value": "LONGDESCRIPTION_DMS",

            "old-value": null

        },

        {

            "rule-type": "selection",

            "rule-id": "634996098",

            "rule-name": "634996098",

            "object-locator": {

                "schema-name": "MAXIMO",

                "table-name": "LONGDESCRIPTION"

            },

            "rule-action": "include",

            "filters": []

        },

        {

            "rule-type": "table-settings",

            "rule-id": "10017",

            "rule-name": "10017",

            "object-locator": {

                "schema-name": "MAXIMO",

                "table-name": "LONGDESCRIPTION"

            },

            "parallel-load": {

                "type": "ranges",

                "columns": [

                    "LONGDESCRIPTIONID"

                ],

                "boundaries": [

                    [

                        "610614"

                    ],

                    [

                        "2138943"

                    ],

                    [

                        "68086972"

                    ],

                    [

                        "69076217"

                    ],

                    [

                        "70370782"

                    ],

                    [

                        "71437915"

                    ],

                    [

                        "156280074"

                    ],

                    [

                        "181021018"

                    ],

                    [

                        "181875346"

                    ],

                    [

                        "182522701"

                    ],

                    [

                        "183057527"

                    ],

                    [

                        "232091413"

                    ],

                    [

                        "232639702"

                    ],

                    [

                        "233198798"

                    ],

                    [

                        "233762154"

                    ],

                    [

                        "234272071"

                    ],

                    [

                        "234831446"

                    ],

                    [

                        "235343041"

                    ],

                    [

                        "236045262"

                    ],

                    [

                        "236643877"

                    ],

                    [

                        "237186110"

                    ],

                    [

                        "237706781"

                    ],

                    [

                        "238246770"

                    ],

                    [

                        "238747339"

                    ],

                    [

                        "240326830"

                    ],

                    [

                        "240846182"

                    ],

                    [

                        "241419872"

                    ],

                    [

                        "242068765"

                    ],

                    [

                        "242640651"

                    ],

                    [

                        "243387629"

                    ]

                ]

            },

            "rule-action": "include",

            "filters": []

        }

    ]

}

How to modify JSON DMS task for load data using limited LOB - AWS

 JSON DMS task for load data using limited LOB - AWS  


{

    "Logging": {

        "EnableLogging": true,

        "EnableLogContext": true,

        "LogComponents": [

            {

                "Severity": "LOGGER_SEVERITY_DEFAULT",

                "Id": "TRANSFORMATION"

            },

            {

                "Severity": "LOGGER_SEVERITY_DEFAULT",

                "Id": "SOURCE_UNLOAD"

            },

            {

                "Severity": "LOGGER_SEVERITY_DEFAULT",

                "Id": "IO"

            },

            {

                "Severity": "LOGGER_SEVERITY_DEFAULT",

                "Id": "TARGET_LOAD"

            },

            {

                "Severity": "LOGGER_SEVERITY_DEFAULT",

                "Id": "PERFORMANCE"

            },

            {

                "Severity": "LOGGER_SEVERITY_DEFAULT",

                "Id": "SOURCE_CAPTURE"

            },

            {

                "Severity": "LOGGER_SEVERITY_DEFAULT",

                "Id": "SORTER"

            },

            {

                "Severity": "LOGGER_SEVERITY_DEFAULT",

                "Id": "REST_SERVER"

            },

            {

                "Severity": "LOGGER_SEVERITY_DEFAULT",

                "Id": "VALIDATOR_EXT"

            },

            {

                "Severity": "LOGGER_SEVERITY_DEFAULT",

                "Id": "TARGET_APPLY"

            },

            {

                "Severity": "LOGGER_SEVERITY_DEFAULT",

                "Id": "TASK_MANAGER"

            },

            {

                "Severity": "LOGGER_SEVERITY_DEFAULT",

                "Id": "TABLES_MANAGER"

            },

            {

                "Severity": "LOGGER_SEVERITY_DEFAULT",

                "Id": "METADATA_MANAGER"

            },

            {

                "Severity": "LOGGER_SEVERITY_DEFAULT",

                "Id": "FILE_FACTORY"

            },

            {

                "Severity": "LOGGER_SEVERITY_DEFAULT",

                "Id": "COMMON"

            },

            {

                "Severity": "LOGGER_SEVERITY_DEFAULT",

                "Id": "ADDONS"

            },

            {

                "Severity": "LOGGER_SEVERITY_DEFAULT",

                "Id": "DATA_STRUCTURE"

            },

            {

                "Severity": "LOGGER_SEVERITY_DEFAULT",

                "Id": "COMMUNICATION"

            },

            {

                "Severity": "LOGGER_SEVERITY_DEFAULT",

                "Id": "FILE_TRANSFER"

            }

        ],

        "LogConfiguration": {

            "TraceOnErrorMb": 10,

            "EnableTraceOnError": false

        },

        "CloudWatchLogGroup": "dms-tasks-fenv2-ibm-maximo-windows-dms-ri-lg2x",

        "CloudWatchLogStream": "dms-task-SELZLHKDZ5CIDLRD7XZKV3FU4A"

    },

    "StreamBufferSettings": {

        "StreamBufferCount": 12,

        "CtrlStreamBufferSizeInMB": 8,

        "StreamBufferSizeInMB": 16

    },

    "ErrorBehavior": {

        "FailOnNoTablesCaptured": true,

        "ApplyErrorUpdatePolicy": "LOG_ERROR",

        "FailOnTransactionConsistencyBreached": false,

        "RecoverableErrorThrottlingMax": 1800,

        "DataErrorEscalationPolicy": "SUSPEND_TABLE",

        "ApplyErrorEscalationCount": 0,

        "RecoverableErrorStopRetryAfterThrottlingMax": true,

        "RecoverableErrorThrottling": true,

        "ApplyErrorFailOnTruncationDdl": false,

        "DataTruncationErrorPolicy": "LOG_ERROR",

        "ApplyErrorInsertPolicy": "LOG_ERROR",

        "EventErrorPolicy": "IGNORE",

        "ApplyErrorEscalationPolicy": "LOG_ERROR",

        "RecoverableErrorCount": -1,

        "DataErrorEscalationCount": 0,

        "TableErrorEscalationPolicy": "STOP_TASK",

        "RecoverableErrorInterval": 5,

        "ApplyErrorDeletePolicy": "IGNORE_RECORD",

        "TableErrorEscalationCount": 0,

        "FullLoadIgnoreConflicts": true,

        "DataErrorPolicy": "LOG_ERROR",

        "TableErrorPolicy": "SUSPEND_TABLE"

    },

    "TTSettings": {

        "TTS3Settings": null,

        "TTRecordSettings": null,

        "EnableTT": false

    },

    "FullLoadSettings": {

        "CommitRate": 50000,

        "StopTaskCachedChangesApplied": false,

        "StopTaskCachedChangesNotApplied": false,

        "MaxFullLoadSubTasks": 45,

        "TransactionConsistencyTimeout": 600,

        "CreatePkAfterFullLoad": false,

        "TargetTablePrepMode": "TRUNCATE_BEFORE_LOAD"

    },

    "TargetMetadata": {

        "ParallelApplyBufferSize": 0,

        "ParallelApplyQueuesPerThread": 0,

        "ParallelApplyThreads": 0,

        "TargetSchema": "maximo",

        "InlineLobMaxSize": 0,

        "ParallelLoadQueuesPerThread": 0,

        "SupportLobs": true,

        "LobChunkSize": 0,

        "TaskRecoveryTableEnabled": false,

        "ParallelLoadThreads": 0,

        "LobMaxSize": 32,

        "BatchApplyEnabled": false,

        "FullLobMode": false,

        "LimitedSizeLobMode": true,

        "LoadMaxFileSize": 0,

        "ParallelLoadBufferSize": 0

    },

    "BeforeImageSettings": null,

    "ControlTablesSettings": {

        "historyTimeslotInMinutes": 5,

        "HistoryTimeslotInMinutes": 5,

        "StatusTableEnabled": false,

        "SuspendedTablesTableEnabled": false,

        "HistoryTableEnabled": false,

        "ControlSchema": "",

        "FullLoadExceptionTableEnabled": false

    },

    "LoopbackPreventionSettings": null,

    "CharacterSetSettings": null,

    "FailTaskWhenCleanTaskResourceFailed": false,

    "ChangeProcessingTuning": {

        "StatementCacheSize": 100,

        "CommitTimeout": 1,

        "RecoveryTimeout": -1,

        "BatchApplyPreserveTransaction": true,

        "BatchApplyTimeoutMin": 1,

        "BatchSplitSize": 0,

        "BatchApplyTimeoutMax": 30,

        "MinTransactionSize": 1000,

        "MemoryKeepTime": 1000,

        "BatchApplyMemoryLimit": 500,

        "MemoryLimitTotal": 32768

    },

    "ChangeProcessingDdlHandlingPolicy": {

        "HandleSourceTableDropped": true,

        "HandleSourceTableTruncated": true,

        "HandleSourceTableAltered": true

    },

    "PostProcessingRules": null

}

canva popular keywords

Business & Work Keyword Template Style / Use Case Presentation Business decks, pitches, school slides Report Annual reports, whitepapers...