これは、InterSystems FAQサイトの記事です。

Windowsでは、変更することはできませんが、Unix系プラットフォームでは、iris rename コマンドを使用することで変更できます。

iris rename instname(現インスタンス名) newname(新インスタンス名)

iris rename コマンドの詳細は、以下ドキュメントをご参照ください
iris コマンドについて