記事 Megumi Kakechi · 1月 30, 2022 1m read

これは、InterSystems FAQサイトの記事です。

TRY-CATCHで行うことが可能です。
以下のように行ってください。

 #dim ex As %Exception.AbstractException
 TRY {
    "<何かエラーを発生させる処理>"
  }
  CATCH ex {
     do ex.Log()
  }


^%ETNを使用する場合は、^%ETNを呼び出す際にBACKエントリ(BACK^%ETN)から呼び出してください。


あわせて、以下の関連記事も是非ご覧ください。

アプリケーションエラー(^ERRORS)をコマンドで取得する方法
【FAQ】アプリケーションから明示的にエラー詳細情報をログ出力する方法を教えてください。

0
1 389
記事 Toshihiko Minamoto · 1月 27, 2022 11m read

はじめに

バージョン2019.2より、InterSystems IRISは、高性能データアクセス手法としてPython用のネイティブAPIを提供してきました。 ネイティブAPIを使用すると、ネイティブのIRISデータ構造と直接対話することができます。

0
0 535
記事 Toshihiko Minamoto · 1月 25, 2022 9m read

キーワード: PyODBC、unixODBC、IRIS、IntegratedML、Jupyterノートブック、Python 3

 

目的

数か月前、私は「IRISデータベースへのPython JDBC接続」という簡易メモを書きました。以来、PCの奥深くに埋められたスクラッチパッドよりも、その記事を頻繁に参照しています。 そこで今回は、もう一つの簡易メモで「IRISデータベースへのPython ODBC接続」を作成する方法を説明します。

ODBCとPyODCBをWindowsクライアントでセットアップするのは非常に簡単なようですが、Linux/Unix系サーバーでunixODBCとPyODBCクライアントをセットアップする際には毎回、どこかで躓いてしまいます。

バニラLinuxクライアントで、IRISをインストールせずに、リモートIRISサーバーに対してPyODBC/unixODBCの配管をうまく行うための単純で一貫したアプローチがあるのでしょうか。

 

範囲

最近、Linux Docker環境のJupyterノートブック内でゼロからPyODBCデモを機能させるようにすることに少しばかり奮闘したことがありました。 そこで、少し冗長的ではありますが、後で簡単に参照できるように、これをメモに残しておくことにしました。  

範囲内 

このメモでは、以下のコンポーネントに触れます。

  • 0
    0 1230
    記事 Toshihiko Minamoto · 1月 18, 2022 3m read

    この短い記事では、マシンにPythonをセットアップしなくて済むように、dockerコンテナでYapeを実行する方法について説明します。

    このシリーズの前回の記事からしばらく時間が経っているため、簡単に振り返ってみましょう。

    まず、matplotlibで基本的なグラフを作成する方法について話しました。 そして、bokehを使った動的グラフについて紹介しました。 最後にパート3では、monlblデータを使ったヒートマップの生成について説明しました。

    フィードバックをさまざまなチャンネルを通じて受け取りましたが、これらを実行するための環境をセットアップするのが困難であるという、共通したテーマが見られました。 そこで、それを少しでも簡単に行えるよう、Murrayと協力して、Murrayの優れたYapeツール用のDockerfileを作成してみることにしました。 GitHubページ

    もちろん、これを行うには、マシンにdockerがインストールされている必要があります。

    Dockerfile

    公式のPythonイメージに基づく、どちらかと言えば単純なdocker定義:

    FROM python:3
    
    WORKDIR .
    
    COPY requirements.txt ./
    RUN pip install --no-cache-dir -r requirements.txt
    
    COPY . .
    0
    0 141
    お知らせ Toshihiko Minamoto · 1月 17, 2022
    0
    0 107
    お知らせ Toshihiko Minamoto · 1月 17, 2022
    開発者の皆さん
    こんにちは。
    こちらは 2021年に開発者コミュニティに投稿された記事のダイジェストです。
    2021 年も InterSystems コミュニティにご貢献いただき、ありがとうございました!
    全体統計
    418 件の投稿が公開 (2021 年):
        – 記事 327 件
        – アナウンス 76 件
        – 質問 14 件
        – 議論 1 件
    2,452 人のメンバーが開発者コミュニティに参加 (2021 年)
    656 件の投稿が公開 (全期間)
     登録者合計 10,287 名
    0
    0 81
    お知らせ Mihoko Iijima · 1月 17, 2022

    開発者の皆さん、こんにちは!

    InterSystems データセットコンテスト の投票結果が発表されました!この記事ではコンテスト受賞者を発表します!

    受賞された開発者の皆さん、👏おめでとうございます!🎊

    0
    0 131
    記事 Megumi Kakechi · 1月 12, 2022 5m read

    これは、InterSystems FAQサイトの記事です。
    ミラージャーナルファイルの削除(パージ)のタイミングは以下のようになります。

    ・プライマリ・フェイルオーバー・メンバ

     以下の期限のうち長い方に該当するもの
     -ローカルジャーナルファイルの削除条件が満たされたとき ("ジャーナル設定の構成" を参照)  
     -バックアップメンバとすべての非同期メンバに受信されたとき
      ただし、非同期メンバが14日間(既定値)を経過してもジャーナルファイルを受信しない場合は、そのジャーナルファイルは削除対象になります。
      「既定の14日間」は、以下のコマンドで設定が可能になります。
      この保持期間を過ぎると、ジャーナルが削除されてしまいその非同期メンバでは同期が取れなくなるのでご注意ください。

    %SYS>write ##class(SYS.Mirror).
    0
    0 322
    記事 Toshihiko Minamoto · 1月 11, 2022 3m read

    これまでに何度もコードカバレッジとコードのパフォーマンス最適化について説明してきたため、ほとんどの方はすでにSYS.MONLBLユーティリティについてご存知かと思います。 コードを視覚的に見る方が通常は、純粋な数値を見るよりもはるかに直感的に理解できます。これが、このシリーズの記事の大きなポイントです。 今回は、Pythonとそのツールから少し離れて、^%SYS.MONLBLレポートからヒートマップを生成する方法を探りたいと思います。

    簡単に言うと、ヒートマップは特定の値を色で表現してデータの要約を得ることに特化した視覚化ツールです。 このケースでは、データはコード行であり、コード行に掛けられた時間が色にマッピングされます。

    ^%SYS.MONLBL

    行ごとに監視するモニターの実行については、ドキュメントをご覧ください。 つまり、分析の完全な出力をCSVファイルとして操作します。 分析しようとしているコードのソースコードが実際にあれば、はるかに便利であるため、 kフラグ(ソースを保持)を使ってコードをコンパイルするようにしてください。

    出力の準備

    ターゲット出力として、準備されたhtmlファイルを使用することにします。 これには、非常に基本的なレイアウトと、最終的な色付けを行うための小さなJavaScript関数だけが含まれます。

    0
    0 206
    お知らせ Mihoko Iijima · 1月 10, 2022

    開発者の皆さん、こんにちは!

    今週から データセットコンテスト の投票が始まります!

    InterSystems IRIS を使い開発されたベストソリューションにぜひ、投票をお願いします!

    🔥 投票はこちらから! 🔥

    投票方法については、以下ご参照ください。

    0
    0 103
    記事 Toshihiko Minamoto · 1月 6, 2022 9m read

    キーワード: Python、JDBC、SQL、IRIS、Jupyterノートブック、Pandas、Numpy、および機械学習 

    1. 目的

    これは、デモの目的で、Jupyterノートブック内でPython 3によってIRIS JDBCドライバーを呼び出し、SQL構文でIRISデータベースインスタンスにデータを読み書きする、5分程度の簡単なメモです。 

    昨年、私はCacheデータベースへのPythonバインディング(セクション4.7)について簡単に触れました。 そこで、Pythonを使ってIRISデータベースに接続し、そのデータをPandasデータフレームとNumPy配列に読み込んで通常の分析を行ってから、事前処理済みまたは正規化されたデータをML/DLパイプラインに通すためにIRISに書き込む作業においてのオプションと議論について要約しましょう。

    すぐに思い浮かぶ簡単なオプションがいくつかあります。

    1.    ODBC: Python 3とネイティブSQLを使ったPyODBCを使ってはどうでしょうか?
    2.    JDBC: Python 3とネイティブSQLを使ったJayDeBeApiはどうでしょうか?
    3.    Spark: PySparkとSQLを使ったら?
    4.    IRIS用PythonネイティブAPI: 前に使用したCache用Pythonバイディングを拡張してみたらどうでしょうか?
    0
    0 1066
    記事 Hiroshi Sato · 12月 28, 2021 2m read

    これは InterSystems FAQ サイトの記事です。
     

    コンパイル時のフラグや修飾子の記号と意味については、以下ドキュメントをご参照ください。


    コンパイルフラグについて【IRIS】

    コンパイルフラグについて

    なお、開発環境のスタジオやVisual Studio Codeでは、開発環境の設定画面でフラグを変更できます。

    • スタジオは、[ツール] > [オプション] > [コンパイラ] > [フラグと最適化]




       
    • VSCodeは、[View] > [Command Palette...] 


    ターミナルでコンパイルを実行するときは $system.OBJ.CompileAll() などのシステムユーティリティが利用できます。
    コンパイルフラグを引数に指定しない場合、デフォルトのコンパイルフラグが利用されます。デフォルトのフラグは $system.OBJ.ShowFlags() で確認できます。

    USER>do $system.OBJ.ShowFlags()
        b - Include sub classes.
        c - Compile.
    0
    0 892
    記事 Hiroshi Sato · 12月 28, 2021 1m read

    これは、InterSystems FAQサイトの記事です。
     

    データ項目の値が”#Deleted"と表示される場合、MS Accessの設定でこの問題を回避することができます(MS Access2016以降)。

    MS Accessのオプションより、「大きい数値(BigInt)データ型をサポート」にチェックを入れます。

    設定後、リンクテーブルを一度閉じて、リンクの更新を行います。

    0
    0 9808
    記事 Tomoko Furuzono · 12月 26, 2021 1m read

    これは、InterSystems FAQサイトの記事です。

    MM/DD/YY-hh:mm:ss:fff ( ) 0 [Utility.Event] Purging old application errors

     
    こちらのメッセージは、エラーではなく、アプリケーションのエラーログを記録した古い ^ERRORSグローバルのパージ処理が実行された際に出力されるメッセージになります。ログを削除した旨のみを伝えるメッセージであり、出力されていても特に問題はありません。
    また、このログは、^ERRORSグローバルのパージ処理がタスク実行される毎日01:00 に出力されます。
     

    実際にアプリケーションエラーがある場合は、管理ポータルの [システムオペレーション] > [システムログ] > [アプリケーションエラーログ] にて、詳細を確認できます。
    ※このエラーログの内容は、各ネームスペースの ^ERRORS グローバルに格納されているものです。

     

    0
    0 296
    記事 Tomoko Furuzono · 12月 26, 2021 1m read

    これは、InterSystems FAQサイトの記事です。
    $ZTIMESTAMPはUTC形式で日付時刻を返すため、ローカルのタイムゾーンに変更するためには以下システムオブジェクトを利用します。 

     $SYSTEM.Util.UTCtoLocalWithZTIMEZONE($ZTIMESTAMP)


    上記出力結果は ddddd,sssss.fff の形式で出力されます。

        ddddd:$HOROLOGの日付と同じ形式
     sssss:現在の日付の午前 0 時からの経過秒数を示す整数
     fff :秒の小数部を示す可変桁数

    ※ $HOROLOGに似ていますが、$HOROLOGには秒の小数部分は含まれません。 

    SAMPLES>write $SYSTEM.Util.UTCtoLocalWithZTIMEZONE($ZTIMESTAMP)," - ", $horolog,!
    63895,64252.66 - 63895,64252
    SAMPLES>write $ZDATETIME($SYSTEM.Util.UTCtoLocalWithZTIMEZONE($ZTIMESTAMP),8)
    20151209 17:45:56
    SAMPLES>write $ZDATETIME($ZTIMESTAMP,8)
    20151209 08:46:05
    SAMPLES>
    0
    0 330
    記事 Toshihiko Minamoto · 12月 21, 2021 7m read

    先週のディスカッションでは、1つのファイルのデータ入力に基づく単純なグラフを作成しました。 ご存知のように、解析して相関付けるデータファイルが複数あることがあります。 そこで今週は、perfmonデータを追加して読み込み、それを同じグラフにプロットする方法について学習しましょう。 生成したグラフをレポートやWebページで使用する可能性があるため、生成したグラフのエクスポート方法についても説明します。

    Windowsのperfmonデータを読み込む

    標準のpButtonsレポートから抽出されたperfmonデータは、少し独特なデータ形式です。 一見すると、かなり単純なCSVファイルで、 最初の行には列のヘッダーがあり、それ以降の行にはデータポイントが含まれています。 ただし、ここでの目的のために、値エントリーを囲む引用符をどうにかする必要があります。 標準的なアプローチを使用してファイルをPythonに解析すると、文字列オブジェクトの列ができてしまい、うまくグラフ化できません。

    perfmonfile="./vis-part2/perfmon.
    0
    0 217
    記事 Hiroshi Sato · 12月 21, 2021 1m read

    これは、InterSystems FAQサイトの記事です。
     

    監査ログをプログラミングで出力するために、監査ログの一覧を取得する%SYS.Audit クラスのListクエリを利用することができます。


    サンプルコードは以下のようになります。

     Set statement=##class(%SQL.Statement).%New()  
     Set status=statement.%PrepareClassQuery("%SYS.Audit","List")
     Set rs=statement.%Execute()  
     Set tab = $char(9)
     While rs.%Next() {    
       Write rs.%Get("TimeStamp")_tab_rs.%Get("Event")_tab_rs.%Get("Username"),!      
    }
    0
    0 276
    記事 Hiroshi Sato · 12月 20, 2021 1m read

    これは、InterSystems FAQサイトの記事です。
     

    CSPアプリケーションでは、リクエスト処理時間がサーバー応答タイムアウト値(CSPゲートウェイ管理ページで設定、既定値60 sec)を経過すると、CSPゲートウェイからクライアントブラウザにタイムアウトを通知し、処理を続けているデータプラットフォームサーバプロセスにエラーを発生させます。

    エラーが発生している処理を確認して頂き、処理遅延の改善、例えばタイムアウトが発生しないように処理内容を見直して応答時間を短くすることや必要に応じてサーバ応答タイムアウト値を大きくすることで対処可能です。

    0
    0 514
    InterSystems公式 Toshihiko Minamoto · 12月 14, 2021

    2021年12月13日 - 勧告: Apache Log4j2ライブラリの脆弱性がインターシステムズ製品に与える影響

    インターシステムズは現在、Apache Log4j2に関するセキュリティ脆弱性の影響を調査しています。

    この脆弱性は少なくともApache Log4j2 (バージョン2.0から2.14.1)に影響を与えるもので、最近Apacheから発表され、米国国家脆弱性データベース (NVD) ではCVE-2021-44228 として報告されており、深刻度は最も高い10.0となっています。

    脆弱性に関する詳細ならびにインターシステムズ製品に影響を与えるかどうかの最新情報は こちら をご参照ください。

    1
    0 214
    記事 Toshihiko Minamoto · 12月 15, 2021 2m read

    あるお客様の問題から、この短い記事を書くことにしました。 お客様はEnsembleを使用して、多数のシステムを統合しています。一部のシステムではプレーンファイルのみが使用されています。

    そのため、ターゲットファイルへの書き込みには、自然とFile Outbound Adapter を選択しました。 数年もの間すべてが順調に稼働していましたが、最近になって、ファイルに書き込まれるデータが数十メガバイトという大きなサイズに達するようになり問題が出てきました。オペレーションが完了するまでに約30分かかるようになり、プロセス内の後続の処理を待たせなければならないタイミングの問題が発生し始めたのです。当然、連携先のシステムはそれほど長く待つことを良しとしません。

    お客様のコードは、以下の疑似コードのようなものでした。

     set tResultSet=SQLStatement.Execute()
    
     // compose header based on resultset columns Describe()
    
     set tSC= .Adapter.PutLine(file,header)
    
    while tResultSet.%Next() {
    
     set line=. compose line of the resultset row data 
    
      set tSC=.
    0
    0 141
    お知らせ Mihoko Iijima · 12月 15, 2021

    開発者の皆さん、こんにちは!

    InterSystems IRIS 2021.2 Preview 版 がリリースされました。新しい機能として LOAD DATA があります。

    ということで、今回のコンテストでは、この新しい「LOAD DATA」をテストするコンテストにしてみたいと思います!

    🏆 InterSystems Datasets Contest 🏆

    応募期間: 2021年12月27日~2022年1月9日

    💰 賞金総額: $9,450💰


    0
    0 192
    お知らせ Toshihiko Minamoto · 12月 14, 2021

    皆さん、こんにちは。

    開発者コミュニティやGlobal Masters、Open Exchangeといった開発者Ecoシステムで、メールアドレス(ログインメール)を変更しても、アクティビティが失われないようにする必要があります。

    それは簡単です。私たちにお任せください!

    1. 1️⃣   古いDC(開発者コミュニティ)アカウントから新しいDCアカウントへ、あなたの情報をすべて正しく移行します。 あなたの投稿、コメント、メンション、「いいね!」などの情報はすべて新アカウントに保存されます。
    2. 2️⃣ Global Mastersのメンバーであれば、あなたのレベル、バッジ、ポイントなども新しいアカウントに移行されます。
    3. 3️⃣ Open Exchangeでのアプリケーションの移行も行います。
    4. 4️⃣ また、古いアカウントを解除するだけで(アクティビティを引き継がない)あれば、ワンクリックで完了します。

    DCのダイレクトメッセージやメールで @Iryna Podmazko (または @Toshihiko Minamoto)に連絡するだけです。

    • 古いアカウントへのリンクを送る (-s)
    • 新しいアカウントへのリンクを送る(-s)
    • 自分のアクティビティのどのリソース(DC/GM/OEX/すべてのリソース)を移したいのかを明記してください。

    それでは。

    0
    0 124
    記事 Toshihiko Minamoto · 12月 14, 2021 5m read

    着想: @Evgeny Shvarovとその記事より
    Deploying InterSystems IRIS Embedded Python Solutions with ZPM Package Manager
    このアイデアを発展させ、同じことを**Node.js.**のモジュールで行ってみました。
    このケースは、私の「IRIS Native API for Node.js」の例に基づいています。

    InterSystems IRIS はクライアントとしてネイティブでWebSocketsをサポートしているというわかりきった返答を期待して:
    その通りです。そして、私がその昔書いた関連記事OEXのサンプルへのリンクはこちらです。

    0
    0 185
    記事 Tomoko Furuzono · 12月 13, 2021 1m read

    これは、InterSystems FAQサイトの記事です。
     

    グローバル単位でジャーナルのON/OFF設定を行いたい場合は、グローバルマッピング設定で、
     ・ジャーナルしたいグローバル ⇒ ジャーナルON(「はい」)のデータベースにマッピング
     ・ジャーナルしたくないグローバル ⇒ ジャーナルOFF(「いいえ」)のデータベースにマッピング
    と、分けることで可能です。 但し、通常のデータベースは、ジャーナルOFF設定であっても、トランザクション中の更新についてはジャーナルファイルに記録されます。

    一時グローバルを保存するIRISTEMP/CACHETEMPデータベースは、トランザクション中でもジャーナルファイルに記録されませんので、トランザクションデータもジャーナル記録したくない場合にはこれをマッピング先にすることも可能です。
    但し、IRISTEMP/CACHETEMPデータベースは一時データベースであるため、インスタンス再起動でグローバルデータは失われますので注意が必要です。
    一時グローバルと IRISTEMP データベース

    0
    0 219
    記事 Toshihiko Minamoto · 12月 9, 2021 23m read

    キーワード: IRIS、IntegratedML、機械学習、Covid-19、Kaggle 

    前のパート1の続き... パート1では、Kaggleに掲載されているこのCovid-19データセットにおける従来型MLのアプローチを説明しました。 

    今回のパート2では、IRISのIntegratedMLを使用して、可能な限り単純な形態で同じデータとタスクを実行しましょう。IntegratedMLは、バックエンドAutoMLオプション用に洗練された優れたSQLインターフェースです。 同じ環境を使用します。 

     

    IntegratedMLアプローチとは

    IRISにデータを読み込む方法

    integredML-demo-templateには、IRISにデータを読み込む様々な方法が定義されています。 たとえば、このCSV形式のxlsファイルに固有のカスタムIRISクラスを定義し、それをIRISテーブルに読み込むことができます。 大量のデータをより適切に制御することができます。 

    ただし、この記事では、単純化された怠惰な方法を使用します。データフレーム全体を私が作成したカスタムPython関数で読み込む方法です。

    0
    0 150
    記事 Megumi Kakechi · 12月 9, 2021 3m read

    これは、InterSystems FAQサイトの記事です。
     

    【 管理ポータルへのパスワード認証設定方法 】

    管理ポータルの、
     [ホーム] > [システム管理] > [セキュリティ] > [アプリケーション] > [ウェブ・アプリケーション]
    で /csp/sys、および、/csp/sys/ 以下の各アプリケーション(/csp/sys/expなど) の編集画面を開き、“許可された認証方法” の、"認証なし" のチェックを外し、“パスワード” のみチェックをして保存します。

    また、これと同様のことを、ターミナルから、^SECURITYルーチンを使用して実行することも可能です。
    以下は/csp/sys/アプリケーションに対する実行例です。*実行は%SYSネームスペースで行って下さい。

    0
    0 672
    記事 Tomoko Furuzono · 12月 7, 2021 1m read

    これは、InterSystems FAQサイトの記事です。

    プライベートWebサーバを使用して、HTMLファイルをリクエストした際に、日本語が文字化けする場合があります。
    その場合には、HTMLファイルをBOM(バイト・オーダー・マーク)付で保存してください。

    ※原則的に、プライベートWebサーバを使用してアプリケーションを稼働することは推奨しておりません。
     アプリケーション稼働には、必ず、IISやApache等の製品版のWebサーバを使用してください。  
     プライベートWebサーバについては、以下のドキュメントをご参照ください。
     プライベート Web サーバおよび管理ポータル【IRIS】
     プロダクション Web サーバおよび Caché 付属のプライベート Web サーバ

    0
    0 287
    記事 Tomoko Furuzono · 12月 7, 2021 2m read

    これは、InterSystems FAQサイトの記事です。
    このメッセージが出力される要因は以下の2つになります。

    1. 同じデータに対して適切に排他を行わずに、別々のプロセスから更新が行われている
    2. ロールバックが発生している

    詳細は以下の通りです。 メッセージログ/コンソールログに、以下のようなメッセージがある場合、これはロールバック処理にて出力されています。
    ※バージョンによってメッセージは多少異なります。

    Skipping SET due to compare and swap failed on ...
    Skipping KILL due to compare and swap failed on ...
    ---
    Skipping Set global ^xxx during transaction rollback (transaction may not have been properly locked) in journal ...
    Skipping KILL as node ^xxx exists in ...
    ---
    Skipped rolling back x update(s) in ...
    0
    0 158