記事 Toshihiko Minamoto · 2022年2月14日 19m read 統合AIデモサービススタックにML/DLモデルをデプロイする キーワード: IRIS、IntegratedML、Flask、FastAPI、Tensorflow Serving、HAProxy、Docker、Covid-19 目的: 過去数か月に渡り、潜在的なICU入室を予測するための単純なCovid-19 X線画像分類器やCovid-19ラボ結果分類器など、ディープラーニングと機械学習の簡単なデモをいくつか見てきました。 また、ICU分類器のIntegratedMLデモ実装についても見てきました。 「データサイエンス」の旅路はまだ続いていますが、「データエンジニアリング」の観点から、AIサービスデプロイメントを試す時期が来たかもしれません。これまでに見てきたことすべてを、一式のサービスAPIにまとめることはできるでしょうか。 このようなサービススタックを最も単純なアプローチで達成するには、どういった一般的なツール、コンポーネント、およびインフラストラクチャを活用できるでしょうか。 対象範囲 対象: ジャンプスタートとして、docker-composeを使用して、次のDocker化されたコンポーネントをAWS Ubuntuサーバーにデプロイできます。 #AI #IntegratedML #コンテナ化 #機械学習 #継続的インテグレーション #継続的デリバリー #開発者コミュニティ公式 Open Exchange app 1 0 0 368
記事 Toshihiko Minamoto · 2022年2月9日 2m read IRIS-NativeAPI-Nodejs-compact (jp) これは、前回の「DockerマイクロサーバーとしてのIRIS Native APIを使用するWebSocketクライアントJS」のフォローアップです。 すべてのピースが1つのDockerイメージにまとめられたため、インストールがはるかに簡単になりました。 作業が楽になります。 ただしもちろん、マイクロサービスの原則はわかりにくくなくなっています。 オールインワンのバンドルパッケージであるため、 コンパクトになっています。 #Docker #JavaScript #Microservices #Node.js #ObjectScript #コンテスト #コンテナ化 #InterSystems IRIS Open Exchange app 0 0 0 205
InterSystems公式 Toshihiko Minamoto · 2022年2月9日 製品リリースサイクルの変更 インターシステムズは、2018年からInterSystems IRISで2ストリームのリリースサイクルを採用しています(開始時のお知らせをご覧ください)。 #リリース #InterSystems IRIS #InterSystems IRIS for Health #InterSystems公式 0 0 0 194
記事 Toshihiko Minamoto · 2022年2月3日 12m read PandasデータフレームをIRISに保存する - 簡易メモ キーワード: Pandasデータフレーム、IRIS、Python、JDBS 目的 PandasデータフレームはEDA(探索的データ分析)に一般的に使用されるツールです。 MLタスクは通常、データをもう少し理解することから始まります。 先週、私はKaggleにあるこちらのCovid19データセットを試していました。 基本的に、このデータは1925件の遭遇の行と231列で構成されており、タスクは、患者(1つ以上の遭遇レコードにリンク)がICUに入室するかどうかを予測するものです。 つまりこれは、いつものようにpandas.DataFrameを使用して、まず簡単にデータを確認する、通常の分類タスクです。 #JDBC #Python #機械学習 #InterSystems IRIS Open Exchange app 0 0 0 210
記事 Toshihiko Minamoto · 2022年2月1日 5m read DockerマイクロサーバーとしてIRIS Native APIを使用したWebSocketクライアントJS これはIRIS 2020.2で動作するコーディングの例です 最新バージョンとは同期していません。 また、InterSystemsのサポートによるサービスはありません動作中のデモを確認できるデモビデオを以下で公開しています。https://youtu.be/dSV-0RJ5Olg 皆さんこんにちは 完全に新しいIRISイメージとたった4行のDockerコマンドを使って実行するイメージを使ってマイクロサービスのデモを行いましょう。 2020年6月1日 - rcc すべてのパーツを1つのコンテナイメージにまとめたコンパクトなオールインワンバージョンが公開されました。 詳細はこちら: IRIS-NativeAPI-Nodejs-compact 2020年5月24日 - rcc Dockerを使った簡易インストールを追加しました。コンテキストを参照 2020年5月25日 - rcc Linux & Windowsに最適な検証済みの強化スクリプトはこちら https://github.com/rcemper/WSockClientMicroSV/blob/master/READMEwindows.MD 2020年5月26日 - rcc このデモは、Caché用にすでに存在するNode.jsに基づくWebSocketクライアントを再設計したものです。 主に以下のような変更点があります。 新しいIRIS Native API for Node.jsの使用。特にグローバル配列を操作する場合 直接トリガーされたクライアントからサーバー設計への変更 マイクロサービス/マイクロサーバーの例として、結果を別のdockerイメージに配置 マイクロサービスの実行を制御するための単純なインターフェースをIRISに追加 #Docker #JavaScript #Microservices #Node.js #ObjectScript #グローバル #コンテスト #コンテナ化 #InterSystems IRIS Open Exchange app 0 0 0 214
記事 Toshihiko Minamoto · 2022年1月27日 11m read Python用IRISネイティブAPI はじめに バージョン2019.2より、InterSystems IRISは、高性能データアクセス手法としてPython用のネイティブAPIを提供してきました。 ネイティブAPIを使用すると、ネイティブのIRISデータ構造と直接対話することができます。 #API #Python #InterSystems IRIS 0 0 0 308
記事 Toshihiko Minamoto · 2022年1月25日 9m read IRISデータベースへのPython ODBC接続 - 2つ目の簡易メモ キーワード: PyODBC、unixODBC、IRIS、IntegratedML、Jupyterノートブック、Python 3 目的 数か月前、私は「IRISデータベースへのPython JDBC接続」という簡易メモを書きました。以来、PCの奥深くに埋められたスクラッチパッドよりも、その記事を頻繁に参照しています。 そこで今回は、もう一つの簡易メモで「IRISデータベースへのPython ODBC接続」を作成する方法を説明します。 ODBCとPyODCBをWindowsクライアントでセットアップするのは非常に簡単なようですが、Linux/Unix系サーバーでunixODBCとPyODBCクライアントをセットアップする際には毎回、どこかで躓いてしまいます。 バニラLinuxクライアントで、IRISをインストールせずに、リモートIRISサーバーに対してPyODBC/unixODBCの配管をうまく行うための単純で一貫したアプローチがあるのでしょうか。 #AI #分析 #機械学習 #InterSystems IRIS 0 0 0 860
記事 Toshihiko Minamoto · 2022年1月18日 3m read データジャングルの視覚化 -- パート4: YapeをDockerイメージで実行する この短い記事では、マシンにPythonをセットアップしなくて済むように、dockerコンテナでYapeを実行する方法について説明します。 このシリーズの前回の記事からしばらく時間が経っているため、簡単に振り返ってみましょう。 まず、matplotlibで基本的なグラフを作成する方法について話しました。 そして、bokehを使った動的グラフについて紹介しました。 最後にパート3では、monlblデータを使ったヒートマップの生成について説明しました。 #Docker #Python #ツール #パフォーマンス #視覚化 #Caché 0 0 0 83
お知らせ Toshihiko Minamoto · 2022年1月17日 2021年に開発者コミュニティにいただいたご質問ランキング 開発者の皆さんこんにちは。2021年に開発者コミュニティにいただいたご質問のランキングをお届けします。 全体統計 ✓ 2021年発表の14問✓ 歴代17問掲載 最も人気 AWS CodeBuildを用いた自動ビルドの仕組みについて。by Ohata Yuji 269 Excel(VBA)でのIRISアクセスについてby Seiji Hirose 159 VSCODEのCSPの編集についてby Mitsuru Amano 99 Ubuntu 20.04.2でのDocker, IRIS(DL製品版)導入-起動までのメモby Kota Torikai 85 ObjectScriptの変数の型検知について。by Ohata Yuji 65 RecordMapでのエラー情報の取得について。by Ohata Yuji 59 %CSP.WebSokectの非同期動作(SharedConnection=1)でソケットクローズの検知by Mitsuru Amano 52 ループ中にエラーが発生してもそのままループを継続したいby Taro Yamada 50 ビジネス・サービスの実行監視について。by Ohata Yuji 46 新規ネームスペース画面でのメッセージについてby Seiji Hirose 44 オンコードでのclsファイルのExportについて。by Ohata Yuji 43 カタカナ→ローマ字変換についてby TAKAHITO KURAUCHI 40 $SYSTEM.OBJ.ImportDir()利用時のSourceControlの利用について。by Ohata Yuji 40 SQL実行時にバインドパラメータを255個以上渡したい場合について。by Ohata Yuji 27 すべて表示 » #ダイジェスト #開発者コミュニティ公式 1 0 0 64
お知らせ Toshihiko Minamoto · 2022年1月17日 2021年の開発者コミュニティ投稿ランキング 開発者の皆さんこんにちは。こちらは 2021年に開発者コミュニティに投稿された記事のダイジェストです。2021 年も InterSystems コミュニティにご貢献いただき、ありがとうございました! 全体統計 ✓ 418 件の投稿が公開 (2021 年): – 記事 327 件 – アナウンス 76 件 – 質問 14 件 – 議論 1 件✓ 2,452 人のメンバーが開発者コミュニティに参加 (2021 年)✓ 656 件の投稿が公開 (全期間)✓ 登録者合計 10,287 名 #ダイジェスト #開発者コミュニティ公式 1 0 0 43
記事 Toshihiko Minamoto · 2022年1月11日 3m read データジャングルの視覚化 -- パート3: %SYS.MONLBLに基づくヒートマップの作成 これまでに何度もコードカバレッジとコードのパフォーマンス最適化について説明してきたため、ほとんどの方はすでにSYS.MONLBLユーティリティについてご存知かと思います。 コードを視覚的に見る方が通常は、純粋な数値を見るよりもはるかに直感的に理解できます。これが、このシリーズの記事の大きなポイントです。 今回は、Pythonとそのツールから少し離れて、^%SYS.MONLBLレポートからヒートマップを生成する方法を探りたいと思います。 簡単に言うと、ヒートマップは特定の値を色で表現してデータの要約を得ることに特化した視覚化ツールです。 このケースでは、データはコード行であり、コード行に掛けられた時間が色にマッピングされます。 #ツール #パフォーマンス #視覚化 #Caché 1 0 0 93
記事 Toshihiko Minamoto · 2022年1月6日 9m read IRISデータベースへのPython JDBC接続 - 簡易メモ キーワード: Python、JDBC、SQL、IRIS、Jupyterノートブック、Pandas、Numpy、および機械学習 1. 目的 これは、デモの目的で、Jupyterノートブック内でPython 3によってIRIS JDBCドライバーを呼び出し、SQL構文でIRISデータベースインスタンスにデータを読み書きする、5分程度の簡単なメモです。 昨年、私はCacheデータベースへのPythonバインディング(セクション4.7)について簡単に触れました。 そこで、Pythonを使ってIRISデータベースに接続し、そのデータをPandasデータフレームとNumPy配列に読み込んで通常の分析を行ってから、事前処理済みまたは正規化されたデータをML/DLパイプラインに通すためにIRISに書き込む作業においてのオプションと議論について要約しましょう。 すぐに思い浮かぶ簡単なオプションがいくつかあります。 #JDBC #ODBC #Python #機械学習 #InterSystems IRIS 2 0 0 718
記事 Toshihiko Minamoto · 2021年12月24日 3m read InterSystems IRISのGrafanaサポート 皆さん、こんにちは。私の最新のプロジェクトの1つをご紹介します。 Grafana用データソースプラグインです。これは、InterSystems IRISに直接接続して(将来的に)あらゆるデータを収集できるプラグインです。 #SAM - System Alerting and Monitoring #監視 #InterSystems IRIS Open Exchange app 1 0 0 73
記事 Toshihiko Minamoto · 2021年12月21日 7m read データジャングルの視覚化 -- パート2 より多くのソースでより優れた出力を! 先週のディスカッションでは、1つのファイルのデータ入力に基づく単純なグラフを作成しました。 ご存知のように、解析して相関付けるデータファイルが複数あることがあります。 そこで今週は、perfmonデータを追加して読み込み、それを同じグラフにプロットする方法について学習しましょう。 生成したグラフをレポートやWebページで使用する可能性があるため、生成したグラフのエクスポート方法についても説明します。 Windowsのperfmonデータを読み込む 標準のpButtonsレポートから抽出されたperfmonデータは、少し独特なデータ形式です。 一見すると、かなり単純なCSVファイルで、 最初の行には列のヘッダーがあり、それ以降の行にはデータポイントが含まれています。 ただし、ここでの目的のために、値エントリーを囲む引用符をどうにかする必要があります。 標準的なアプローチを使用してファイルをPythonに解析すると、文字列オブジェクトの列ができてしまい、うまくグラフ化できません。 #Python #ツール #パフォーマンス #視覚化 #Caché 0 0 0 125
記事 Toshihiko Minamoto · 2021年12月15日 2m read Ensemble とFile Outbound Adapter - ちょっとしたヒント あるお客様の問題から、この短い記事を書くことにしました。 お客様はEnsembleを使用して、多数のシステムを統合しています。一部のシステムではプレーンファイルのみが使用されています。 そのため、ターゲットファイルへの書き込みには、自然とFile Outbound Adapter を選択しました。 数年もの間すべてが順調に稼働していましたが、最近になって、ファイルに書き込まれるデータが数十メガバイトという大きなサイズに達するようになり問題が出てきました。オペレーションが完了するまでに約30分かかるようになり、プロセス内の後続の処理を待たせなければならないタイミングの問題が発生し始めたのです。当然、連携先のシステムはそれほど長く待つことを良しとしません。 お客様のコードは、以下の疑似コードのようなものでした。 #ヒントとコツ #ビジネスオペレーション #Ensemble 1 0 0 89
お知らせ Toshihiko Minamoto · 2021年12月14日 開発者コミュニティでEメールアドレスを変更する方法 皆さん、こんにちは。 開発者コミュニティやGlobal Masters、Open Exchangeといった開発者Ecoシステムで、メールアドレス(ログインメール)を変更しても、アクティビティが失われないようにする必要があります。 それは簡単です。私たちにお任せください! #Global Masters #Open Exchange #開発者コミュニティ公式 1 0 0 77
記事 Toshihiko Minamoto · 2021年12月14日 5m read Node.jsでのZPMの使用 着想: @Evgeny Shvarovとその記事より Deploying InterSystems IRIS Embedded Python Solutions with ZPM Package Manager このアイデアを発展させ、同じことをNode.js.のモジュールで行ってみました。 このケースは、私の「IRIS Native API for Node.js」の例に基づいています。 InterSystems IRIS はクライアントとしてネイティブでWebSocketsをサポートしているというわかりきった返答を期待して: その通りです。そして、私がその昔書いた関連記事とOEXのサンプルへのリンクはこちらです。 #API #Node.js #グローバル #InterSystems IRIS Open Exchange app 1 0 0 106
InterSystems公式 Toshihiko Minamoto · 2021年12月14日 2021年12月13日 - 勧告: Apache Log4j2ライブラリの脆弱性がインターシステムズ製品に与える影響 2021年12月13日 - 勧告: Apache Log4j2ライブラリの脆弱性がインターシステムズ製品に与える影響 インターシステムズは現在、Apache Log4j2に関するセキュリティ脆弱性の影響を調査しています。 #アラート #Caché #Ensemble #HealthShare #InterSystems IRIS #InterSystems IRIS for Health #InterSystems公式 1 1 0 130
記事 Toshihiko Minamoto · 2021年12月9日 23m read MLとIntegratedMLでCovid-19のICU入室予測を実行する(パート2) キーワード: IRIS、IntegratedML、機械学習、Covid-19、Kaggle 前のパート1の続き... パート1では、Kaggleに掲載されているこのCovid-19データセットにおける従来型MLのアプローチを説明しました。 今回のパート2では、IRISのIntegratedMLを使用して、可能な限り単純な形態で同じデータとタスクを実行しましょう。IntegratedMLは、バックエンドAutoMLオプション用に洗練された優れたSQLインターフェースです。 同じ環境を使用します。 #IntegratedML #機械学習 #InterSystems IRIS 2 0 0 99
記事 Toshihiko Minamoto · 2021年12月7日 31m read MLとIntegratedMLでCovid-19のICU入室予測を実行する(パート1) キーワード: IRIS、IntegratedML、機械学習、Covid-19、Kaggle 目的 最近、Covid-19患者がICU(集中治療室)に入室するかどうかを予測するKaggleデータセットがあることに気づきました。 231列のバイタルサインや観測で構成される1925件の遭遇記録が含まれる表計算シートで、最後の「ICU」列では「Yes」を示す1と「No」を示す0が使用されています。 既知のデータに基づいて、患者がICUに入室するかどうかを予測することがタスクです。 このデータセットは、「従来型ML」タスクと呼ばれるものの良い例のようです。 データ量は適切で、品質も比較的適切なようです。 IntegratedMLデモキットに直接適用できる可能性が高いようなのですが、通常のMLパイプラインと潜在的なIntegratedMLアプローチに基づいて簡易テストを行うには、どのようなアプローチが最も単純なのでしょうか。 範囲 次のような通常のMLステップを簡単に実行します。 #AI #IntegratedML #SQL #機械学習 #InterSystems IRIS Open Exchange app 0 0 0 206