2022
2
月号

複数モダリティを使う「マルチモーダルAI」の紹介 第1回 DETR+RoBERTaを使ったマルチモーダル推論モデル「MDETR」の紹介とColabでの推論

マルチモーダルAIは、複数の情報(モダリティ)を統合的に処理して、それらを関連付けて利用するAIです。複数のモダリティを活用することで、より正確に予測や推論ができるようになったり、今まで解決できなかった問題を解くことができるようになることが期待されており、様々な研究や論文が発表されている分野です。今回は、物体検出を行う DETR と、自然言語処理の RoBERTa を組み合わせた「MDETR」について解説します。また、MDETR で解決タスクと Google Colaboratory での推論方法を紹介します。

(プログラマのための)いまさら聞けない標準規格の話 第3回 ローマ字編

プログラマがシステム開発において共通で必要となる、技術と業務の狭間の共通知識を解説します。連載第3回はローマ字編です。

はじめての自然言語処理 第19回 文章ベクトル化モデルとResNet50でCLIP風のモデルを作る

今回は前回の文章ベクトル化モデルを使って CLIP 風のモデルを作ります。CLIP は画像とテキストを同じ多次元ベクトル空間にエンコードするモデルで、テキストによる画像検索や Zero shot での画像分類が可能です。簡素化された（非公式）実装が公開されているので、日本語で動かして見ましょう。