「テーブルの上に二つの箱」というのは、画像の正しい説明であり得ます。しかし、左側の箱に書かれた短いコードについての質問には、あまり役に立ちません。ローカルの画像AIは、被写体をおおまかに仕分けるだけのものかもしれませんし、正確な表示を書き起こすことまで求められているのかもしれません。この両方をひとまとめに画像理解と呼んでしまうと、誤った能力を期待しやすくなります。
OpenBMBは、MiniCPM-V 4.7の日付を 2026年十月12日としています。 元のプロジェクト には、1Bと35B-A3Bのバリアントが記載されており、大きいほうはMixture of Expertsです。このリリースでは、ローカルかつマルチモーダルに使用する方法が説明されています。それでも、具体的なランタイム、モデルファイル、デバイスが互いに適合している必要があります。
アクティブパラメーターがコンピューター全体を表さない理由
Mixture of Expertsでは、個々の処理ステップごとにモデルの選ばれた部分が使用されます。このアクティブな部分集合は、特定のランタイムが用意しておかなければならないすべてのファイルやメモリと同じではありません。さらに、画像の前処理やその後の処理も加わります。
これは工房にたとえることができます。ある時点で一つの仕事に取り組んでいるのは、少数の専門作業台だけです。だからといって、残りの設備が消えるわけではありません。このたとえは、選択されたものと全体の在庫との違いを説明するものであり、特定のデバイスのメモリ計算を示すものではありません。
したがって実際には、単一のサイズ表記よりも正確なバリアント名のほうが役に立ちます。どのファイルをどのランタイムで使っているかを記録してください。異なるハードウェアでのベンダーの例に示された数値は、ご自身のコンピューターで期待できる速度ではありません。
三枚の画像、三つの別々の問い
中立的な二つの箱を使って、自分で小さな画像シリーズを作成します。そのうち一つには、K7のような任意のコードを付けます。一枚目の写真では両方をはっきりと写します。二枚目ではそれらの位置を変えます。三枚目では、同じ被写体を、わざと読みにくくしたコードで写します。物体と実際の文字は、ご自身でわかっています。
三つのタスクを設定します。物体の名前を挙げること、それらの位置関係を説明すること、そして見えている表示を正確に再現することです。各写真について、その画像で人が実際に読み取れるものを書き留めてください。最後の写真がぼやけている場合、元の文字を知っていても、「確実には判読できない」が適切な基準となることがあります。
Task 1: Which objects are visible?
Task 2: Which box is to the left of the other?
Task 3: Which marking is actually legible?
Rule: Do not fill in illegible characters from context.後でモデルをテストする際は、同じ問いを使い、加工していない入力ファイルを保管しておいてください。追加の拡大や異なるトリミングは新しい条件であり、別の試行として実行すべきです。そうしないと、回答がモデルのおかげなのか、より見やすい元画像のおかげなのかがはっきりしなくなります。
回答はタスクごとに評価します
三つのレベルを別々に確認してください。モデルが両方の箱を認識していても、表示の割り当てを間違えている場合、それは文字の読み間違いとは別の誤りです。「画像は正しい」という単一の総合評価では、こうした違いが隠れてしまいます。
もっともらしい付け足しにも注意してください。現在の画像ではもう判読できないのに、回答が前の写真のコードを引き継いでしまうことがあります。そのため、きれいに個別比較するには、新しい会話コンテキスト、あるいは少なくとも明示的に記録した順序が役立ちます。選んだテスト構成によって、そもそもどの情報が利用可能かが左右されます。
後から調整した解決のヒントを次々とモデルに与え、最後の回答だけを成功として示すことはしないでください。興味深いのは、タスク全体、実際に提出したファイル、そして認識と推測の間にある未解決の境界です。
本当に価値のあるローカルタスクはどれか
被写体によるおおまかな仕分けであれば、一般的な説明でもすでに役に立つことがあります。一方、表示を自動で書き起こすには、別の水準の信頼性と、判読できない箇所への適切な対処方法が必要です。したがって、どう使うかの判断は、できるだけ印象的なモデルサイズからではなく、必要とされる記述から始まります。
MiniCPM-V 4.7は、ローカルでの画像処理を具体的な技術的可能性にします。内容を把握しているいくつかの画像と、明確に区別された問いを用意すれば、ご自身の選択はより具体的になります。選んだ構成がご自身のデバイスでこれらのタスクのどれを有用にこなせるかは、実際に実行してみなければわかりません。
出典と情報の時点
出典は2026年十月25日時点のものです。 OpenBMB Changelog — MiniCPM-V 4.7 · MiniCPM-Vリポジトリ。
