Openaiは、オープンソースコミュニティ向けに設計された小さなオープンウェイト言語モデルの新しいファミリーであるGPT-Ossを導入しました。これらのモデルは、さまざまなハードウェアとの効率、速度、幅広い互換性のために最適化されているため、大規模なインフラストラクチャに頼らずにカスタマイズ可能なAIツールを必要とする開発者や研究者に最適です。
GPT-Ossは、1億2,000 万、410百万、11億パラメーターの3つのモデルサイズでリリースされています。各バージョンは命令チューニングされており、複数の言語をサポートしています。これらのモデルはGPT-3.5およびGPT-4よりも小さくなっていますが、エッジデバイスで迅速なパフォーマンスを提供し、オフラインまたは制約のある環境でうまく機能するように設計されています。サイズが小さいにもかかわらず、モデルはMMLUやGSM8Kを含むさまざまなベンチマークで強力な結果を示しています。
GPT-ossの目標は、特に低遅延、解釈可能性、またはエネルギー効率が優先されるユースケースで、より大きなモデルに代わる軽量で柔軟な代替品を提供することです。モデルは、学術研究または微調整実験の強力なベースラインとしても機能することを目的としています。 Openaiは、GPT-ossを同等のオープンウェイトモデルに対してベンチマークしており、一般的な言語タスク全体で競争力があることを発見したと述べています。
ChatGPTやGPT-4とは異なり、GPT-OSSモデルはより広範なOpenAIエコシステムに接続されていません。ネイティブAPI統合、メモリ、またはブラウジングサポートはありません。代わりに、それらはオープンウェイトライセンスでリリースされ、GithubとHugging Faceで利用可能であり、開発者が展開、カスタマイズ、およびローカル使用を完全に制御できるようにします。ウェイトには、モデルカードと透明性のための評価メトリックが付属しています。
GPT-ossのOpenaiのリリースは、軽量モデルがデバイス上のアプリケーションとプライベート展開で人気を博している時期です。 Open-Weightモデルへの関心が高まり、再現可能な研究の必要性があるため、GPT-Ossは、OpenAIのトレーニングインフラストラクチャの信頼性を備えた小規模なLLMSを求めている人々に新しいエントリポイントを追加します。同社は、これらのモデルはプライベートユーザーデータを使用してトレーニングされておらず、モデルカードに安全評価が文書化されていることを強調しました。
また読む：中国のオープンソースAIモデル「Goku」は、米国の支配に挑戦しています
GPT-OSは、推論やマルチターンチャットの品質においてGPT-4に匹敵するものではありませんが、そのアクセシビリティ、パフォーマンスとサイズの比率、および実験の容易さは、オープンウェイトモデルの生態系に貴重な貢献をします。開発者は、GPT-Ossをローカルで構築したり、特定のドメインに対して微調整したり、アーキテクチャリサーチのテストベッドとして使用できるようになりました。