自然言語生成AIに関して、オープンソースコミュニティは、Meta AIのLLaMA（Large Language Model Meta AI）に好意的で、2月にリリースされた。Metaは、7B、13B、33B、65BのいくつかのサイズでLLaMAを提供したが、最初は承認された研究者や組織に限定されていた。しかし、3月初旬にオンラインで漏洩され、誰でもダウンロードできるようになったことで、実質的に完全にオープンソース化された。 開発者は、GPTや他の人気のLLMとは異なり、LLaMAの重みを微調整できるため、ユーザーとのより高度で自然な言語インタラクションを、チャットボットやバーチャルアシスタントなどのアプリケーションで作成できるため、MetaのLLaMAに魅力を感じている。LLaMAは、Metaが重みを共有していることを除いて、OpenAIのGPT 3モデルとあまり変わらない。他の主要なLLMはそうしていない。 AIモデルのコンテキストでは、「重み」とは、モデルがトレーニングプロセス中に学習したパラメーターのことを指す。これらのパラメーターは、ファイルに保存され、推論または予測フェーズで使用される。Metaが具体的にしたことは、LLaMAのモデル重みを非商用ライセンスの下、研究コミュニティに公開したことである。GPTなど他の強力なLLMは、通常、限られたAPIを介してのみアクセス可能である。 制限されたAPIを介してOpenAIにアクセスする必要があるが、モデルをダウンロードしたり、コンピュータで実行したりすることはできないため、開発者にとっては、カスタム作業ができるLLaMAの方が遥かに適応性が高いことがわかる。これは、OpenAIやGoogleなどの現在のLLMのリーダーにとって、潜在的に非常に破壊的なものとなる。 金融や法律の用例は、微調整とローカルホスティングに適しています。より大規模な企業は、微調整ではなく、独自のデータを使用してモデル全体を事前トレーニングすることを望む場合があります。分類タスクも人気があり、毒性予測、スパム分類、および顧客満足度ランキングなどが該当します。 開発者がLLaMAを微調整するために使用できるツールの1つが、LoRA（Low-Rank Adaptation of Large Language Models）です。アダプターメソッドは、トランスフォーマーの残りを凍結したまま、LLM全体のトレーニングを可能にするため、より少ないパラメーターとより速いトレーニング時間が得られます。LoRAは、大きな行列をより小さな行列に分解する数学的トリックを使用するアダプターメソッドの1種類であり、より少ないパラメーターとよりストレージ効率が向上します。これにより、微調整をはるかに高速化できます。 開発者と微調整 言語モデルの使用方法を理解することは、開発者にとって有用なスキルですが、非常に特定のニーズがない限り、彼らが会社でモデルの微調整を担当する必要はありません。小規模な企業や機密情報がない場合は、GPTのような一般的なツールを使用できます。大規模な企業では、モデルの微調整を担当するチームメンバーがいます。 結論 LLaMAは、大規模な言語モデルをより柔軟に使用したい開発者にとって、素晴らしいオプションのように思われます。微調整はますますアクセス可能になっていますが、必ずしもすべての開発者が学ぶ必要はない専門的なスキルです。開発者が微調整をするかどうかにかかわらず、彼らはアプリケーション内の特定のタスクやワークフローを改善するために、LLMの使用方法を理解する必要があります。したがって、LLaMAはチェックする価値があります。特に、GPTや他の人気のあるLLMよりもオープンソースであるため。