「医療」に特化したオープンソースの大規模言語モデル「Meditron」が登場

Metaの大規模言語モデル(LLM)である「Llama 2」をベースに医学書でトレーニングした、医療専門のLLMスイート「Meditron」が登場しました。登場直後であるため正規採用はまだ推奨されていないものの、医療分野に関する能力がGPT-3.5を上回っていることが報告されています。
[2311.16079] MEDITRON-70B: Scaling Medical Pretraining for Large Language Models
https://arxiv.org/abs/2311.16079

GitHub - epfLLM/meditron: Meditron is a suite of open-source medical Large Language Models (LLMs).
https://github.com/epfLLM/meditron
大規模言語モデルは人間の言葉を受けて自然な言葉を出力する処理を行えるモデルで、チャットサービスの「ChatGPT」といった各種サービスに使われているほか、金融、科学など特定の分野に特化したモデルも次々に登場しています。

医療分野に特化したモデルについてもさまざまな取り組みがなされてきたものの、結果的に誕生したモデルは「GPT-4」のようなクローズドソースであるか、あるいは規模が大きくないものばかりでした。こうした状況に目を付けたスイス連邦工科大学ローザンヌ校のゼミン・チェン氏らが作成したLLMスイートが「Meditron」で、発表と同時にLLMの「Meditron-7B」および「Meditron-70B」が公開されました。
Meditron-7BとMeditron-70Bはどちらも「Llama 2」をベースにPubMedの論文や抄録、国際的に認知された医学ガイドラインを含む文書でトレーニングされたモデルで、これらのデータを元に医学的知識を出力するように設計されています。

医療分野の性能を測るベンチマークを実施したところ、Meditron-70Bは無料版「ChatGPT」に用いられるLLM「GPT-3.5」や、Googleの医療用LLM「Med-PaLM」を上回り、GPT-4やMed-PaLM-2に迫る性能を見せたとのこと。こうした性能のLLMが新たにオープンソースで公開されたことで、LLMの医学的知識と推論能力が広く使われるようになることが期待されています。具体的には、診察や診断の補助、疾患情報の照会といった使用例が想定されるとのこと。
記事作成時点で、Meditronスイートは試験と評価のための利用が推奨されていて、安全に、あるいは専門的に、本番環境で使用するには適さないとのこと。また、このモデルを使用してテキストを生成することは可能であるものの、薬剤などの生産あるいは人に影響を与える可能性のある作業に直接使用すべきではないとも付け加えられています。