市場で注目を浴びているトレンドを深掘りする連載「マネ部的トレンドワード」。今回のテーマは、「現代用語の基礎知識選 2023ユーキャン新語・流行語大賞」のトップ10に入った「生成AI」。
生成AIの認知度が一気に上がったきっかけは、大規模言語モデル「ChatGPT」の登場だろう。大規模言語モデル（LLM）とは、大量のテキストデータを処理し、自然言語（人間が扱う日本語や英語などの言語）を理解・生成するもののこと。
NTT人間情報研究所は、2023年11月に独自のLLM「tsuzumi」の開発を発表し、2024年3月には商用サービスとしての提供を開始した。NTTはなぜ独自のLLMの開発に踏み出したのだろうか。そして、どのような特徴を持っているのだろうか。NTT人間情報研究所 主幹研究員の宮崎昇さん、准特別研究員の西田光甫さんに聞いた。
NTT版大規模言語モデル「tsuzumi」4つの特徴
「tsuzumi」の開発以前から、NTT人間情報研究所では自然言語処理の研究が進められていたという。
「日本電信電話公社の時代から音の伝送や音声の符号化の研究とともに自然言語処理の研究を進めており、最初の文献は40年ほど前に発表されています。統計的なテキスト処理は1990年代から始まり、深層学習を導入することで精度を上げて大規模化してきた歴史があるので、LLMの開発も自然な流れだったといえます」（宮崎さん）
NTT人間情報研究所で本格的にLLMの開発が始まったのは、2022年11月に登場した「ChatGPT」の影響が大きかったそう。
「『ChatGPT』によって、自然言語処理にはいままで期待されていた以上の可能性があると改めて認識された感覚があります。我々としても、LLMはこれからのAI領域の研究、メディア処理の研究の基盤を成す重要な技術になるであろうと捉え、手の内に持っておかなくてはいけないと判断しました。また、既存のシステムを使わずにゼロから開発を行うことで、技術の詳細や限界、課題などの把握につながり、自分たちで拡張できる可能性も残せると考え、開発をスタートしました」（宮崎さん）
長い歴史のなかで蓄積された自然言語処理のためのデータや深層学習のノウハウを活用し、スピード感を持って開発された「tsuzumi」には、4つの特徴がある。
（1）小型軽量なLLM
「tsuzumi」のパラメタサイズ（※）は2024年3月時点で軽量版の70億（7B）と超軽量版の6億（0.6B）を揃えている。「ChatGPT（GPT-3）」の1750億（175B）に対しておよそ25分の1及び300分の1のサイズとなっている。
※LLMが内部に保持する数値の個数のこと
「サイズが大きくなるほど運用する際のランニングコストも大きくなるため、一定程度までサイズを下げつつ、基本性能を上げることを目指しました。70億の軽量版でも比較的安価なGPUで動作するので、ランニングコストを抑えられますし、オンプレミス（サーバーなどを自社で保有・運用する形態）での運用が可能です。LLMでは社外秘のデータや顧客とのやり取りを学習させることもあるので、オンプレミスで動作できる仕組みにすることで、セキュリティ面での安心感につながると考えています」（宮崎さん）
（2）日本語が得意なLLM
「tsuzumi」は日本語と英語に対応。特に日本語処理性能については、長年の言語処理研究の蓄積を活かすことで、小さなパラメタサイズであっても高い精度が確認できている。以下の画像は、「tsuzumi」と「ChatGPT」に日本の平成から令和にかけての変化を説明してもらった結果。「tsuzumi」の回答は日本語の表現が適切で、情報の有用性も高いと評価されている。
「かつてのメジャーなLLMは事前学習のデータの大半を英語が占め、英語以外の言語のデータが少ないという事実がありました。我々は日本語のデータを精力的に集め、日本語性能を上げることに注力しました。日本語のデータが多いと国内の情報も自然と蓄積されるため、日本に関する情報を生成しやすくなるところも利点といえます」（宮崎さん）
（3）柔軟なチューニング
「tsuzumi」は、効率的に知識を学習させることができるアダプタにより、業界特有の言語表現や知識に対応するようなチューニングを少ない追加学習量で実現。例えば、金融に関するデータを追加学習させることで、金融業界特有の言葉も正確に導き出せるようになる。
「業界や業種によって必要なデータは変わるので、どのような業務があり、どのような場面でLLMを使うとベストフィットするかという点からお客様と対話し、そのために必要なデータを『tsuzumi』に学習させ、挙動を確認していくというステップで進めています」（宮崎さん）
（4）言語＋視覚・聴覚・ユーザ状況理解
「tsuzumi」は、図表などの言語化されていないグラフィカルな表示の理解にも対応。今後は音声のニュアンス、顔の表情、ユーザの置かれている状況などを理解し、人との協調作業も可能になる予定だ。
「資料や文書の多くはテキストだけでなく図や表、グラフなども掲載されているため、そこから知識の抽出や情報の検索を行う必要があります。『tsuzumi』では、図表に含まれる情報を読み取る技術の搭載に努めてきました。今後は、音声に含まれる感情などの非言語的な情報を読み取る技術も組み合わせ、適用の幅を広げていきたいと考えています」（宮崎さん）
「tsuzumi」という名称は、日本の伝統的な楽器「鼓」が由来。「小型軽量」「日本的な色彩が強い」「調整して音色を変えられる（チューニングできる）」という特徴が似ているため、「tsuzumi」と名付けたそう。
「tsuzumi」が進める業務効率化の事例
既にサービス提供が始まっている「tsuzumi」だが、ビジネスの現場ではどのように活用されているのだろうか。
「一般的な活用法として挙げられるのが、社内文書の検索です。日本語を理解して生成するというLLMの特徴を活かして、さまざまなマニュアルから必要な情報を抜き出し、噛み砕いた要約を生成してもらうという使い方が想定されます。そのほかにも、カスタマーサポートに届く問い合わせのメールや電話の内容を『tsuzumi』で一元的に管理し、情報を抽出してまとめてもらうことで、社内の別の担当者が案件を引き継ぐ際にも円滑に業務が進むということも考えられます」（宮崎さん）
一般的に考えられる活用法以外に、いままさに研究を進めているユースケースがあるという。
「京都大学医学部と連携してトライしているのが、電子カルテの構造化です。カルテの電子化は多くの医療機関で進んでいますが、患者さんの容態を表現する言葉や改行の位置などは医療機関や個々の医師によって異なり、情報の粒度が揃っていないという課題があります。フリーテキストで入力された内容から要件に合わせて情報を抽出し、データベース上で使いやすい形にできれば、医師やスタッフ、医療機関の間で引き継ぐ際の効率化につながると考えています」（宮崎さん）
さまざまな活用法に共通するのは「業務効率化」。機械的な作業をAIに代替してもらうことで、別の業務に集中できるようになるだろう。
「いままで人間がやってきたことを機械に置き換えることで省力化が進むだけでなく、人間が行う業務のクオリティを高める支援にもつながる点がプラスの影響といえます。電子カルテの例でいうと、人間がシステムに合わせて構造化された記入欄を埋めていくよりも、自由に書いた情報を機械がインテリジェントに処理してくれるほうが、ストレスが少ないですよね」（宮崎さん）
「AIに業務の一部を代替してもらうことで、人間が人間らしい活動に集中できるようになるところが大きな利点です。医師であれば、カルテの書き方に注力する必要がなくなる分、治療に全力を注げるようになるでしょう。AIの活用によって、社会が加速度的に発展していくことを期待しています」（西田さん）
「カスタマイズ性」「倫理観」がLLMを展開するキーワード
2023年11月に「tsuzumi」を発表した時点で、多くの問い合わせが届いたそう。
「LLMの開発に取り組んでいるのはNTTだけではありません。昨年から今年にかけてさまざまな技術が出てきているので、各企業の皆様もそれぞれの技術を試したうえで『tsuzumiはどんなことができますか？』と連絡してくださるケースが増えてきています。我々としても地に足のついた議論ができるので、とてもいい流れだと感じています」（宮崎さん）
既に大きな反響を呼んでいる「tsuzumi」だが、今後はどのような展開を予定しているのだろうか。
「なぜLLMは流暢にテキストを生成できるのか、という原理は解明されていない部分も多いのです。その原理を解き明かすことで、LLMをカスタマイズしやすくなり、より多くの企業や団体で活用していただきやすくなると考えています。原理の解明とカスタマイズ性の向上、どちらも目指していきたいですね」（西田さん）
「短期的な目標は、『tsuzumi』がより多くのお客様にご納得いただけるビジネスとして成立するまでブラッシュアップさせていくことです。長期的には、本質的に人間ではないAIの倫理観をどのように担保するか、人間の感覚に合う応答をするためには何が必要かといった部分の検討が必要になると考えられます。目の前のLLMの性能を上げることだけに閉じず、より幅広く社会に貢献できる方法を追求していきたいと思っています」（宮崎さん）
日本の市場やビジネスにマッチしやすい形で開発された「tsuzumi」。既に問い合わせは殺到しているようだが、今後の日本社会において欠かせない技術となっていくことだろう。
（取材・文／有竹亮介（verb））
