「攻め」と「守り」で生成AIを推進。
イノベーション創出を担う「内製開発ラボ」とは。

齋藤：はじめに、〈みずほ〉が生成AIに対してどのような推進体制を敷いているか、簡単にご説明します。

〈みずほ〉では、「AI CoE（Center of Excellence：企業内で専門知識を持つ人材やノウハウを集約した組織や部門）」を設置し、「攻め」と「守り」の両面で生成AI活用を進めています。「攻め」の面では、既存の銀行業務へのAI適用やイノベーションの創出、経営層向けの啓発活動、そしてこれら全てを支える最新技術のR&D（Research and Development：研究開発）といった活動を行っています。「守り」の面は、「責任あるAI」の推進を行っています。関連する法令は順次変わっていくため、常に最新動向をウォッチし、適切に対応していく必要があります。それらの対応を責任あるAI推進チームが担っています。

本日は、このAI CoEで「攻め」の役割を担う「内製開発ラボ」について詳しくお話します。

業務への生成AI適用

〈みずほ〉では、生成AIの活用を大きく3つのフェーズに分けて進めています。導入期（2023年6月〜）は、社内向けChatGPT「Wiz Chat」を導入し、まずは広く早く使ってもらうことをめざしました。現在は、業務に特化したアプリケーションを自社で開発する段階に移行しています。この後、具体的な開発事例も紹介予定です。

また最終的にはお客さま向けのサービスにも生成AIを活用していきたいと考えています。その第1歩として、コールセンター業務におけるAI活用を一部開始しています。

内製開発ラボの概要と体制

「内製開発ラボ」は、約4万人の社員が在籍する、〈みずほ〉全体のDX（デジタルトランスフォーメーション）を推進する「デジタル企画部」の中で、生成AIを用いて社内DXを進める「AIX推進室」に設置された専門組織です。

「内製開発ラボ」にはテックリードやエンジニアが所属し、アジャイル組織としてプロダクトオーナーとスクラムマスターを持つ複数のスクラムチームで構成されています。外部ベンダーと〈みずほ〉の社員が柔軟に役割を分担し、「ワンチーム」として開発を進めることをめざしています。

これまでに20以上のアプリケーションを開発し、様々な開発手法を駆使して迅速にユーザーに価値を提供してきました。内製開発ラボは、今後も継続的にユーザーのニーズに応えるべく、革新的な技術を活用しながら開発を進めていく予定です。

「Wiz」シリーズのアプリケーションで業務の効率化と負担軽減に貢献。

齋藤：ここからは私たちが開発したアプリケーションの中から、代表的な事例を3つご紹介します。

〈みずほ〉では、AI関連のアプリケーション群には「Wiz」という冠称をつけており、「Wiz Chat」（チャットボット）、「Wiz Search」（検索系）、そして「Wiz Create」（個別特化型）といった名称で展開しています。

1. 照会系AI「Wiz Search」:

膨大な量の社内手続を効率的に検索するためのシステムで、RAG（Retrieval–Augmented Generation：検索拡張生成）の仕組みを活用しています。

※精度向上のための様々な工夫は後述

2. 個別特化AI「Wiz Create」面談記録生成AI：

営業担当者がお客さまを訪問した後の記録作成を支援するアプリケーションです。対面やオンラインでの面談中に、スマートフォンアプリのボタン1つで録音を開始でき、録音終了後、音声データがAWS（Amazon Web Services）に送られます。話者分離やテキスト変換が行われ、最終的に整形された面談記録が出力されます。

3. 個別特化AI「Wiz Create」想定QA生成AI：

こちらも営業担当者向けのツールです。お客さまへの提案資料をこのWEBアプリケーションにアップロードすると、AIが想定される質問や指摘事項をリストアップします。これにより、営業担当者は事前準備を十分に行うことができます。

以上のように、「Wiz」シリーズのアプリケーションは業務効率化と負担軽減に貢献し、ユーザーから高い評価を得ています。

生成AIならではの課題と対策

課題1：LLMのトークン制限による処理遅延とエラー

生成AIを活用したアプリケーション開発は順風満帆に進んだわけではありません。いくつかの課題に直面し、それを乗り越えてきました。ここでは代表的な課題とその対策を紹介します。

QA生成AIの開発では、PDFファイルのページごとに画像化し、LLM（Large Language Model：大規模言語モデル）に読み込ませる処理を行っていましたが、ページ数の多い資料の場合、処理に非常に時間がかかっていました。対策として、Pythonの並列処理を導入したところ、今度はトークン制限によりエラーが多発するという問題が発生しました。そこで、LLMを複数のリージョンに配置のうえ均等にリクエストを送信するという並列処理を実装することにより、各LLMへのリクエストを分散させ、処理速度を大幅に向上させることができました。

課題2：RAGにおける検索精度と解釈精度の問題

RAGは多くの企業で活用されていますが、依然として検索精度と解釈精度の課題は存在しており、我々も継続的に改善に取り組んでいます。これまで最も効果があった対策は、「LLMのトークン上限まで、関連性の高いテキスト情報を可能な限り多く取得し、それを全てLLMに入力して正しい回答を生成させる」という方法です。これにより、正答率が6〜7割程度だったものが、8〜9割まで向上する例も見られました。現在は他にも様々な技術が開発されているため、適宜検証を行いながら有用な技術を取り入れています。

課題3：非定型帳票のOCR精度とデータ入力

銀行では、お客さまから定期的に書面で受け取る非定型帳票の内容をシステムに転記する作業がありますが、従来のAI–OCR技術だけでは十分な精度を出すことが困難だったため、生成AIの活用に挑戦しました。当初、単体利用ではなかなか精度が上がらず苦労しましたが、複数のAIサービスを連携させるアプローチを取ることでこれを解決することができました。具体的には、「Azure Document Intelligence」を利用し、帳票からOCR（Optical Character Recognition：光学的文字認識）でテキスト情報を抽出します。次に抽出したテキストファイルと元帳票の画像ファイルの両方をLLMに入力し、正確なテキストと帳票の構造を同時にLLMに認識させます。これにより文字認識の精度が向上しました。最後にLLMで転記先のフォーマットに合わせてデータをマッピングすることで、実用的な精度を達成しました。

課題4：プロンプトエンジニアリングの試行錯誤

プロンプトエンジニアリングをご経験の方ならご理解いただけるかと思いますが、良いプロンプトを見つけるためのトライアンドエラーは、非常に時間と手間がかかります。

これに対する短期的な対策として、LLM自身にプロンプトを考えさせるアプローチを試しましたが、これが意外と有効でした。ユーザー入力例と期待する出力結果の例をLLMに提示し、「このような入出力が得られるような効果的なシステムプロンプトを作成してください」と指示すると良いプロンプトが生成されることがあります。これは日々の開発において役立っています。

課題を乗り越えて見えてきた、
開発を行ううえで重要となる「3つの考え方」。

齋藤：これらの課題と対策を通じて見えてきた、私たちが開発を進めるうえで重視している考え方を3つ共有します。1点目は「ビジネスと技術の両輪を重視すること」です。「技術先行・プロダクトアウトになってはならず、ビジネスに寄り添うべき」という考え方は重要ですが、一方で、新しい技術の登場によって、既存業務の改善策やアイデアが生まれることもあります。もちろん、最終的にはビジネスにフィットさせる必要がありますが、ビジネスニーズに応えるだけでなく、最新技術の動向を常にキャッチアップし、技術起点のイノベーションを追求する姿勢を持ち続けるという、ビジネスと技術の両面が重要だと考えています。

2点目は「LLMの特性を理解し、最大限に活用すること」です。例えば、Geminiの持つロングコンテキストや、ネイティブマルチモーダル（画像音声動画）をどう活かすか。また、最近注目されている推論モデルをどのような場面で活用するか等、LLMの特性を意識しながら開発を行っています。

3点目は「リリーススピードを最優先すること（UIよりもUX）」です。〈みずほ〉には多くの社員がおり、ITリテラシーや生成AIへの理解・関心度も様々です。新しい技術やツールに対して、社員に関心を持ってもらうためには、まずは早く触れてもらうことが重要だと考えています。多少のバグが含まれる可能性があったとしても、とにかく早く手元に届けてフィードバックを得ながら改善していくことを心掛けています。

開発力向上に向けた取り組み

現在、そしてこれからの開発力向上に向けて、私たちは様々な取り組みを進めています。まず、開発支援ツールとして、Roo Codeを全エンジニアに展開し、効率的に開発を行える環境を整備しています。また、クラウド事業者と連携して定期的に勉強会を実施し、最新技術の習得を促進しています。

さらに、自律的にタスクを実行できるAIエージェントの開発・活用に向けたプラットフォームや、LLMの開発・運用を効率化するLLM Opsの導入の検討も進めています。

独自のLLM開発にも挑戦。
〈みずほ〉が取り組む生成AIのこれから。

齋藤：最後に今後に向けた展望です。現在は個別に生成AIアプリケーションを開発していますが、2025年4月以降は、例えばAIエージェントの再利用やユースケースに応じた最適なモデルの選択、データの適切な管理・蓄積・活用を想定した共通的なアーキテクチャを作ろうとしています。

また、プレスリリースでも発信していますが、〈みずほ〉独自のLLM開発にも取り組んでいます。より質が高く、日本の商習慣や〈みずほ〉の業務に精通し、社員の感覚に近い回答を生成できるモデルの実現をめざしています。こちらに関しては、ありがたいことに記事にもしていただいています。今後も〈みずほ〉は生成AIの活用を通じて、業務効率化と新たな価値提供をめざし、未来に向けて着実に進化を続けています。

以上が齋藤によるライトニングトークの内容です。本イベントは、〈みずほ〉における生成AI活用の現状や今後の展望を、多くのエンジニアの方々にお伝えする機会となりました。

後編では、齋藤に加えて、KDDIおよびLIFULLのAI推進担当者を交えたパネルディスカッションの模様をご紹介します。大きな期待と同時に様々な課題も伴う生成AIについて、各社がどのように導入・活用しているのか。熱いディスカッションの様子を収めたレポート後編もぜひご覧ください。

PROFILE

みずほフィナンシャルグループ
デジタル企画部 AIX推進室 ヴァイスプレシデント

齋藤 悠士

2012年より、国内金融機関にて融資審査・途上管理、現金輸送ロジスティクス、ATM出店計画策定等に従事。2017年より、国内ネット系銀行にて預金プロダクト担当として事業計画策定、ターゲティング分析、販促キャンペーン企画・実行を遂行。事務企画担当として当局対応、次世代システム更改要件定義、銀行アプリUI/UX改善等を経て、内製アジャイル開発チームの開発リーダーとして法人口座開設オンライン化プロジェクトを完遂。2023年9月より現職。現在は生成AIを利用したアプリケーション開発のリードおよび内製アジャイル開発の運営管理に従事。国内金融機関へアジャイル内製開発を普及・浸透させ、機動性確保・開発費抑制・UI/UXの先鋭化を実現することが目標。

撮影/河嶌太郎

※所属、肩書きはイベント当時のものです。

文/長岡武司
編集/みずほDX編集部