ChatGPTやClaudeなどの生成AIを社内で使えるようにしたいものの、何から手を付ければよいのかが分からない。ツールを契約して配ってみたが、使っているのは一部の社員だけで、業務はほとんど変わっていない。情報漏洩が心配で、ルールを決めるまで止めている。生成AIの導入を任された担当者から、よく聞く悩みです。総務省の調査では、生成AIを活用する方針の企業は日本で68.9%に増えた一方で、中小企業の45.6%は「組織的な取組はない」と答えています(出典:総務省『令和8年版 情報通信白書』生成AIの活用方針等・組織的な取組状況)。

そこで本記事では、生成AI導入の進め方を7つのステップで整理し、目的と使う業務の決め方、利用ガイドラインと推進体制、ツールと環境の選び方、RAGとプロンプトの整え方、小さく試して全社に広げる手順、効果の測り方、会社の規模別の進め方、よくある失敗、生成AI導入支援を頼むときの費用と選び方までをまとめました。準備度のセルフチェック、最初の業務を決める質問、次のステップへ進む目安、相談の前に整理しておきたい項目など、そのまま社内で使える表も載せています。生成AIを「配って終わり」にせず、業務で使い続けられる形にしたい方は、ぜひ参考にしてください。

この記事でわかること

  • 社内導入の7ステップと期間の目安
  • ガイドラインと推進体制の作り方
  • 最初の業務とRAGの使いどころ
AIBUILDERZ

この記事の監修者

AIBUILDERZ編集部

for,Freelance株式会社

AI導入支援サービス「AIBUILDERZ」を運営するチームです。AI研修からシステムの導入・構築・定着まで、企業のAI導入を一気通貫で支援しています。

  • AI研修
  • システム構築
  • 運用・定着

生成AI導入とは|生成AIの種類と仕組み

生成AIの種類と仕組み

進め方の前に、生成AIとは何か、どのような種類があり、どう動くのかを整理しておきましょう。

生成AIとは

生成AIは、指示(プロンプト)に応じて文章・画像・プログラムなどを新しく作るAIです。業務でよく使われるのは、ChatGPT(OpenAI)、Claude(Anthropic)、Gemini(Google)、Microsoft 365 Copilot(Microsoft)などの文章を扱う生成AIで、メールや議事録の下書き、資料の要約、社内の問い合わせへの回答、企画の壁打ちなどに使われています。

これまでのAIは、決まった判断を学習させて使うものが中心でした。生成AIは、学習させなくても日本語で指示するだけで幅広い仕事を手伝えるため、全社員が使う道具として広がっています。

生成AIの主な種類

種類 作れるもの 業務での主な使い道
文章を作る生成AI 文章・要約・翻訳・表 メールや議事録の下書き、資料の要約、社内の問い合わせへの回答
画像を作る生成AI 画像・イラスト・デザイン案 広告や資料の素材づくり、デザインの案出し
音声を扱う生成AI 文字起こし・読み上げの音声 会議の文字起こし、問い合わせ対応の音声
プログラムを作る生成AI プログラム・計算式 業務の自動化の仕組みづくり、表計算の関数の作成

企業の導入で最初に対象になるのは、ほとんどの社員が毎日使う文章の生成AIです。本記事も、文章を扱う生成AIの導入を中心に説明します。

生成AIの仕組み

文章の生成AIは、大量の文章から言葉のつながり方を学んだ「大規模言語モデル(LLM)」が、指示に続く言葉を予測しながら文章を作ります。そのため、学んでいない社内の情報や最新の情報はそのままでは答えられず、もっともらしい誤りを出すこともあります。社内の文書をもとに答えさせるRAGや、人による確認の手順が必要になるのはこのためです。

生成AIの導入で決めること

生成AIの導入は、ツールを契約することだけではありません。何のために使うのか、どの業務に使うのか、どこまでの情報を入力してよいのか、だれが推進するのか、効果をどう測るのかを決め、社員が業務で使い続けられる状態をつくるまでが導入です。ツール選びは導入の一部にすぎず、目的・業務・ルール・体制を先に決めることが、配って終わりにしないための出発点です。

生成AI導入の現状|公的データでみる企業の動き

公的データでみる現状

生成AIの導入がどこまで進んでいるのかを、総務省と中小機構の調査で確かめておきましょう。

生成AIを活用する方針の企業は約7割

総務省『令和8年版 情報通信白書』によると、生成AIを「積極的に活用する方針」「活用する領域を限定して利用する方針」と答えた企業の合計は、日本で68.9%でした。企業の規模別では、大企業が74.0%、中小企業が58.1%で、以前の調査と比べてどちらも上がり、とくに中小企業で大きく伸びています(出典:総務省『令和8年版 情報通信白書』生成AIの活用方針等)。

同じ調査では、生成AIを何らかの形で使っている企業は日本で86.4%に上り、使われている業務では議事録・メールの作成補助が7割を超えて最も多くなっています(出典:同白書 生成AIの活用状況)。

中小企業は組織としての取組が遅れている

一方で、生成AIの活用に組織として取り組んでいるかを尋ねた設問では、「組織的な取組はない」と答えた企業が中小企業で45.6%、大企業で18.1%でした。中小企業では、全社横断で業務の変革に取り組んでいる企業は11.9%にとどまります。

生成AIの組織的な取組 大企業 中小企業
全社横断で事業変革に取り組んでいる 26.1% 11.9%
各部署で業務の最適化に取り組んでいる 35.0% 26.9%
個人の生産性向上に組織として取り組んでいる 12.2% 10.6%
組織的な取組はない 18.1% 45.6%

出典:総務省『令和8年版 情報通信白書』生成AI活用による業務変革等(図表Ⅰ-2-1-3)。「わからない」を除いて掲載しています。

使う方針は決めても、社員それぞれの使い方に任せたままになっている企業が多いことが分かります。ツールを入れることより、組織として使う業務と使い方を決めることが、いまの生成AI導入の課題です。

ガイドラインを整えている企業は4割

リスク対策の取組では、「全社的な指針やガイドラインを整備している」が日本で41.1%と最も多い一方、中小企業では29.1%でした。中小企業の24.1%は「特に実施している施策はない・把握していない」と答えています(出典:総務省『令和8年版 情報通信白書』)。

また、中小機構の調査では、AIを導入している中小企業は20.4%で、導入済みの企業の82.6%が生成AIを使っています。一方で、「成功事例や活用事例などの情報が十分に入手できている」に当てはまらないと答えた企業は83.3%、「適切なベンダーや製品を選定する情報が十分にある」に当てはまらない企業は79.8%でした(出典:中小機構『中小企業のAI等の利活用に係る実態調査』2026年3月)。何から始め、どこに相談すればよいかを判断する材料が足りていないことが、導入が広がりにくい理由の1つといえます。

生成AIを社内導入するメリットとデメリット

メリットとデメリット

進め方の前に、生成AIを導入して得られるものと、気を付けるべき点を押さえておきましょう。

メリット1:文書の作成と要約の時間が減る

メールや議事録、報告書の下書き、長い資料の要約など、文章を扱う仕事の時間を短くできます。全社員が毎日行う仕事が対象のため、1人あたりの短縮は小さくても、会社全体では大きな時間になります。

メリット2:社内の知識を引き出しやすくなる

社内規程やマニュアル、過去の提案書をもとに答える仕組みを作れば、ベテラン社員に聞かないと分からなかったことを、だれでも調べられるようになります。問い合わせ対応や新人の立ち上がりの負担を軽くできます。

メリット3:小さな業務から始められる

法人向けのツールであれば、大きなシステム開発をしなくても、契約してその日から使い始められます。1つの部署・1つの業務で試してから広げられるため、投資の判断をしやすいのも特長です。

メリット4:顧客対応や新しいサービスの質を高められる

問い合わせへの回答の下書きや、商品説明・提案の案出しに使えば、顧客への対応を早く、そろった質で行えます。生成AIを組み込んだ新しいサービスを考えるきっかけにもなります。

メリット5:人手の足りない業務を補える

採用が難しく、1人で何役もこなしている会社ほど、下書きや下調べを生成AIに任せる効果は大きくなります。担当者は確認と判断に時間を使えるようになり、急ぎの仕事が重なったときも回しやすくなります。人を減らすためではなく、今いる人が本来の仕事に集中するための道具として位置づけると、社内の理解も得やすくなります。

デメリットと注意点

一方で、生成AIには次の4つの注意点があります。総務省の同じ調査でも、日本企業が懸念するリスクは「社内情報の漏洩などのセキュリティリスク」46.4%、「出力結果の精度に問題がある」35.3%、「著作権等の権利を侵害する可能性がある」31.3%の順でした(出典:総務省『令和8年版 情報通信白書』)。

注意点 起こりうること 主な対策
情報漏洩 入力した社内情報や個人情報が、意図しない形で外部に渡る 法人向けプランを使う、入力してよい情報を決める
誤った回答 もっともらしい誤り(ハルシネーション)をそのまま使ってしまう 出典を確かめる、重要な文書は人が確認する
権利の侵害 生成物が他人の著作物に似てしまう 社外に出す前に確認する、用途ごとのルールを決める
費用と運用の手間 利用料・研修・ルールの管理が続き、使われないと費用だけが残る 小さく試して効果を測り、推進の担当を決める

情報漏洩の原因と、主な生成AIで学習に使わせない設定の手順は 生成AIの情報漏洩対策|原因・社内ルールのひな形・学習させない設定 で詳しく解説しています。

生成AIの社内導入の進め方7ステップ

社内導入の進め方7ステップ

生成AIの社内導入は、次の7つのステップで進めます。ツールを選ぶのは4番目で、その前に目的・対象業務・ルールを決めておくのが、配って終わりにしないための順番です。

01

目的と効果を測る指標を決める

何のために生成AIを入れるのかを決め、減らしたい時間や件数など、効果を測る指標をそろえます。

02

使う業務を洗い出し、最初の業務を選ぶ

部署ごとに文章を扱う業務を書き出し、件数が多く、効果を測りやすい業務から始めます。

03

利用ガイドラインと推進体制を決める

入力してよい情報、確認の手順、相談先を決め、推進担当と部署ごとの旗振り役を置きます。

04

ツールと環境を選ぶ

法人向けプランを使うのか、社内データとつなぐ仕組みを作るのかを、対象業務とセキュリティの条件から決めます。

05

1つの部署で小さく試す

期間と合否の基準を決めて試し、プロンプトの型や使い方のコツをまとめます。

06

研修とあわせて全社に広げる

試した部署の使い方を見本にして、研修とプロンプト集を添えて隣の部署へ広げます。

07

効果を測り、ルールと使い方を見直す

利用状況と削減時間を毎月確かめ、使われていない部署への支援やルールの見直しを続けます。

期間の目安

法人向けツールを使う形なら、ステップ1〜3に1〜2か月、ステップ5の試行に1〜3か月、全社への展開に3〜6か月程度を見ておくとよいでしょう。社内データとつなぐRAGを作る場合は、文書の整理と構築に2〜4か月程度が加わります。会社の規模や、対象の業務の数によって前後します。

始める前の準備度セルフチェック

次の6つのうち、当てはまらないものが多いほど、ツールより先に社内の準備から始める必要があります。

確かめること 当てはまらないときに先にやること
経営層が導入の目的を社内に伝えている 目的と期待する効果を、経営層の言葉で示してもらう
推進する担当者と、使える時間が決まっている 担当者を決め、業務時間の一部を推進に充てる
最初に試す業務の候補が3つ以上ある 部署ごとに、時間のかかっている文章の仕事を書き出す
入力してよい情報と、いけない情報の線引きがある ガイドラインの最低限(入力禁止の情報)を先に決める
対象業務の今の件数と時間を把握している 1か月分の件数と1件あたりの時間を測る
社員が個人のアカウントで生成AIを使っていないか把握している 利用状況を聞き取り、法人向けの環境へ移す方針を決める

次のステップへ進む目安

7つのステップは、区切りごとに「次へ進んでよいか」を確かめながら進めます。目安に届かないまま先へ進むと、あとで戻る手間がかえって大きくなります。

区切り 次へ進む目安 届かないときに見直すこと
ステップ1・2のあと 最初の業務と、導入前の時間・件数が数字でそろっている 業務の候補を広げる、測る期間を延ばす
ステップ3・4のあと 入力してよい情報と確認の手順が文書になり、法人向けの環境が使える 関係する部署との合意、契約の条件
ステップ5のあと 試行の前に決めた合否の基準に届いている 業務の選び方・ツール・使い方のどこに原因があるか
ステップ6のあと 広げた部署でも、使っている社員の割合が試行の部署に近づいている 研修の中身、旗振り役の有無、プロンプト集の使いやすさ

区切りごとに目安を決めておくと、うまくいかないときも、どこで止まっているかを社内で同じ言葉で話せます。

目的の決め方と、生成AIを使う業務の選び方

目的と業務の選び方

ステップ1と2の、目的の決め方と、最初に生成AIを使う業務の選び方を詳しく見ていきます。

目的と指標の決め方

「生成AIを活用する」は目的になりません。「問い合わせへの回答の時間を減らす」「議事録の作成にかかる時間を減らす」のように、どの業務の何を減らすのかまで決めます。指標は、1件あたりの作業時間、月の処理件数、使っている社員の割合など、導入の前と後で比べられるものを選びます。

中小機構の調査でも、AIの導入目的は「業務効率化/作業時間の短縮」が87.0%で最も多くなっています(出典:中小機構『中小企業のAI等の利活用に係る実態調査』)。時間を減らすことが目的なら、導入の前に今の時間を測っておかないと、効果を説明できません。

業務の洗い出し方

部署ごとに、文章を読む・書く・まとめる・調べる仕事を書き出します。そのうえで、月の件数、1件あたりの時間、手順がどれだけ決まっているか、間違えたときの影響の大きさを並べると、どこから始めるべきかが見えてきます。担当者が1人で考えるより、各部署の社員に「毎週くり返している文章の仕事」を挙げてもらうほうが、現場で使われる業務を見つけやすくなります。

最初の業務を決める7つの質問

洗い出した業務の候補を、次の7つの質問に当てはめてみましょう。「はい」が多い業務ほど、最初に試す業務に向いています。部署の責任者と一緒に答えると、試行を始めたあとの協力も得やすくなります。

質問 「はい」なら向いている理由
その業務は、毎週くり返し発生していますか 件数が多いほど、短縮した時間が積み上がる
1件あたりの時間と月の件数を、今すぐ測れますか 導入の前後を比べて効果を説明できる
AIの下書きを、人が確認してから使えますか 誤りがあっても外に出る前に止められる
入力する情報に、個人情報や取引先の機密が含まれませんか ガイドラインが固まる前でも安全に試せる
もとになる文書や見本が社内にそろっていますか 指示に添える材料があり、回答の質が安定する
担当の社員が「楽になるなら使いたい」と言っていますか 現場の意欲があると、使い方の工夫が早く集まる
うまくいけば、ほかの部署にも同じ業務がありますか 試行の結果を、そのまま全社への展開に使える

向いている業務・向いていない業務

向いている業務 向いていない業務
下書きを人が直せる文章(メール、議事録、報告書) 1文字の誤りも許されない文書を、確認せずに出す業務
長い資料の要約や、論点の整理 最新の数字や事実を、出典なしで答える業務
社内規程やマニュアルをもとにした回答 元の文書が古い・ばらばらで、正解が決まっていない業務
件数が多く、手順がある程度決まっている業務 月に数回しか発生しない、例外ばかりの業務

部署ごとの主な使い道

部署 主な使い道
総務・人事・経理 社内規程の問い合わせ対応、求人票や社内通知の下書き、請求や経費の確認の補助
営業・マーケティング 提案書やメールの下書き、商談記録の要約、記事や広告の案出し
カスタマーサポート 回答文の下書き、問い合わせの分類、よくある質問の更新
企画・経営 市場や競合の情報の整理、会議資料の要約、計画の論点出し
開発・情報システム プログラムの作成と見直し、手順書の作成、社内ヘルプデスク

業種ごとの具体的な事例は 中小企業のAI導入事例 でまとめています。

生成AIの利用ガイドラインと推進体制の作り方

ガイドラインと推進体制

ステップ3では、社員が迷わず使えるルールと、導入を進める体制を決めます。

ガイドラインに入れる12項目

生成AIの利用ガイドラインには、次の12項目を入れておくと、現場からの質問の多くに答えられます。最初から完璧を目指さず、入力してはいけない情報と、社外に出す前の確認の2つだけでも先に決めて配りましょう。

No. 項目 決めること
1 目的 何のために使うのか、会社としての方針
2 対象者 正社員・契約社員・委託先など、だれに適用するか
3 使ってよいツール 会社が契約したツールの一覧と、個人アカウントの扱い
4 入力してはいけない情報 個人情報、取引先の機密、未公表の数字など
5 入力してよい情報 公開済みの情報、社内向けの一般的な資料など
6 使ってよい業務の例 下書き、要約、調べものの出発点など
7 使ってはいけない業務 最終判断をAIに任せる業務、人事評価など
8 生成物の確認 事実・数字の確認、社外に出す前のだれの確認が要るか
9 権利の扱い 他人の著作物の入力、生成物を社外で使うときの注意
10 アカウントと権限 発行・削除の手順、退職者の扱い
11 困ったときの相談先 質問の窓口、事故が疑われるときの連絡先
12 見直しの時期 ツールの変更や法令の変化に合わせて、いつ見直すか

個人情報・取引先の情報・著作物の扱い

現場から最も多く寄せられるのは、「この情報は入れてよいのか」という質問です。情報の種類ごとに扱いを決めておくと、社員が1件ずつ迷わずに済みます。

情報の種類 扱いの例 決めておきたいこと
顧客や社員の個人情報 原則として入力しない。必要な業務は、会社が認めた環境と手順に限る 氏名などを伏せて使ってよい場面、例外を認める人
取引先から預かった情報 契約で外部への提供が制限されていないかを先に確かめる 秘密保持契約の確認を担う部署
未公表の社内情報 決算前の数字や人事の情報は入力しない どの情報を「未公表」とみなすか
他人の文章・画像 要約や翻訳に使う場合も、社外に出す前に元の権利を確かめる 社外に出す生成物の確認者
生成AIが作った文章・画像 既存の作品に似ていないかを確かめてから、広告や資料に使う 社外向けの用途ごとの確認の手順

法律の判断が必要な場面は、社内の法務担当や顧問の専門家に確認する流れを、ガイドラインの相談先に書いておきましょう。

新しい使い方の申請と承認の流れ

ガイドラインに載っていない使い方を、社員が勝手に始めることも、すべてを止めることも避けたいところです。新しいツールや使い方を試したいときの申請の流れを、短く決めておきましょう。

順番 だれが 何をするか
1 使いたい社員 使いたい業務、使うツール、入力する情報の種類を申請する
2 部署の責任者 業務上の必要があるかを確かめる
3 推進担当・情報システム データの扱いと契約の条件を確かめ、使ってよい範囲を決める
4 推進担当 認めた使い方をガイドラインの「使ってよい例」に加え、社内に知らせる

申請から返事までの日数の目安も決めておくと、待たされた社員が個人のアカウントで使い始めることを防げます。

禁止の一覧より「使ってよい例」を示す

禁止事項ばかりのガイドラインは、社員を「使わないほうが安全」という気持ちにさせてしまいます。入力してはいけない情報をはっきり決めたうえで、「この業務なら、このツールで、ここまで使ってよい」という例を多く載せましょう。ガイドラインの役割は止めることではなく、安心して使える範囲を示すことです。

公的なガイドラインとの関係

社内のルールを作るときは、総務省・経済産業省の「AI事業者ガイドライン」を参考にできます。2026年3月31日に第1.2版が公表され、自社の取組を確かめるためのチェックリストとワークシートも用意されています(出典:総務省「AI事業者ガイドライン」)。東京都デジタルサービス局も「AI導入・活用ガイドライン、生成AI利用の手引き」を公開しています。社内ルールのひな形は 生成AIの情報漏洩対策 にも載せています。

推進体制の3つの役割

生成AIの導入は、情報システム部門だけに任せると、ツールの管理で手いっぱいになりがちです。次の3つの役割を分けて決めておきましょう。

役割 担う人 主な仕事
責任者 経営層・役員 目的と予算を決め、社内に方針を伝える
推進担当 DX推進・情報システム・総務など ガイドラインの管理、ツールの設定、効果の集計
部署の旗振り役 各部署で使いこなしている社員 部署の業務での使い方を広め、困りごとを集める

総務省の白書でも、中小企業では「経営幹部から各部署に対して実施事項や達成目標が提示されている」が、組織的に取り組む企業の施策として最も多く挙げられ、トップダウンの関与がカギになっていると分析されています(出典:総務省『令和8年版 情報通信白書』)。

早めに巻き込みたい部署

推進担当だけで進めると、あとから止められることがあります。情報システム部門(アカウントと権限、社内システムとの接続)、法務・総務(契約、個人情報、権利の扱い)、人事(研修と評価)、そして最初に試す部署の責任者には、ステップ1の段階から目的と予定を共有しておきましょう。

生成AIツールと環境の選び方

ツールと環境の選び方

ステップ4では、どのツールを、どのような形で社内に入れるかを決めます。

生成AIを社内に入れる3つの形

形 中身 向いている場合 注意点
法人向けプランを契約する ChatGPT・Claude・Gemini・Copilotなどの法人向けプランを社員に配る まず全社員が安全に使える環境を用意したい 社内データとつなぐ使い方は、プランの機能の範囲に限られる
ノーコードの道具で作る ノーコードの開発ツールで、社内向けのチャットや業務の流れを作る 決まった業務に合わせた画面や手順を、早く作りたい 作った人しか直せない状態になりやすい
個別に構築する クラウドのAIサービスやAPIを使い、社内システムとつないで作る 社内データとの連携や、細かな権限管理が必要 費用と期間がかかり、運用の担い手が要る

多くの企業では、まず法人向けプランで全社員が使える環境を用意し、効果の大きい業務だけを個別の仕組みにしていく順番が進めやすいでしょう。

汎用のツールと業務に特化したツールの違い

生成AIのツールには、何にでも使える汎用のものと、議事録の作成や問い合わせ対応など特定の業務に絞ったものがあります。どちらが良いかではなく、最初の業務に合うほうを選びます。

種類 向いている場面 気を付けたい点
汎用のツール 部署を問わず、文章の下書きや要約に広く使いたい 使い方が社員任せになりやすく、プロンプト集や研修が欠かせない
業務に特化したツール 議事録・問い合わせ対応など、1つの業務の時間を確実に減らしたい ほかの業務には広げにくく、ツールの数が増えると管理の手間も増える

全社員の土台として汎用のツールを1つ決め、件数の多い業務に限って特化したツールを足していくと、ツールが乱立せずに済みます。

法人向けプランで確かめるデータの扱い

個人向けのプランと法人向けのプランでは、入力したデータの扱いが違います。たとえば、Anthropicは法人向けの製品(Claude for WorkやAPIなど)の入力と出力を、既定ではモデルの学習に使わないとしています(出典:Anthropic Privacy Center)。Microsoft 365 Copilotは、プロンプトや応答を基礎となるLLMの学習に使わないと説明しています(出典:Microsoft Learn)。Google WorkspaceのGeminiも、許可なくドメインの外で生成AIモデルの学習に使わないとしています(出典:Google Workspace 管理者ヘルプ)。

条件は改定されることがあるため、契約の前に各社の公式ページで最新の内容を確かめましょう。社員が個人のアカウントで業務に使っている状態を放っておかず、会社が管理できる法人向けの環境へ移すことが、導入の最初の守りになります。

今使っているシステムとのつなぎ方

生成AIを社内のシステムとつなぐかどうかは、試行で効果が見えてから決めても遅くありません。最初は、社員が資料を貼り付けて使う形で十分な業務も多くあります。つなぐ段階に進むときは、次の順番で考えると無理がありません。

まず、Microsoft 365やGoogle Workspaceなど、すでに使っている業務の道具に組み込まれた生成AIの機能で足りるかを確かめます。足りない場合は、チャットツールや社内ポータルから呼び出せる形を考え、それでも足りないときに、顧客管理や基幹のシステムとつなぐ個別の構築を検討します。つなぐ範囲が広がるほど、権限の設計と、障害が起きたときの対応の取り決めが重くなる点も見ておきましょう。

対話で使う形から、仕事を任せる形へ

生成AIの使い方は、人が質問して答えを受け取る対話の形から、複数の手順をAIがつないで進める「AIエージェント」の形へと広がっています。たとえば、問い合わせを読んで分類し、社内の文書を調べて回答の下書きを作り、担当者に回すところまでを1つの流れにできます。ただし、任せる範囲が広がるほど、誤りが起きたときの影響も大きくなります。まずは対話の形で効果を確かめ、人が確認する場所を決めたうえで、手順の決まった業務から任せていきましょう。

ツールを選ぶときに確かめる5つの点

確かめる点 見るところ
データの扱い 学習に使われないか、保存期間、保存場所
管理の機能 アカウントの一括管理、利用状況の確認、ログの保存
今使っている道具との相性 Microsoft 365・Google Workspaceなど、社内の業務の道具とつながるか
費用 1人あたりの月額、最低の契約人数、APIの従量の料金
使いやすさ 日本語の精度、画面の分かりやすさ、社員が試した感想

1つのツールに決めきれないときは、2つほどを候補にし、ステップ5の試行で社員に使い比べてもらって決める方法もあります。主な生成AIの違いは ChatGPT・Claude・Geminiの比較 で解説しています。

RAGとプロンプトの整備で「使える生成AI」にする

RAGとプロンプトの整備

生成AIのツールを配っただけでは、社内の規程や商品のことを聞いても答えられず、社員によって使い方の上手下手も大きく分かれます。この差を埋めるのが、RAGとプロンプトの整備です。

RAGとは

RAG(検索拡張生成)は、質問に関係する社内文書を先に検索し、その内容をもとに生成AIに答えさせる仕組みです。生成AIそのものに社内の情報を学習させるのではなく、答えるたびに必要な文書を読ませるため、文書を差し替えればすぐに新しい内容で答えられます。回答と一緒に、根拠にした文書を示せるのも特長です。

仕組みは、①社内文書を検索しやすい形に分けて登録する、②質問に近い文書を探す、③見つけた文書と質問を生成AIに渡して答えさせる、の3段階です。

RAGが向いている業務

社内規程や就業ルールの問い合わせ、製品マニュアルをもとにしたサポート、過去の提案書や議事録の検索、技術文書の調べものなど、答えのもとになる文書がそろっている業務に向いています。反対に、元の文書が古い、版がばらばら、そもそも文書が無いといった業務では、RAGを作っても正しく答えられません。

RAGを作る5つの手順

01

対象の質問を決める

だれが、どんな質問をするのかを、実際の問い合わせの記録から集めます。

02

答えのもとになる文書を選ぶ

最新の版だけを残し、古い版や下書きを外します。文書の持ち主も決めておきます。

03

閲覧の権限を決める

部署や役職によって見てよい文書が違う場合は、検索の段階で分けられるようにします。

04

正しい答えの見本で精度を測る

よくある質問と正しい答えを用意し、回答が合っている割合を確かめてから社内に出します。

05

文書の更新の流れを決める

規程やマニュアルが変わったときに、だれがいつ差し替えるのかを運用のルールにします。

見落とされやすいのが5番目です。作った直後は正しく答えても、文書の差し替えが止まると、古い規程のまま答え続けることになります。

RAGの構築でつまずきやすい3つの点

つまずく点 起こること 対策
文書の質 古い版と新しい版が混ざり、違う答えが返る 登録する前に、使う文書を選び、古い版を外す
閲覧の権限 見てはいけない部署の文書まで答えに出てくる 文書ごとの閲覧権限を、検索の段階で反映する
精度の確かめ方 「なんとなく使える」で止まり、改善できない よくある質問と正しい答えを数十件用意し、正答の割合を測る

RAGの精度は、使う生成AIの性能より、元の文書の整い方で決まります。構築を頼む場合も、文書の整理は社内の作業として時間を見ておきましょう。

成果が出るプロンプトの基本の型

プロンプトは、①役割(あなたは〜の担当者です)、②目的(何のための文章か)、③材料(もとにする情報)、④条件(文字数・口調・してはいけないこと)、⑤出力の形(箇条書き・表など)の5つを書くと、だれが使っても結果がそろいやすくなります。うまくいった指示は、その場で終わらせず、社内で共有できる形に残しましょう。

社内のプロンプト集の作り方

プロンプト集は、業務の名前ごとに「使う場面」「プロンプトの本文」「入れ替える部分」「出力の例」「注意点」をそろえて載せます。試行の部署で使われたものから集め、使った社員の感想をもとに直していくと、現場で使われるプロンプト集になります。置き場所は、社員が毎日開く社内ポータルやチャットツールの中にするのがおすすめです。

RAG・プロンプト・ファインチューニングの使い分け

方法 向いていること 費用と手間 情報の新しさ
プロンプトの整備 文章の書き方や手順をそろえる 小さい 指示に含めた情報だけ
RAG 社内文書をもとに答える 中くらい(文書の整理と構築) 文書を差し替えればすぐ新しくなる
ファインチューニング 特定の書き方や判断の癖を覚えさせる 大きい(学習用データの用意と学習) 学習し直すまで変わらない

まずはプロンプトの整備から始め、社内文書をもとに答える必要がある業務だけをRAGにするのが、費用を抑えやすい順番です。ファインチューニングが必要になる業務は、多くの企業では限られます。

小さく試して全社に広げる手順

小さく試して全社に広げる

ステップ5と6では、生成AIを1つの部署で試した結果をもとに、全社へ広げていきます。

試行の進め方

試行は、1つの部署・2〜3の業務・1〜3か月程度に絞ります。始める前に、対象業務の今の時間と件数を測り、試行の終わりに同じ方法で測り直します。期間中は週に1度、使い方の困りごとと、うまくいったプロンプトを集める場を持ちましょう。試行の設計は AI PoCの設計と進め方 で解説しています。

続けるかどうかの決め方

試行の前に、「1件あたりの時間が何割減れば広げる」「使っている社員の割合が何割を超えれば広げる」といった基準を決めておきます。基準に届かなかった場合も、原因が業務の選び方なのか、ツールなのか、使い方なのかを分けて振り返ると、次の試行に生かせます。基準を決めずに始めた試行は、良かったのか悪かったのかを判断できず、試行のまま終わりやすくなります。

全社への広げ方

全社に一斉に配るより、試行で効果の出た部署の使い方を見本にして、業務の似た部署から順に広げるほうが定着しやすくなります。広げるときは、ガイドライン・プロンプト集・研修・相談窓口の4つを一緒に渡しましょう。部署ごとの旗振り役が、自分の部署の業務での使い方を紹介すると、ほかの社員も自分ごととして受け止めやすくなります。

社員教育の組み立て方

研修は、全社員向けの基礎(仕組み・ルール・基本のプロンプト)と、部署ごとの実践(自分の業務で実際に使う演習)に分けて組み立てます。1回の研修で終わらせず、1〜2か月後に使い方の共有会を開くと、使う社員が増えやすくなります。中小機構の調査でも、AIの導入を進めるために必要な公的支援として「従業員向けの教育・研修」を挙げた企業が67.7%ありました(出典:中小機構『中小企業のAI等の利活用に係る実態調査』)。対象者別のカリキュラムは 生成AIの社員教育プログラム で紹介しています。

生成AI導入の効果の測り方と定着のさせ方

効果の測り方と定着

ステップ7では、効果を数字で確かめ、使われ続ける状態をつくります。

測っておきたい指標

指標 測り方 見る頻度
使っている社員の割合 ツールの管理画面の利用者数を、対象の社員数で割る 毎月
対象業務の1件あたりの時間 導入の前と後で、同じ業務の時間を測る 試行の前後・四半期ごと
削減できた時間 1件あたりの短縮時間×月の件数 毎月
生成物の品質 手直しの量、誤りの件数、RAGの正答の割合 毎月
社員の声 使いにくい点、使いたい業務のアンケート 四半期ごと

削減時間を金額に直す計算

削減時間は「1件あたりの短縮時間×月の件数」で求め、1時間あたりの人件費をかけると金額に直せます。たとえば、1件あたり15分短くなる業務が月に400件あれば、月100時間の削減です。1時間あたり3,000円で計算すると、月30万円分の時間に当たります(説明のための仮の数字です)。ツールの利用料や支援の費用と並べて、投資に見合っているかを判断しましょう。費用の全体像は AI導入の費用相場 で解説しています。

使われ続けるための仕組み

導入して数か月たつと、使う社員と使わない社員の差が広がります。部署ごとの利用状況を毎月共有する、うまくいった使い方を社内で紹介する、使われていない部署には旗振り役と一緒に業務を見直すといった仕組みを、最初から予定に入れておきましょう。総務省の白書では、導入後に定期的な評価・検証を行っている企業は日本で29.1%にとどまっています(出典:総務省『令和8年版 情報通信白書』)。定着のさせ方は AI導入後の運用定着ガイド で詳しく解説しています。

会社の規模でここが変わる、生成AI導入の進め方

会社の規模別の進め方

7つのステップの順番はどの会社でも同じですが、どこに時間をかけるかは会社の規模で変わります。自社に近いものを参考にしてください。

社員が数十人までの会社

推進担当を専任で置くのは難しく、経営者自身が旗振り役を兼ねることが多い規模です。そのぶん、決めてから動くまでが早いのが強みです。ガイドラインは入力してはいけない情報と確認の手順に絞った1枚から始め、経営者が自分の業務で使って見せると、社員も使い始めやすくなります。最初の業務は、見積書や提案書の下書き、問い合わせへの返信など、売上に近い文章の仕事が選ばれやすい傾向があります。

部署が分かれた100〜300人ほどの会社

部署ごとに業務も考え方も違うため、全社一律のやり方では広がりにくい規模です。推進担当を決め、部署ごとに旗振り役を置く体制づくりに時間をかけましょう。試行の部署は、件数の多い業務があり、責任者が前向きな部署を選ぶと、ほかの部署への見本になります。部署の数が増えるほど、ツールの話より先に、だれが部署の中で使い方を広めるかを決めることが大切です。

拠点やグループ会社が複数ある会社

拠点やグループ会社ごとに、契約しているツールやルールがばらばらになりやすい規模です。ガイドラインと契約するツールは本社でそろえ、どの業務から使うかは各拠点に任せる、という分け方にすると進めやすくなります。アカウントの発行と削除、利用状況の集計を一か所で見られるようにしておくと、使われていない拠点を早く見つけられます。

生成AI導入でよくある失敗と対策

よくある失敗と対策

生成AIの導入でつまずきやすいパターンと、その対策を6つ紹介します。

失敗1:ツールを配っただけで、使う業務を決めていない

生成AIを何に使えばよいかが分からないまま配ると、一部の社員しか使いません。部署ごとに最初の業務を決め、その業務のプロンプトの見本を一緒に渡しましょう。

失敗2:ルールが決まるまで、すべて止めてしまう

完璧なガイドラインを待つ間に、社員が個人のアカウントで使い始めることがあります。入力してはいけない情報と確認の手順だけを先に決めて、会社が管理できる環境で使い始めるほうが安全です。

失敗3:推進担当が1人で抱え込む

ツールの管理、問い合わせ、研修、効果の集計を1人で担うと、どれも中途半端になります。経営層が責任者として方針を示し、部署ごとの旗振り役に現場の広め役を任せましょう。

失敗4:いきなり大きな仕組みを作る

最初から全社のRAGや独自のシステムを作ると、費用と時間がかかるうえ、使われなかったときの損失も大きくなります。法人向けプランとプロンプトの整備で効果を確かめ、必要な業務だけを仕組みにしましょう。

失敗5:導入して終わりで、効果を測っていない

効果を測っていないと、次の予算を説明できず、利用も少しずつ減っていきます。導入の前に今の時間を測り、毎月の利用状況と削減時間を経営層に報告する流れを作っておきましょう。

失敗6:うまくいった使い方が個人の中に閉じている

一部の社員だけが上手に使いこなし、そのやり方が周りに伝わらないまま、その社員が異動すると元に戻ってしまう例があります。うまくいったプロンプトは社内のプロンプト集に載せ、月に1度は部署の中で使い方を紹介する時間を設けましょう。上手に使っている社員を旗振り役に任命するのも有効です。

生成AI導入支援を頼むときの費用と選び方

導入支援の費用と選び方

社内だけで進めるのが難しい部分は、生成AI導入支援を頼むと早く進められます。頼めることと、支援の種類・費用の目安・選ぶときの観点を整理します。

PR|AIBUILDERZ AI導入支援サービス

PR

AIBUILDERZ|AI導入支援サービス

システム構築は成果報酬型。AI研修から導入・構築・定着まで一気通貫で支援

AIBUILDERZ

AI研修からシステムの導入・構築・定着まで、一気通貫で支援するサービスです。業務アプリの構築費は事前にいただかず、実際に稼働させ、効果をご確認いただいてからお支払いが始まります。成果報酬型での対応は、当社が小規模と定義するシステムが対象です。

  • 業種・規模を問わず支援どの業務からAIやシステムに置き換えるかを一緒に決め、効果の大きい業務から順に進めます。
  • システム構築は成果報酬型業務アプリの構築費は事前にいただきません。稼働させ、効果をご確認いただいてからお支払いが始まります。
  • AI導入の効果を可視化置き換える業務を一覧にし、導入前後の時間から、空いた時間とかからなくなった費用を毎月記録します。
  • 小さく始めて、リスクを管理影響の小さい業務から始め、AIの実行結果は担当者が確認・承認してから反映します。

生成AI導入支援で頼めること

生成AI導入支援とは、生成AIを社内で安全に使い、業務の成果につなげるまでを外部の専門家が手伝うサービスです。頼める範囲は、主に次の6つです。

頼めること 主な中身
構想と業務の整理 導入の目的、効果を測る指標、使う業務の洗い出しと優先順位づけ
ルールと体制づくり 利用ガイドラインの作成、推進担当や相談窓口の決め方
環境の用意 法人向けツールの選定と設定、アカウントと権限の管理、社内システムとの接続
社内データの活用 社内文書を検索して答える仕組み(RAG)の構築、プロンプト集の整備
研修 全社員向けの基礎研修、部署ごとの業務に合わせた実践研修
定着と改善 利用状況と効果の測定、使われていない部署への伴走、ルールの見直し

すべてを1社に頼む必要はありません。ガイドラインと研修だけを頼む、RAGの構築だけを頼むなど、社内で進めにくい部分だけを選んで依頼する企業も多くあります。

AI導入支援との違い

AI導入支援は、画像認識や需要予測などを含むAI全般を対象に、業務への組み込みやシステムの開発までを手伝うサービスです。生成AI導入支援はその中でも、生成AIを全社員の道具として広げることに重きを置いています。そのため、ツールの設定や開発だけでなく、利用ルール・研修・プロンプトの整備・定着まで、社員が使える状態をつくる支援の割合が大きくなります。

AI導入支援の会社ごとの特徴や比較は AI導入支援とは?おすすめ会社の比較と選び方・費用 で詳しく紹介しています。本記事では、会社の比較ではなく、生成AIの導入の進め方とどこを外部に任せるかを中心に説明しています。

社内で進めることと任せることの分け方

生成AIの導入には、自社でしか決められないことと、外部の知見を借りたほうが早いことがあります。どの業務に使うか、どこまでの情報を入力してよいかといった判断は、業務を知っている社内の担当者が決めるべきことです。一方で、ツールの比較、ガイドラインのひな形、RAGの設計、研修の組み立ては、経験のある外部に頼むと短い期間で進められます。

判断は社内に残し、作業と知見は外部から借りるという分け方が、支援を頼んでも自社にノウハウを残すための基本です。

生成AI導入支援の4つの種類

種類 主な支援 向いている企業
環境構築型 法人向けツールの導入と設定、社内チャットの用意 まず安全に使える環境を早く用意したい
研修・内製化型 研修、プロンプト集づくり、推進担当の育成 社内で進められる人を育てたい
個別開発型 RAGや業務システムとの連携の構築 社内データや業務の流れに組み込みたい
伴走型 構想から定着まで、定例で一緒に進める 推進の担い手が足りず、定着まで任せたい

費用の目安

生成AI導入支援の費用は、どこまでを外部に任せるかで大きく変わります。おおよその目安は次のとおりです。

支援の内容 費用の目安
法人向けツールの利用料 1人あたり月数千円程度
構想と業務の整理 数十万〜200万円程度
ガイドラインの整備と研修 数十万〜150万円程度
試行(PoC) 100万円〜数百万円程度
RAGなど社内データを使う仕組みの構築 100万〜500万円程度、運用は月数万〜数十万円程度
定着までの伴走 月数十万円程度

見積もりを比べるときは、文書の整理など社内の作業が含まれているか、APIの従量の料金をどちらが負担するか、稼働後の保守が月額に含まれるかをそろえて比べましょう。初期費用だけで比べず、利用料と保守を含めた1〜2年の総額で比べることが大切です。

AIBUILDERZの場合

参考として、AIBUILDERZでの費用の考え方を紹介します。システム構築は成果報酬型で、業務アプリの構築費は事前にいただかず、実際に稼働させ、効果をご確認いただいてからお支払いが始まります。

AI研修からシステムの導入・構築・定着まで一気通貫で支援します。どの業務から始めるかを一緒に決めたうえで、効果の大きい業務から順に進めます。

支援会社を選ぶときの5つの観点

観点 確かめること
支援の範囲 構想・ルール・環境・研修・定着のうち、どこまでを受け持つか
ツールへの中立さ 特定のツールだけを勧めず、自社の条件から選んでくれるか
セキュリティの知見 データの扱いや権限の設計を、具体的に説明できるか
社内に残るもの ガイドライン・プロンプト集・手順書が自社の資産として残るか
費用の分かりやすさ 何に、いくらかかるのかが分かれて示されているか

会社ごとの特徴の比較は AI導入支援のおすすめ会社の比較、相談先の選び方の詳しい基準は AI導入パートナーの選び方 で紹介しています。

相談の前に整理しておきたい6項目

支援会社に相談する前に、次の6つを社内で整理しておくと、最初の打ち合わせから具体的な話ができ、見積もりも比べやすくなります。すべてがそろっていなくても、分かる範囲で書き出しておきましょう。

整理しておくこと 書き出しておく中身
導入の目的 減らしたい時間や件数、経営層が期待していること
最初の業務の候補 業務の名前、月の件数、1件あたりの時間
今の利用状況 契約しているツール、個人のアカウントでの利用の有無
社内のルール 今ある情報セキュリティの規程、生成AIのガイドラインの有無
社内の体制 推進担当、使える時間、協力を得られる部署
予算と時期 今年度に使える予算のおおよその幅、いつまでに効果を出したいか

相談のときに聞いておきたい質問

質問 確かめたいこと
最初に試す業務は、どう選びますか ツールの話より先に、業務の話から入るか
支援が終わったあと、社内に何が残りますか ガイドライン・プロンプト集・手順書などの納品物
効果は何で測りますか 導入の前後で比べる指標を決めてくれるか
見積もりに含まれない費用はありますか 利用料・APIの従量・保守・追加の研修の扱い
アカウントや環境の契約はだれの名義ですか 解約したあとも、自社で使い続けられるか

見送ったほうがよい提案

対象の業務や今の時間を聞かずに、最初から大きなシステムの開発を勧める提案や、自社のツールの導入だけで「定着まで支援」とうたう提案は、慎重に見極めましょう。研修の回数だけが決まっていて、受けたあとの使い方を確かめる仕組みが無い提案も、配って終わりになりやすい形です。

生成AI導入の進め方に関するよくある質問

よくある質問
Q. 生成AIの導入は何から始めればよいですか?
目的と、最初に使う業務を決めることから始めます。あわせて、入力してはいけない情報だけでも先に決め、会社が管理できる法人向けの環境で、1つの部署から試すのがおすすめです。
Q. ガイドラインは導入の前に完成させる必要がありますか?
完成を待つ必要はありません。入力してはいけない情報と、社外に出す前の確認の手順の2つを先に決めれば、試行は始められます。試行で出てきた質問をもとに、12項目を少しずつ埋めていくほうが、現場で使われるガイドラインになります。
Q. 無料版の生成AIをそのまま業務で使ってもよいですか?
おすすめしません。個人向けの無料版は、入力した内容の扱いや管理の機能が法人向けのプランと異なり、会社として利用状況を把握できません。試しに触る段階は別として、業務で使うときは会社が契約した法人向けの環境に移しましょう。
Q. 生成AI導入支援とAI導入支援は何が違いますか?
AI導入支援は画像認識や需要予測を含むAI全般が対象で、システムの開発まで手伝うものが多くあります。生成AI導入支援は、生成AIを全社員の道具として広げるための、ルール・研修・プロンプトの整備・定着の支援の割合が大きいのが特徴です。
Q. 生成AIの社内導入にはどのくらいの期間がかかりますか?
法人向けツールを使う形なら、準備に1〜2か月、試行に1〜3か月、全社への展開に3〜6か月程度が目安です。RAGなど社内データを使う仕組みを作る場合は、さらに2〜4か月程度を見ておくとよいでしょう。
Q. 生成AI導入支援の費用はどのくらいですか?
ガイドラインの整備と研修なら数十万〜150万円程度、RAGなどの構築なら100万〜500万円程度、定着までの伴走は月数十万円程度が目安です。ツールの利用料や保守を含めた総額で比べましょう。
Q. 推進担当はどの部署の人が担うのがよいですか?
決まった正解はありません。DX推進・情報システム・総務などが担うことが多いですが、大切なのは部署よりも、使える時間が確保されていることと、経営層が責任者として後ろに立っていることです。各部署には、使いこなしている社員を旗振り役として置きましょう。
Q. 社員が個人のアカウントで生成AIを使っています。どうすればよいですか?
まず利用状況を聞き取り、入力してはいけない情報を伝えたうえで、会社が契約した法人向けの環境へ移す方針を示しましょう。一律に禁止すると、見えないところで使われ続けることがあります。
Q. RAGは必ず必要ですか?
必ずではありません。文章の下書きや要約が中心なら、法人向けプランとプロンプトの整備で十分な効果が出ることも多くあります。社内規程やマニュアルをもとに答える必要がある業務が出てきたときに、RAGを考えるとよいでしょう。
Q. 生成AIの導入に関係する国の制度はありますか?
中小企業や小規模事業者を対象にした国の制度として、デジタル化・AI導入補助金(旧:IT導入補助金)があります。対象になるのは事務局に登録されたITツールで、申請の枠や条件は年度ごとに変わります。制度の内容は公式サイトで最新の情報を確かめましょう。
Q. 支援を頼んでも、社内にノウハウは残りますか?
残すことはできます。業務の選定などの判断は社内で行い、ガイドライン・プロンプト集・手順書を納品物として受け取る形にすると、支援が終わったあとも自社で続けられます。社内で担える体制づくりは AI内製化支援とは でも解説しています。

まとめ

まとめ

生成AI導入の進め方で押さえておきたい点を、6つにまとめます。

01
ツールを選ぶ前に、目的と最初に使う業務、効果を測る指標を決める
02
ガイドラインは入力してはいけない情報から先に決め、使ってよい例を多く示す
03
まずは法人向けプランとプロンプトの整備で始め、必要な業務だけをRAGにする
04
1つの部署で基準を決めて試し、見本と研修を添えて隣の部署へ広げる
05
会社の規模に合わせて、体制づくりとルールの統一のどこに時間をかけるかを決める
06
支援を頼むときは、判断は社内に残し、ガイドラインや手順書を自社の資産として受け取る

AI導入支援の会社ごとの比較は AI導入支援とは?おすすめ会社の比較と選び方・費用、導入後の定着は AI導入後の運用定着ガイド、情報漏洩の対策は 生成AIの情報漏洩対策 もあわせてご覧ください。