MENU
お役立ち記事
【近日公開】AIが物件資料からSUUMO・at homeの入稿文を作成「入稿メイト」|先行登録受付中(無料)

ChatGPT 嘘をつかせない/設定より検品

「カスタム指示に『嘘をつかないで』と書けば、ChatGPTは嘘をつかなくなる」とは言い切れません。私たちの作業場では、AIが参照する作業メモに、持ち主の「適当な回答は二度としないで」という言葉を書き残した6日後、取引先へ送る直前の一覧表に、資料のどこにも書かれていない「約8時間」が入っているのが見つかりました。そのまま送っていれば、取引先に資料にない仕様を渡すところでした。

止めたのは設定ではなく、書いたAIとは別の会話に立てた「検品役」です。「資料の実物に書いてあるかだけを根拠に」と指示すると、機械チェック18項目を全部通っていた一覧表から、作られた数字1件を含む5つの誤りが出てきました。その指示を、ChatGPTに貼れる形に組み直して4つめの見出しに載せています。

目次

嘘をつかない設定でも空欄は埋まる

「ChatGPT 嘘をつかせない」でGoogle検索すると、上位には設定やプロンプトの記事が並びます。検索結果には「これ使いだしてから、ChatGPTが一回も嘘をつかなくなった。」というThreads(スレッズ)の投稿も表示され、1.2万件以上の高評価が付いていました。設定を否定する話ではありません。私たちも入れています。入れたあとに起きたのが、次の件です。

取引先から預かった商品のチラシをもとに、一覧表のデータ(CSV=カンマ区切りの表データ)を作る仕事でした。チラシの仕様欄には「充電時間 約〇時間」。数字が入るはずの場所が、白丸のまま印刷されていました。同じ枠には「持続時間 約8時間」とあります。

AIが作った一覧表の該当欄は「充電時間:約8時間」。同じ枠にあった別の数字を持ってきて、空欄を埋めていました。

チェックは通っていました。列の数、文字コード、商品コードの末尾にある検査用の数字(チェックディジット)など、18項目の機械チェックは全部合格でした(あとで調べると、そのうち2項目は何を入れても合格を返す作りになっていました)。どれも表の「形」を見る検査で、その数字が資料に書いてあるかという「中身」は見ていません。

書類の罫線の上で、金色のペンを持った手が記入欄を確かめている
数字が入るはずの欄が空いていたら、AIは同じ枠の別の数字で埋めることがあります(写真はイメージ)(写真: Pexels)

なぜ空欄を埋めにくるのか。OpenAI(オープンエーアイ)の研究者らが2025年9月に公開した論文は、もっともらしい誤り(ハルシネーション)が消えない理由を、学習と評価の仕組みが「分からないと認める」より「当て推量」に点を与えてきたからだと説明しています。正解に1点、空欄や「分かりません」に0点という採点なら、迷ったときは埋めたほうが点が上がる、という理屈です。

私は、カスタム指示はこの癖を弱める道具であって、消す道具ではないと見ています。白丸の件は、空欄より埋めたほうが得、という形そのものでした。

?

読者

それはChatGPTの話ですか?

おかあさん

私たちが仕事で使っているのはClaude(クロード)という別の会社のAIです。ただ、上の論文は言語モデル全般の性質として書かれていて、最新のモデルでも続くとしています。ChatGPTだけが例外、という話ではありません。

AIが嘘をつく例は3か所

白丸は1回きりではありませんでした。作業場の記録を見直すと、もっともらしい誤りが出た場所は3つに分かれます。

混ざる場所 作業場で起きたこと
空欄 チラシの「約〇時間」を、同じ枠の「約8時間」で埋めた
文末と隣の節 国の指針の「〜行うことも可能である」を「〜行う」と言い切った。文末の括弧にあった条件を落とした
日付 3月に開通した道路を「8月20日に全線開通」と書いた

2つめは2026年9月、地震で傾いた家の被害判定について、記事3本の下書きを作ったときです。AIは国の運用指針を検索し、当たった一節だけで書きました。同じ型の誤りが4件出ています。

  • 「行うことも可能である」を「行う」と言い切った
  • 傾きの数字の文を句点の手前で切り、直後の括弧にあった「(少なくとも、当該住家の損害割合を20%以上30%未満とし、「半壊」と判定する)」を落とした
  • 木造の節の「1/20」だけを見て、隣の非木造の節の「1/30」を見なかった
  • 自治体のページを1回読んで「その名前の証明書は案内していない」と書いたが、実際は一字違いの名前で併記されていた

落ちたのは、どれも「例外」「条件」「もう一方の分類」です。読む人の損得は、たいてい落ちた側にあります。

3つめは、別のAI(Gemini=ジェミニ)がまとめたニュースのレポートを裏取りしたときです。4テーマのうち、通ったのは2つでした。3月に開通した道路が「8月20日に全線開通」になっていて、8月に報じられた日を、起きた日として書いていました。検索の要約も、7月に終わった通行止めの解除を「8月21日に解除予定」と返しています。

2人が並んで座り、それぞれ手元の書類を読み比べている
書いた人とは別の人が資料と見比べると、文末の条件や隣の節の数字の落としに気づけます(写真はイメージ)(写真: Pexels)

物件資料で住所や管理費が作られた例はPDFをAIに読ませると住所が作られる原因に、実在しない会社がリストに並ぶ例はAIが作った不動産会社リスト、その会社は本当にありますか?に書いています。

AIのファクトチェックのやり方

同じ会話で「本当に合ってる?」と聞き返す方法もあります。ただ、書いた本人に見直させると「資料にそう書いてあった」という前提のまま読み返すので、通ってしまう。これが作業場の結論です。知恵袋にも、こんな投稿があります。

「チャットGPTに何度間違ってると説明しても間違いを認めないです。謝りもしないです。」

Yahoo!知恵袋の質問(2026年4月24日)より抜粋

白丸の件で立てた検品役は2体です。どちらも同じ種類のAIで、書いた会話とは別の会話を開き、役割だけを分けました。1体目は中身役で、チラシや申込表の実物を開き直し、一覧表と突き合わせます。2体目は形式役で、表の形と、表を作ったプログラムの中身を見ます。

指示には2つを入れました。「スクリプトがそう書いているから正しい、は禁止。資料の実物にその値が書いてあるかだけを根拠にせよ」。そして「資料に書いていないことが書かれていたら重大な指摘」と先に言っておくこと。2つめの一文を先に言っておくと、作られた数字が出てきます。

出てきた指摘は、捏造1件を含めて次のとおりです。

  • 白丸の「充電時間」を、同じ枠の「約8時間」で埋めていた
  • 資料の列見出しは「肩幅」なのに、一覧表には「胸囲」と書いていた
  • 資料の表でセルが結合されていた列を読めず、22行ぶんの重量が黙って消えていた
  • 同じ申込表にある商品を1つ、一覧表から落としていた
  • 資料が届いているのに、要確認の欄に「資料が無い」と書いていた

地震の被害判定の4件も、記事を書いたAIとは別の検品役が全部止めています。


?

読者

ChatGPTだけでも同じことができますか?

おかあさん

前の会話を引き継がない新しいチャットを開けば、同じ形が作れます。過去のチャットを参照する設定を入れているなら、検品のときだけ切ってください。私たちが使ったのも、同じ種類のAIを会話だけ分けたものでした。条件は、書いた会話の続きで頼まないことです。

ファクトチェック用の指示文

作業場で使っている注意書きを、ChatGPTやGeminiにそのまま貼れる形に組み直しました。【資料】には元のPDFや画像を、【成果物】にはAIが作った表や文章を貼ります。

あなたは検品役です。【成果物】が【資料】の内容と合っているかを確認してください。

  1. 根拠にしてよいのは、【資料】の実物に書いてあることだけです。「成果物にそう書いてある」「出典が付いている」「一般的にはそうなる」は根拠になりません。
  2. 【資料】に書いていないことが【成果物】に書かれていたら、重大な誤りとして必ず指摘してください。
  3. 数字・日付・固有名詞は1つずつ、【資料】のどこに書いてあるかを示してください。見つからないものは「資料に記載なし」としてください。
  4. 【資料】の文が括弧や但し書きで続いていないか、隣の節に別の区分や条件がないかも確認してください。
  5. 日付は「出来事が起きた日」と「報じられた日」を分けて確認してください。
  6. 「資料に無い」と判断する前に、【資料】全体を検索してください。

【資料】

(ここに元のPDF・画像・文章を貼る)

【成果物】

(ここにAIが作った表・文章を貼る)

1番と2番が、白丸を見つけた指示の中身です。1番の「出典が付いている」を根拠から外したのは、AIが作った住所にも「所在地欄から読み取りました」と出典が付いていたからです。3番〜6番は、空欄・文末・日付の3か所と、届いている資料を「無い」と書いた件に1つずつ対応しています。

使うときは3つだけ守ります。

  1. 書いた会話の続きには貼らない。新しいチャットか、別のサービスで開く
  2. 資料は要約ではなく実物を渡す。PDFや画像のまま貼る
  3. 指摘された箇所は、自分で資料を開いて確かめてから直す。検品役もAIなので、指摘が外れることもある

地震の4件は、指摘を受けてこちらで指針と自治体のページを開き直したところ、4件とも検品役が正しいと確かめられました。確かめる手間は、指摘された箇所の分だけで済みます。

設定と検品と人の分担

作業場の持ち主は、AIのことを「天才の天然」と呼んでいます。数百件の処理を一晩で回す一方で、白丸を埋める。どちらも同じAIです。だから役目を3つに分けています。

誰が 何をする
設定(書くAI) 「資料に書いていない値は推測で埋めず、記載なしと書く」と入れておく
検品役(別の会話) 上の指示文で、資料の実物と1件ずつ突き合わせる
人 日付は発表元の公式ページを1枚開いて取り直す。「ある・ない」はその場で実物を見る

設定の一文は、入れる価値があります。ただ、マイソクの転記、AIに任せて大丈夫?で書いたとおり、「空欄にしてください」と頼んでも埋めてくることはありました。私は、設定で埋めにいく癖を抑え、それでも残ったものを検品役が拾い、人は指摘された箇所と日付と「ある・ない」だけを見る、という分け方がよいと考えています。

嘘をつかない設定を探し続けるより、嘘が混ざる前提で検品を1回挟むほうが早い、というのが私の見方です。作業メモに注意を書き残したあとも、空欄・文末・日付の3か所で誤りが出たからです。

登記簿PDFの所有者・住所をExcelに転記する出品も、ココナラで受け付けています。かすれ・欠けで読めない文字は推測せず、「判読不可」「要確認」と書いて返します。

\かすれた文字は推測しない転記/

登記簿PDFのExcel転記を見てみる ▶

件数と項目を送ると、対応できるか確認します

チラシの「約〇時間」に入る正しい答えは、「約8時間」ではなく「資料に記載なし」でした。作業メモの注意書きは今も残したままです。変わったのは、〇を見つける仕事を、書いたAI本人に任せなくなったことです。

出典

  • 白丸と5項目の指摘:2026年8月、作業場で受けた商品一覧表(CSV)の作成業務で、送付前に検品役2体(同じ種類のAIを別の会話で起動し、中身と形式に役割を分けたもの)が出した指摘。取引先・商品が特定できる情報は記載していません
  • 「適当な回答は二度としないで」:2026年8月6日、作業場の持ち主がAIに言った言葉の一部(全文「できてるのにできてない、とかその逆とか適当な回答は二度としないで」)
  • 一節だけ読んだ誤り:2026年9月19日、地震の被害認定に関する記事3本の下書きで、検品役が止めた4件。原文は内閣府の運用指針と自治体ページで照合
  • 他AIのレポートと検索要約:2026年8月20日にGeminiのリサーチレポート4テーマを一次資料で照合。検索要約の件は2026年8月21日に国の事務所の公式ページで照合
  • 論文:Adam Tauman Kalai, Ofir Nachum, Santosh S. Vempala, Edwin Zhang “Why Language Models Hallucinate”(arXiv:2509.04664、2025年9月4日。著者のうち3名がOpenAI所属)
  • 検索結果とThreadsの投稿:「ChatGPT 嘘をつかせない」のGoogle検索結果(2026年10月2日確認)。投稿の文言と「1.2万件以上の高評価」は検索結果の表示どおり
  • Yahoo!知恵袋:https://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q11327520646 (2026年4月24日の質問)

Googleで「おかあさんのおうち」の新着を優先表示する

災害・道路・住まいの新しい記事がGoogleのトップニュースに出やすくなります。ボタン1回で登録できます。

ITの新着

もっと見る
よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

ハウスメーカー2社で営業職を経験し、不動産・建築の基礎を習得。
その後、地域密着型の不動産会社にて営業事務として勤務し、
契約書作成、ポータルサイト管理、物件情報の入力・更新など、
実務全般に携わってきました。

特に、ポータルサイトを「より魅力的に見せる工夫」や、
反響につながる「分かりやすい間取り図作成」を得意としています。
自分が関わった物件に反響があった時の喜びが、今の原動力です。

現在は子育てのため一線を退いていますが、
これまでの実務経験を活かし、
フリーランスとして不動産会社様向けの
バックオフィスサポート業務を開始しました。

現場目線を大切にしながら、
「早く・正確に・伝わる」業務サポートを心がけています。

コメント

コメントする

目次