人工智慧AI聊天軟體，可以協助快速搜尋資料，但也可能誤導使用者，甚至提供嚴重錯誤的資訊。挪威一名男子就指出，他用ChatGPT詢問自己的身分，竟然變成殺害兩個孩子的狠心父親，還被判刑21年。這名男子已經投訴，要求挪威政府處罰OpenAI。

人工智慧AI聊天機器人，替許多人解答不少問題，但萬一回答有錯怎麼辦，挪威一名男子最近用自己的名字，好奇詢問ChatGPT是他誰，卻將他描述殺害兩個孩子的殺人犯，澳洲主播說：「AI還說他被判謀殺和謀殺未遂，而且被判刑21年，這些都是不是真的，他的兒子都還活著，這些犯罪根本沒發生過。」

ChatGPT還回答這名男子被判刑21年，男子認為已造成傷害，向挪威政府投訴要求對OpenAI罰款，OpenAI則回應已更新模型，外媒則報導這種情況稱為「幻覺」，也就是AI軟體將虛構的資訊呈現成「事實」，而「幻覺」引起的爭議不只一起。

2024年微軟的AI軟體Copilot也出現過「幻覺」，一名專門撰寫法庭新聞的德國記者，同樣將自己的姓名輸入也變成罪犯，德國記者貝恩克勞說：「重罪犯、逃犯。」出現這種狀況，是因為AI的把記者寫的報導，誤認為他本人犯下的罪行，專家則指出AI頻出錯，跟訓練所用的資訊不足，模型假設有誤等因素有關，但有些錯誤還找不到原因，可能成為AI發展的一大問題，不過義大利一家報社似乎不擔心這種風險，他們宣稱推出全球第一份完全用AI生成的報紙，記者的工作變成向AI提問，他們將實驗1個月，了解AI的潛力和限制。