掀起AI浪潮的ChatGPT儘管可以協助解決很多事情，但也因為會產生虛假的訊息，或誤導性的內容，產生「人工智慧幻覺」(hallucinations)而飽受批評，專家認為這種「幻覺」受到技術與需求之間的限制，根本無法被解決。
財富網中文網報導，與ChatGPT或其他AI聊天機器人相處足夠長的時間，很快就會發現它們有時會「編造答案」，這種現象被稱為「幻覺」，即機器人做出的捏造或純粹的編造，對於那些試圖讓AI系統編寫文檔並完成工作的企業、組織甚至學生，這是一個致命的問題。
聊天機器人Claude 2的製造商Anthropic共同創始人Daniela Amodei認為，現在沒有任何一種模型能夠完全避免產生幻覺，因為它們的設計初衷只是用來預測下一個單詞，因此模型肯定會有一定的錯誤率。
包括ChatGPT的製造商OpenAI、Anthropic及其他大型語言模型的AI系統主要開發者都表示，他們正努力讓這些系統變得更準確，但目前尚不清楚需要多長時間才能達到足夠的可靠性。
不過，華盛頓大學計算語言學實驗室的主任、語言學教授Emily Bender認為，「這個問題無法完全解決，因為技術與實際需求之間存在固有的不匹配。」
Google已向新聞機構推銷一款新聞寫作AI產品，而作為與OpenAI合作的一部分，美聯社也在探索使用這項技術，而OpenAI正在付費使用美聯社的部分存檔文本來改進其AI係統。因此，生成式AI的可靠性至關重要，麥肯錫全球研究院（McKinsey）預計，這將為全球經濟帶來相當於2.6兆至4.4兆美元的收入。
