企業がAIの回答で事故が起こらないように担保するにはどうすれば良いですか？

ハルシネーション（AIが嘘をつく）を0にすることは難しいです。

それを実現したい場合は、利用範囲を制限するなど個別に検討が必要です。
代案としては、利用規約で「AIの回答が100%正しいと保証するものではなく、参考としてご利用ください」と書いておくなど、ユーザー心理に寄り添った対策ができます。