INTRODUCTION: Artificial intelligence (AI) chatbots are increasingly influential in healthcare, including in dental procedures like implants. However, their accuracy and reliability of the information they provide have not been comprehensively evaluated.This study aimed to assess the responses of four AI chatbots—ChatGPT-4, Gemini, Claude, and Microsoft Copilot—by comparing them with those provided by oral surgeons in response to common patient queries about dental implants.
METHODS: This study aimed to assess the responses of four AI chatbots—ChatGPT-4, Gemini, Claude, and Microsoft Copilot—by comparing them with those provided by oral surgeons in response to common patient queries about dental implants. Fifteen frequently asked questions were posed to the chatbots, and five oral surgeons scored their responses using the Global Quality Scale (GQS).
RESULTS: Statistical analysis revealed that ChatGPT received a significantly higher median rating than both Gemini and Copilot. Notably, Copilot exhibited negative Cronbach's α values, suggesting a lack of response consistency and raising concerns about reliability.
DISCUSSION AND CONCLUSION: While all four AI chatbots provided responses that were at least satisfactory, the risk of patient misunderstanding remains. Patients are advised to validate AI-provided information obtained from these platforms with healthcare professionals and trusted sources, highlighting the importance of professional guidance in patient education.
GİRİŞ ve AMAÇ: Yapay zeka (AI) sohbet robotları, implantlar gibi dental prosedürler de dahil olmak üzere sağlık hizmetlerinde giderek daha etkili hale gelmektedir. Ancak, sağladıkları bilgilerin doğruluğu ve güvenilirliği kapsamlı bir şekilde değerlendirilmemiştir. Bu çalışmanın amacı, dört yapay zeka sohbet robotunun yanıtlarını, dental implantlarla ilgili yaygın hasta sorularına yanıt olarak ağız cerrahları tarafından verilen yanıtlarla karşılaştırarak değerlendirmektir.
YÖNTEM ve GEREÇLER: Sık sorulan on beş hasta sorusu oluşturulmuş ve dört YZ sohbet robotuna (Chat GPT-4, Gemini, Claude ve Microsoft Copilot) sunulmuş ve yanıtlar Orijinal Global Kalite Ölçeği (GQS) kullanılarak beş ağız cerrahı tarafından puanlanmıştır.
BULGULAR: İstatistiksel analiz ChatGPT'nin hem Gemini hem de Copilot'tan önemli ölçüde daha yüksek bir medyan derecelendirme aldığını ortaya koymuştur. Özellikle Copilot'un negatif Cronbach α değerleri sergilemesi, yanıt tutarlılığının eksik olduğunu göstermekte ve güvenilirlikle ilgili endişeleri artırmaktadır.
TARTIŞMA ve SONUÇ: Dört YZ sohbet robotu da en azından tatmin edici yanıtlar vermiş olsa da, hastaların yanlış anlama riski devam etmektedir. Hastalara, bu platformlardan elde edilen YZ tarafından sağlanan bilgileri sağlık uzmanları ve güvenilir kaynaklarla doğrulamaları tavsiye edilmekte ve hasta eğitiminde profesyonel rehberliğin önemi vurgulanmaktadır.