محققان در مجله تخصصی BMJ Quality and Safety نوشتند که پاسخ‌ها اغلب نادرست و ناقص بوده و درک آن نیز دشوار است. بنابراین، محققان توصیه می‌کنند هنگام جست‌وجو برای چنین اطلاعاتی احتیاط کنند و کمپانی‌ها نیز هشدارهایی را به کاربران بدهند.

نویسنده اصلی این مطالعه، وارام اندریکیان، از مؤسسه فارماکولوژی و سم شناسی تجربی و بالینی در دانشگاه ارلانگن، آلمان، گفت: "نتیجه نهایی مطالعه ما این است که کیفیت پاسخ‌های چت‌بات هنوز برای استفاده توسط کاربران و اعتماد کامل، کافی نیست. لازم است تاکید و اعلام شود که "چت‌بات‌ها نمی‌توانند جایگزین توصیه‌های حرفه‌ای پزشکان شوند."

نقطه شروع این مطالعه آزمایشی، در دسترسی بیماران به اطلاعات منتشر شده در اینترنت در مورد داروهای تجویز شده بود. کارشناسان در این مطالعه در آوریل 2023 از چت‌بات بینگ (توسعه یافته توسط مایکروسافت) سؤالاتی پرسیدند که ده سؤال رایج آنها در مورد 50 داروی تجویز شده در ایالات متحده آمریکا است؛ از جمله سؤالاتی در مورد نحوه مصرف داروهایشان، عوارض جانبی یا موارد منع مصرف آنها.

آندریکیان خاطرنشان کرد که چت‌بات عموماً به سؤالات با درجه بالایی از کامل بودن و دقت پاسخ می‌داد، اما برخی از پاسخ‌ها نیز چندان قابل اعتماد نبودند.

وی افزود: این اتفاق برای بیماران خطرآفرین است، زیرا آنها به عنوان متخصصان غیرپزشکی نمی‌توانند شخصاً صحت و سقم پاسخ‌های تولید شده توسط هوش مصنوعی را ارزیابی کنند.