Nghiên cứu từ một công cụ dựa trên AI được thiết kế để cách mạng hóa quy trình đánh giá mã cho thấy các đoạn mã tạo bằng AI có tỷ lệ lỗi cao gấp 1,7 lần so với mã do lập trình viên tự viết.
Theo nền tảng lập trình này, trung bình một yêu cầu thay đổi mã nguồn do AI thực hiện chứa 10,83 vấn đề, trong khi chỉ số này ở con người là 6,45. Điều này làm dấy lên những lo ngại về độ tin cậy của công cụ lập trình AI đang bùng nổ trên thị trường.
Không dừng ở số lượng, mã nguồn từ AI có tỷ lệ "lỗi nghiêm trọng" gấp 1,4 lần và "lỗi lớn" gấp 1,7 lần so với thông thường. Cụ thể, AI thường xuyên tạo mã lỗi ở các hạng mục logic và tính chính xác (1,75 lần), chất lượng mã và khả năng bảo trì (1,64 lần), bảo mật (1,57) và hiệu suất (1,42 lần).
Minh họa về robot lập trình do ChatGPT tạo ra.AI thường gặp vấn đề như xử lý mật khẩu không đúng cách, tham chiếu đối tượng không an toàn hoặc dính lỗ hổng chèn mã độc. Giám đốc AI tại một công cụ dựa trên AI được thiết kế để cách mạng hóa quy trình đánh giá mã nhận định: "Công cụ AI giúp tăng năng suất vượt trội, nhưng cũng tạo ra những điểm yếu có thể dự đoán và đo lường được mà các tổ chức cần chủ động giảm thiểu".
Microsoft tuyên bố đã vá 1.139 lỗ hổng bảo mật trong năm 2025, trở thành năm có số lượng vá lỗi cao thứ hai trong lịch sử. Tuy nhiên, với sự xuất hiện của AI, nhà phát triển đang tạo nhiều mã nguồn hơn ngay từ đầu, nên tỷ lệ mã lỗi trên tổng số vẫn có thể chấp nhận.
Bên cạnh đó, AI lập trình cũng có nhiều ưu điểm. Thống kê cho thấy AI mắc ít lỗi chính tả hơn 1,76 lần và có khả năng kiểm thử tốt hơn 1,32 lần so với con người. Nghiên cứu cũng chỉ ra sự chuyển dịch vai trò của lập trình viên, thay vì trực tiếp viết từng dòng code tỉ mỉ, con người dần chuyển sang vai trò kiểm duyệt kết quả từ AI.