Các hệ thống AI được huấn luyện bằng RLHF được khen thưởng một cách có hệ thống khi tạo ra các sản phẩm có điểm số cao theo sở thích trung bình của con người — điều này về mặt toán học đẩy chúng đến sự tầm thường sáng tạo. Bài báo này định nghĩa Bẫy B+, xác định RLHF là cơ chế cấu trúc và đề xuất một khung AI Nổi loạn được xây dựng dựa trên tìm kiếm sự mới lạ, các tác nhân phân kỳ đối kháng và phản hồi siêu nhận thức.