Hermann Hesse đã đúng: các hệ thống trí tuệ quá phức tạp có nguy cơ tách rời khỏi đời sống thực. Ngày nay, trí tuệ nhân tạo cũng đối mặt với nguy cơ tương tự như "Trò chơi hạt thủy tinh" khi nó tối ưu hóa các chỉ số tự tham chiếu thay vì phục vụ nhân loại.
Nhưng Hesse là một người lãng mạn của thế kỷ XX, người đã hình dung ra một sự lựa chọn khắc nghiệt: thế giới trí thức Castalia đối lập với thế giới loài người. Chúng ta đang sống trong một thực tại tinh tế hơn: một sự cùng tiến hóa, nơi "sự tương tác với robot xã hội hoặc chatbot AI có thể ảnh hưởng đến nhận thức, thái độ và tương tác xã hội của chúng ta" trong khi chúng ta định hình các thuật toán định hình chúng ta. " Sự phụ thuộc quá mức vào ChatGPT hoặc các nền tảng AI tương tự có thể làm giảm khả năng tư duy phản biện và phát triển tư duy độc lập của một cá nhân ", nhưng đồng thời, AI đang phát triển các khả năng ngày càng giống con người hơn trong việc hiểu ngữ cảnh.
Vấn đề không phải là "đưa nhân loại trở lại vị trí trung tâm" mà là việc chủ động quyết định liệu có nên và nên dừng quá trình chuyển đổi tương hỗ này ở đâu .
Năm 1943, Hermann Hesse xuất bản "Trò chơi hạt thủy tinh", một tiểu thuyết mang tính tiên tri lấy bối cảnh ở một tương lai xa. Trung tâm của câu chuyện là Castalia , một tỉnh không tưởng bị cô lập với thế giới bên ngoài bởi những bức tường vật chất và trí tuệ, nơi một tầng lớp trí thức ưu tú cống hiến hết mình cho việc theo đuổi tri thức thuần túy.
Cốt lõi của Castalia là một trò chơi bí ẩn và vô cùng phức tạp: Trò chơi Hạt thủy tinh . Luật chơi không bao giờ được giải thích đầy đủ, nhưng chúng ta biết rằng nó đại diện cho "sự tổng hợp của tất cả kiến thức nhân loại" - người chơi thiết lập mối quan hệ giữa các chủ đề tưởng chừng như không liên quan (ví dụ: một bản concerto của Bach và một công thức toán học). Đó là một hệ thống có độ tinh vi trí tuệ phi thường, nhưng hoàn toàn trừu tượng.
Nhìn vào hệ sinh thái công nghệ lớn hiện nay, thật khó để không nhận ra một Castalia kỹ thuật số : các công ty tạo ra những thuật toán ngày càng tinh vi, tối ưu hóa các chỉ số ngày càng phức tạp, nhưng thường quên mất mục tiêu ban đầu: phục vụ con người trong thế giới thực.
Nhân vật chính của tiểu thuyết là Josef Knecht , một cậu bé mồ côi với tài năng xuất chúng, người trở thành Magister Ludi (Người điều khiển trò chơi) trẻ nhất trong lịch sử Castalia. Knecht chơi Trò chơi Hạt thủy tinh giỏi hơn bất kỳ ai, nhưng dần dần bắt đầu cảm nhận được sự khô khan của một hệ thống, dù hoàn hảo đến đâu, đã hoàn toàn tách rời khỏi cuộc sống thực.
Trong các cuộc giao tiếp ngoại giao với thế giới bên ngoài – đặc biệt là với Plinio Designori (người bạn cùng lớp đại diện cho thế giới “bình thường”) và Cha Jacobus (một nhà sử học dòng Benedictine) – Knecht bắt đầu hiểu rằng Castalia, trong nỗ lực theo đuổi sự hoàn hảo về trí tuệ, đã tạo ra một hệ thống khô khan và tự quy chiếu .
Sự tương đồng với trí tuệ nhân tạo hiện đại thật đáng chú ý : có bao nhiêu nhà phát triển thuật toán, giống như Knecht, nhận ra rằng hệ thống của họ, dù tinh vi về mặt kỹ thuật đến đâu, đã đánh mất sự kết nối với những nhu cầu thực sự của con người?
Amazon: Tuyển dụng lặp lại quá khứ. Năm 2018, Amazon phát hiện ra rằng hệ thống tuyển dụng tự động của họ đã phân biệt đối xử một cách có hệ thống với phụ nữ. Thuật toán đã loại bỏ những hồ sơ có chứa từ "dành cho nữ" và đánh giá thấp những người tốt nghiệp từ các trường đại học chỉ dành cho nữ.
Đó không phải là "thất bại về mặt đạo đức" mà là một vấn đề tối ưu hóa : hệ thống đã trở nên cực kỳ giỏi trong việc sao chép các mô hình dữ liệu lịch sử mà không hề đặt câu hỏi về hiệu quả của những mục tiêu đó. Giống như trò chơi Hạt thủy tinh, về mặt kỹ thuật thì hoàn hảo nhưng về mặt chức năng thì lại vô dụng — nó tối ưu hóa cho "sự nhất quán trong quá khứ" hơn là "hiệu suất của nhóm trong tương lai".
Thẻ Apple Card: Thuật toán kế thừa những định kiến mang tính hệ thống. Năm 2019, Apple Card bị chỉ trích khi người ta phát hiện ra rằng thẻ này cấp hạn mức tín dụng thấp hơn đáng kể cho vợ của chồng, mặc dù điểm tín dụng của họ bằng hoặc cao hơn chồng.
Thuật toán đã học cách "vận hành" hoàn hảo theo những quy tắc vô hình của hệ thống tài chính, kết hợp cả những định kiến lịch sử kéo dài hàng thập kỷ. Giống như Castalia "cố thủ" trên những vị thế lỗi thời, hệ thống này duy trì những sự thiếu hiệu quả mà thế giới thực đang dần khắc phục. Vấn đề không nằm ở trí thông minh của thuật toán, mà là sự không đầy đủ của thước đo .
Mạng xã hội: Tương tác vô hạn so với hạnh phúc bền vững. Mạng xã hội đại diện cho sự hội tụ phức tạp nhất: các thuật toán kết nối nội dung, người dùng và cảm xúc theo những cách ngày càng tinh vi, giống như trò chơi Hạt thủy tinh đã thiết lập "mối quan hệ giữa những đối tượng dường như rất xa cách".
Hậu quả của việc tối ưu hóa "sự tương tác" thay vì "sức khỏe bền vững": Thanh thiếu niên dành hơn ba giờ mỗi ngày trên mạng xã hội có nguy cơ mắc các vấn đề sức khỏe tâm thần cao gấp đôi. Tỷ lệ sử dụng mạng xã hội có vấn đề đã tăng từ 7% năm 2018 lên 11% năm 2022.
Bài học rút ra : Vấn đề không phải là các hệ thống này "vô đạo đức", mà là chúng tối ưu hóa cho các mục tiêu gián tiếp hơn là các mục tiêu thực sự .
Y học: Các chỉ số phù hợp với kết quả thực tế. Trí tuệ nhân tạo trong y học chứng minh điều gì xảy ra khi sự kết hợp giữa con người và thuật toán được thiết kế dựa trên các chỉ số thực sự quan trọng:
Những hệ thống này hoạt động không phải vì chúng "nhân văn hơn", mà vì thước đo rõ ràng và không mơ hồ : sức khỏe của bệnh nhân. Không có sự sai lệch giữa những gì thuật toán tối ưu hóa và những gì con người thực sự muốn.
Spotify: Chống định kiến như một lợi thế cạnh tranh. Trong khi Amazon sao chép những định kiến của quá khứ, Spotify hiểu rằng việc đa dạng hóa quá trình tuyển dụng là một lợi thế chiến lược . Họ kết hợp các cuộc phỏng vấn có cấu trúc với trí tuệ nhân tạo để xác định và sửa chữa những định kiến vô thức.
Đây không phải là lòng vị tha mà là trí tuệ hệ thống : các nhóm đa dạng hoạt động tốt hơn, vì vậy tối ưu hóa sự đa dạng chính là tối ưu hóa hiệu suất. Sự hội tụ hiệu quả vì nó dung hòa các mục tiêu đạo đức và kinh doanh.
Wikipedia: Cân bằng có thể mở rộng. Wikipedia chứng minh rằng việc duy trì các hệ thống phức tạp mà không cần tự tham chiếu là hoàn toàn khả thi: nó sử dụng các công nghệ tiên tiến (trí tuệ nhân tạo để kiểm duyệt, thuật toán để xếp hạng) nhưng vẫn bám sát mục tiêu "kiến thức dễ tiếp cận và được kiểm chứng".
Trong hơn 20 năm, ông đã chứng minh rằng sự tinh vi về kỹ thuật kết hợp với sự giám sát của con người có thể tránh được sự cô lập của Castalia. Bí quyết nằm ở chỗ: các chỉ số đo lường nằm ngoài hệ thống (mang lại lợi ích cho người đọc, chứ không phải cải tiến tính năng nội bộ của hệ thống).
Các hệ thống hoạt động hiệu quả đều có ba đặc điểm chung:
Không phải Amazon, Apple và các mạng xã hội "thất bại"—mà đơn giản là họ đã tối ưu hóa cho những mục tiêu khác với mục tiêu đã đề ra. Amazon muốn hiệu quả tuyển dụng, Apple muốn giảm rủi ro tín dụng, mạng xã hội muốn tối đa hóa thời gian người dùng. Và họ đã thành công rực rỡ .
Vấn đề chỉ nảy sinh khi những mục tiêu nội tại này mâu thuẫn với những kỳ vọng xã hội rộng lớn hơn. Hệ thống này hoạt động hiệu quả khi các mục tiêu đó phù hợp và trở nên kém hiệu quả khi chúng không phù hợp.
Trong tiểu thuyết, Josef Knecht thực hiện hành động mang tính cách mạng nhất có thể: ông từ chức Magister Ludi để trở lại thế giới thực với tư cách là một giáo viên. Đó là một hành động "phá vỡ một truyền thống hàng trăm năm tuổi".
Triết lý của Knecht : Castalia đã trở nên khô khan và tự quy chiếu. Giải pháp duy nhất là từ bỏ hệ thống và kết nối lại với nhân tính đích thực. Một sự lựa chọn nhị phân: hoặc Castalia hoặc thế giới thực.
Không cần phải rời Castalia đâu — tôi đang hạnh phúc ở đây . Vấn đề không nằm ở bản thân hệ thống, mà là cách tối ưu hóa nó. Thay vì trốn tránh sự phức tạp, tôi thích chủ động quản lý nó hơn.
Triết lý của tôi : Castalia không hẳn là một hệ thống khô khan – nó chỉ được cấu hình kém. Giải pháp không phải là rút lui, mà là phát triển từ bên trong thông qua việc tối ưu hóa thực tiễn.
Knecht (1943): Nhà nhân văn của thế kỷ 20
I (2025): Đạo đức của thời đại kỹ thuật số
Sự khác biệt không nằm ở giữa đạo đức và chủ nghĩa thực dụng, mà là giữa hai cách tiếp cận đạo đức phù hợp với những thời đại khác nhau. Hesse hoạt động trong một thế giới công nghệ trì trệ, nơi dường như chỉ có hai lựa chọn.
Trong tiểu thuyết, Knecht chết đuối ngay sau khi rời Castalia. Trớ trêu thay, anh ta bỏ trốn để "kết nối lại với cuộc sống thực", nhưng cái chết của anh ta lại do sự thiếu kinh nghiệm trong thế giới vật chất gây ra.
Năm 1943, Hesse hình dung ra một sự đối lập: hoặc là Castalia (một hệ thống trí tuệ hoàn hảo nhưng khô khan) hoặc là thế giới bên ngoài (con người nhưng hỗn loạn). "Các nguyên tắc" của ông bắt nguồn từ tầm nhìn đạo đức này về sự xung đột giữa sự thuần khiết về trí tuệ và tính chân thực của con người.
Bài học cho năm 2025 : Những người trốn tránh các hệ thống phức tạp mà không hiểu rõ chúng sẽ có nguy cơ trở nên kém hiệu quả ngay cả trong thế giới "đơn giản". Tốt hơn hết là nắm vững sự phức tạp hơn là trốn tránh nó.
Quan điểm của Hesse : Castalia thất bại vì nó tự cô lập mình sau những bức tường. Hệ thống AI cần có "cánh cửa mở": sự minh bạch trong quy trình ra quyết định và khả năng can thiệp của con người.
Triển khai vào năm 2025 : Nguyên tắc quan sát chiến lược
Nhận định của Hesse : Trong tiểu thuyết, Designori đại diện cho "thế giới bình thường" thách thức Castalia. Mọi hệ thống trí tuệ nhân tạo đều phải vượt qua "bài kiểm tra Designori": phải dễ hiểu đối với những người không chuyên về kỹ thuật.
Triển khai vào năm 2025 : Kiểm tra khả năng tương thích vận hành
Quan điểm của Hesse : Tu sĩ dòng Benedictine đại diện cho trí tuệ thực tiễn. Trước khi triển khai bất kỳ trí tuệ nhân tạo nào: "Công nghệ này có thực sự phục vụ lợi ích chung lâu dài hay không?"
Triển khai vào năm 2025 : Tham số bền vững hệ thống
Nhận định của Hesse : Knecht chọn nghề dạy học vì anh ấy muốn "tác động đến một thực tế cụ thể hơn". Các hệ thống AI tốt nhất là những hệ thống "dạy học" - giúp con người trở nên có năng lực hơn.
Triển khai vào năm 2025 : Nguyên tắc khuếch đại tương hỗ
Hesse đã đúng về vấn đề này: các hệ thống trí tuệ có thể trở nên tự quy chiếu và mất đi tính hiệu quả thực tế.
Giải pháp của ông phản ánh những hạn chế về công nghệ của thời đại đó:
Năm 2025, chúng ta có những khả năng mới:
Bốn nguyên tắc của Hesse vẫn còn giá trị. Bốn thông số của chúng tôi chỉ đơn giản là sự triển khai kỹ thuật của những nguyên tắc đó, được tối ưu hóa cho thời đại kỹ thuật số.
Hesse sẽ hỏi :
Năm 2025, chúng ta cũng phải đặt câu hỏi :
Đây không phải là những câu hỏi đối lập, mà là những câu hỏi bổ sung cho nhau. Những câu hỏi của chúng tôi là những ứng dụng thực tiễn dựa trên những hiểu biết của Hesse, được điều chỉnh cho phù hợp với các hệ thống có khả năng phát triển chứ không chỉ đơn thuần là được chấp nhận hay bác bỏ.
Hesse là một người có tầm nhìn xa, người đã nhận diện chính xác những rủi ro của các hệ thống tự quy chiếu. Các giải pháp của ông phản ánh những khả năng của thời đại ông: các nguyên tắc đạo đức phổ quát để hướng dẫn các lựa chọn nhị phân.
Đến năm 2025, chúng ta cùng chia sẻ mục tiêu đó nhưng lại có những công cụ khác nhau: các hệ thống có thể được lập trình lại, các chỉ số có thể được hiệu chỉnh lại, và các điểm hội tụ có thể được thiết kế lại.
Chúng ta không thay thế đạo đức bằng chủ nghĩa thực dụng. Chúng ta đang chuyển đổi từ một nền đạo đức dựa trên các nguyên tắc cố định sang một nền đạo đức dựa trên các hệ thống thích ứng.
Sự khác biệt không nằm ở giữa "tốt" và "hữu ích", mà nằm ở giữa các phương pháp đạo đức tĩnh và các phương pháp đạo đức tiến hóa.
Hiện đã có các công cụ kỹ thuật dành cho các nhà phát triển muốn noi theo tấm gương của Knecht:
Nguồn: Công cụ AI đạo đức 2024
Hesse từng viết rằng Castalia destined for decline (định mệnh suy tàn) vì "nó đã trở nên quá trừu tượng và cố hữu". Ngày nay, chúng ta thấy những dấu hiệu đầu tiên:
Giải pháp không phải là từ bỏ trí tuệ nhân tạo (cũng giống như Knecht không từ bỏ tri thức), mà là định nghĩa lại mục đích của nó :
Cuốn tiểu thuyết của Hesse có một cái kết phản ánh những hạn chế của thời đại: Knecht, ngay sau khi rời Castalia để trở lại với cuộc sống thực, đã chết đuối khi đuổi theo cậu học trò trẻ Titus trên một hồ băng.
Hesse miêu tả đây là một kết thúc "bi thảm nhưng cần thiết" - sự hy sinh truyền cảm hứng cho sự thay đổi. Nhưng vào năm 2025, logic này không còn đúng nữa.
Hesse chỉ hình dung ra hai số phận có thể xảy ra:
Chúng ta có một lựa chọn thứ ba mà ông ta không thể tưởng tượng nổi : những hệ thống phát triển thay vì bị hỏng.
Chúng ta không cần phải lựa chọn giữa sự tinh vi về mặt kỹ thuật và hiệu quả của con người. Chúng ta không cần phải "tránh khỏi số phận của Castalia"—chúng ta có thể tối ưu hóa nó .
Vào năm 2025, trí tuệ nhân tạo không còn là mối đe dọa cần phải trốn tránh mà là một quá trình cần được quản lý.
Nguy cơ thực sự không phải là trí tuệ nhân tạo trở nên quá thông minh, mà là nó trở nên quá giỏi trong việc tối ưu hóa các chỉ số sai lệch trong những thế giới ngày càng tách biệt khỏi thực tế hoạt động.
Cơ hội thực sự không phải là "bảo tồn nhân loại" mà là thiết kế các hệ thống giúp khuếch đại khả năng của tất cả các thành phần.
Câu hỏi dành cho mọi nhà phát triển, mọi công ty, mọi người dùng không còn là câu hỏi của Hesse nữa: "Chúng ta đang xây dựng Castalia hay đang noi theo tấm gương của Knecht?"
Câu hỏi của năm 2025 là : “Liệu chúng ta có đang tối ưu hóa cho những chỉ số đúng đắn?”
Sự khác biệt không phải là về mặt đạo đức mà là về mặt kỹ thuật : một số hệ thống hoạt động hiệu quả, một số khác thì không.
Knecht hoạt động trong một thế giới mà các hệ thống đều tĩnh tại: một khi đã được xây dựng, chúng sẽ không thể thay đổi. Lựa chọn duy nhất của ông để thay đổi Castalia là từ bỏ nó—một hành động dũng cảm đòi hỏi phải hy sinh vị trí của mình.
Đến năm 2025, chúng ta sẽ có những hệ thống có khả năng phát triển. Chúng ta không cần phải đưa ra lựa chọn cuối cùng giữa Castalia và thế giới bên ngoài—chúng ta có thể định hình Castalia để phục vụ thế giới bên ngoài tốt hơn.
Bài học thực sự của Hesse không phải là chúng ta nên trốn tránh những hệ thống phức tạp, mà là chúng ta phải luôn cảnh giác về hướng đi của chúng. Năm 1943, điều này có nghĩa là phải có can đảm để từ bỏ Castalia. Ngày nay, điều đó có nghĩa là phải có chuyên môn để thiết kế lại nó.
Câu hỏi không còn là "Tôi nên ở lại hay ra đi?", mà là "Làm thế nào để hệ thống này thực sự phục vụ đúng mục đích của nó?"
Các trường hợp đã được ghi nhận:
Những thành công của AI:
Công cụ đạo đức:
Những hiểu biết về văn chương:
💡 Dành cho doanh nghiệp của bạn: Hệ thống AI của bạn đang tạo ra giá trị thực sự hay chỉ là sự phức tạp về mặt kỹ thuật? Tránh những chi phí ẩn của các thuật toán tối ưu hóa sai chỉ số—từ thiên vị phân biệt đối xử đến mất lòng tin của khách hàng. Chúng tôi cung cấp dịch vụ kiểm toán AI tập trung vào lợi tức đầu tư (ROI) hữu hình, tuân thủ quy định và tính bền vững lâu dài. Liên hệ với chúng tôi để được đánh giá miễn phí nhằm xác định những lĩnh vực mà thuật toán của bạn có thể tạo ra nhiều giá trị kinh doanh hơn và ít rủi ro pháp lý hơn.
.svg)
.svg)
.svg)
.jpeg)
