TELL: Khi AI detector biết giải thích tại sao, không chỉ phán xét

Mình đoán anh em đã gặp cảnh này không ít lần: sinh viên nộp bài, bạn chạy qua GPTZero hay Turnitin AI detector, nó trả về "87% AI-generated". Và rồi... bạn làm gì với con số đó? Đem ra buộc tội người ta? Họ phủ nhận, bạn cũng không có gì để phản bác cụ thể. Cái con số kia chẳng khác nào tòa án phán "có tội" mà không đọc bản cáo trạng.

Đó là vấn đề mà paper "Show, Don't TELL" từ Aldan Creo và Suraj Ranganath đang cố giải quyết, và theo mình đây là một trong những hướng tiếp cận thú vị nhất mình thấy trong không gian AI text detection gần đây.

Con số 87% đó nghĩa là gì, thực ra?

Hầu hết các detector hiện tại dù là watermark-based, perplexity-based hay fine-tuned classifier đều output ra một scalar score. Cao thì AI, thấp thì human. Nghe có vẻ ổn, nhưng vấn đề là người dùng cuối không phải ML engineer. Một giáo sư đại học, một editor, một HR đang review portfolio họ không biết AUROC là gì, họ không hiểu tại sao model lại nghĩ đoạn text này "suspicious".

Kết quả là detector có accuracy cao đến mấy cũng bị trust thấp trong thực tế, vì không ai dám ra quyết định dựa trên một black box. Và đây là điểm mà team này nhận ra: vấn đề không phải là accuracy, mà là alignment với nhu cầu của người dùng.

TELL hoạt động như thế nào

Thay vì chỉ classify toàn bộ đoạn text, TELL được thiết kế để annotate tức là chỉ ra cụ thể những đoạn, những pattern nào trong văn bản là "tell" (dấu hiệu nhận biết), kèm theo giải thích tại sao đoạn đó trông có vẻ do AI hay human viết.

Ví dụ thay vì nói "text này 87% AI", TELL có thể output kiểu: "Câu này dùng cấu trúc liệt kê 3 điểm đối xứng nhau một cách cơ học, thiếu sự không đồng đều tự nhiên của văn viết tay" và highlight đúng câu đó.

Về mặt technical, pipeline của họ khá interesting:

Training data: Họ tự build một SFT dataset với domain-specific authorship annotations. Đây là phần tốn công nhất thay vì chỉ label "AI" hay "human", họ phải annotate tại sao từng đoạn trông như vậy.

Fine-tuning: Standard SFT trước, sau đó dùng GRPO (Group Relative Policy Optimization) kết hợp với curriculum learning để refine. Curriculum learning ở đây có nghĩa là model được train từ những case dễ phân biệt trước, rồi mới đến những case ambiguous giống cách người ta học, thực ra.

Output: Vẫn có numerical score (AUROC 0.927, competitive với SOTA) nhưng kèm theo textual annotations giải thích basis của decision.

Đánh giá explanations phần này mình thấy clever

Một câu hỏi tự nhiên là: explanation có tốt không thì đo bằng gì? Đây là chỗ team này làm khá cẩn thận. Họ collect một dataset human annotations riêng, rồi đánh giá theo 5 tiêu chí:

Kết quả: TELL đạt mean 72.3% win-rate so với baseline khi human đánh giá theo 5 tiêu chí này. Con số này không phải "perfect" nhưng nó meaningful nó nói rằng trong phần lớn trường hợp, explanation của TELL được người thật đánh giá là tốt hơn.

Theo kinh nghiệm của mình khi làm các hệ thống có explainability component, win-rate 72% với human evaluation là khá solid, vì human thường disagree với nhau cũng đã 20-30% rồi.

Tại sao hướng này quan trọng với anh em dev?

Nếu bạn đang build hoặc integrate AI detection vào product dù là plagiarism checker cho edtech, content moderation cho platform, hay review tool cho HR thì đây là một shift đáng để theo dõi.

Các detector kiểu cũ (score-only) có một vấn đề fundamental: họ yêu cầu người dùng trust model một cách mù quáng. Điều này không scale được trong môi trường có hậu quả thực tế (academic integrity, hiring decision, legal content).

Native explainability như TELL làm thay đổi dynamic này. Thay vì "model nói vậy thì tin vậy", người dùng có thể critically evaluate từng explanation và tự ra quyết định. Đây mới là cái mà regulatory frameworks như EU AI Act đang push toward AI as a decision-support tool, không phải decision-maker.

Mình thấy cái này hay ở chỗ nó reframe lại bài toán: thay vì cố đạt accuracy 99% (vốn impossible với adversarial text), họ tập trung vào việc empower người dùng để họ dùng judgment của chính họ. Đây là product thinking tốt, không chỉ là ML thinking.

Những limitation cần lưu ý

Anh em lưu ý là paper này vẫn còn khá mới (published May 2026), và có một số điểm cần watch:

Domain generalization: SFT dataset của họ là domain-specific. Nếu deploy trên domain khác (code, legal text, medical writing), performance có thể drop đáng kể. Đây là vấn đề chung của mọi fine-tuned detector.

Adversarial robustness: Một khi explanation mechanism bị expose, bad actors có thể deliberately viết để avoid những "tell" mà model học được. Đây là cat-and-mouse game quen thuộc.

Computational cost: Generating detailed annotations tốn kém hơn nhiều so với chỉ output một score. Với production system cần low latency, đây là trade-off cần cân nhắc.

Human annotation quality: Win-rate 72.3% nghe tốt, nhưng quality của human annotations dùng để evaluate phụ thuộc nhiều vào annotation guidelines và annotator expertise.

Code và project page đã public tại github.com/ACMCMC/TELL và ai-tells.tech nếu anh em muốn xem thử.

Mình nghĩ đây là một hướng đi đúng. Không phải vì nó solve được hoàn toàn bài toán AI detection không có gì làm được điều đó cả mà vì nó honest về limitation của model và đặt human judgment vào đúng vị trí của nó. Trong một không gian mà mọi người đều đang cố build detector "tốt hơn" theo nghĩa accuracy, thì việc có người hỏi "tốt hơn cho ai, và tốt theo tiêu chí gì" là câu hỏi cần thiết.