TVIR: Khi AI biết tạo báo cáo có cả text lẫn hình ảnh

Nếu bạn đã từng dùng các hệ thống deep research AI như Perplexity hay các tool tương tự, chắc bạn cũng nhận ra một điểm khá khó chịu: output toàn là chữ. Đôi khi nó cite source có ảnh, có chart, nhưng trong báo cáo cuối thì... chỉ có text. Muốn có visual thì tự mà nhét vào.

Đó chính xác là vấn đề mà paper TVIR (Text-Visual Interleaved Report generation) đang cố giải quyết.

Deep research agents hiện tại đang thiếu gì?

Các hệ thống deep research hiện tại về cơ bản hoạt động theo flow: nhận câu hỏi → search web → tổng hợp thông tin → trả về một đống text. Tốt, nhưng chưa đủ. Trong thực tế, một báo cáo chất lượng dù là báo cáo kỹ thuật, phân tích thị trường, hay review sản phẩm đều cần có hình ảnh, biểu đồ, screenshot được đặt đúng chỗ để minh họa cho nội dung.

Vấn đề không chỉ là "thêm ảnh vào". Cái khó là ảnh phải liên quan, phải được đặt đúng vị trí trong flow của báo cáo, và phải hỗ trợ nội dung text chứ không phải nhét đại cho có. Đây là bài toán multimodal generation thực sự, không phải chỉ là text generation rồi append ảnh ở cuối.

Theo kinh nghiệm của mình khi làm việc với các LLM pipeline, việc kết hợp text và visual một cách coherent là một trong những thứ khó nhất model cần hiểu được context để biết lúc nào nên dùng visual, visual đó nên là gì, và nó fit vào đâu trong narrative.

TVIR-Bench: Cuối cùng cũng có benchmark đúng nghĩa

Thứ mình thấy thực sự valuable ở paper này là TVIR-Bench một benchmark gồm 100 task được curate bởi các chuyên gia, đánh giá cả hai chiều:

Anh em lưu ý: việc có một benchmark chuẩn là cực kỳ quan trọng trong research. Trước đây không có cách nào so sánh các hệ thống multimodal report generation một cách fair, vì ai cũng tự define metric của mình. TVIR-Bench fix vấn đề đó.

TVIR-Agent: Multi-agent collaboration làm nên chuyện

Phần thú vị về mặt kỹ thuật là architecture của TVIR-Agent. Thay vì dùng một single model làm tất cả, họ dùng multi-agent collaboration có cấu trúc.

Mình thấy cái này hay ở chỗ: đây không phải lần đầu người ta dùng multi-agent cho research tasks, nhưng TVIR làm rõ được rằng structured collaboration tức là các agent có role cụ thể, communicate theo protocol rõ ràng hiệu quả hơn hẳn so với kiểu "throw nhiều agent vào và hope for the best".

Cụ thể hơn, trong một pipeline như TVIR-Agent, bạn sẽ có các agent chuyên biệt xử lý từng phần: agent lo search và gather information, agent lo visual retrieval (tìm ảnh phù hợp từ source), agent lo planning structure của report, và agent lo final assembly ghép text với visual theo cách coherent. Mỗi agent làm tốt một việc, rồi phối hợp lại.

So với các paper liên quan mà Librarian Bot recommend cùng như ViDR hay Deep-Reporter thì hướng tiếp cận của TVIR tập trung nhiều hơn vào cái interleaving problem, tức là làm sao để text và visual đan xen nhau một cách tự nhiên, thay vì chỉ ground report vào visual evidence.

Tại sao cái này lại quan trọng với dân dev?

Nếu bạn đang build bất kỳ thứ gì liên quan đến AI-generated content documentation tool, research assistant, report automation thì TVIR đặt ra một tiêu chuẩn mới mà bạn nên để ý.

Hiện tại, nếu bạn build một research agent và chỉ evaluate nó trên text quality, bạn đang bỏ qua một nửa bức tranh. Người dùng cuối không chỉ đọc text họ cần visual để hiểu nhanh hơn, nhớ lâu hơn, và trust output hơn.

Mình nghĩ trong 1-2 năm tới, "multimodal report generation" sẽ trở thành một feature mặc định mà mọi serious research tool đều phải có, giống như cách streaming response hay citation đã trở thành standard vậy. TVIR đang đặt nền móng benchmark cho cuộc đua đó.

Các paper liên quan trong cùng cluster HiCrew với hierarchical reasoning cho video, MemEye với visual memory evaluation cho thấy cả một hướng research đang hội tụ về bài toán: làm sao để AI agent xử lý và produce multimodal content một cách thực sự intelligent, không phải chỉ paste ảnh vào cho đẹp.

Nếu bạn đang research về AI agent hoặc đang build tool dạng này, mình khuyến khích đọc thêm paper gốc đặc biệt là phần benchmark methodology, vì cách họ design evaluation criteria cho visual integration khá instructive cho việc bạn tự define metric cho project của mình.