Conditional Hypothesis Generation: Khi LLM biết lắng nghe context

Mình làm việc khá nhiều với các bài toán phân tích text, và một vấn đề mình hay gặp là: model tìm ra pattern, nhưng pattern đó lại phản ánh một biến nhiễu nào đó thay vì cái mình thực sự muốn biết. Ví dụ đơn giản: bạn muốn so sánh văn phong của giáo viên giỏi vs giáo viên kém, nhưng dataset lại có sự chênh lệch lớn về môn học giáo viên giỏi toàn dạy Toán, giáo viên kém toàn dạy Văn. Model sẽ học được sự khác biệt về chủ đề môn học thay vì phong cách giảng dạy. Đây chính xác là bài toán mà nhóm nghiên cứu từ University of Maryland đang giải quyết trong paper "Conditional Hypothesis Generation for LLM-Based Text Analysis with Researcher-Specified Covariates".

Vấn đề với các LLM hypothesis generation hiện tại

Các phương pháp LLM-based hypothesis generation gần đây kiểu như dùng LLM để tự động mô tả bằng ngôn ngữ tự nhiên sự khác biệt giữa các nhóm văn bản về cơ bản hoạt động theo kiểu globally discriminative: tìm pattern nào phân biệt tốt nhất giữa hai nhóm trên toàn bộ dataset.

Cái này nghe có vẻ ổn, nhưng vấn đề nằm ở chỗ nó không account for covariates những biến mà researcher biết là có ảnh hưởng đến data. Khi bỏ qua covariates, những pattern được chọn rất dễ là confounds thay vì signal thật sự.

Theo kinh nghiệm của mình, đây là lỗi cực kỳ phổ biến trong các dự án NLP thực tế. Team tìm được một feature rất "discriminative", hào hứng đưa vào production, rồi sau đó mới phát hiện ra nó chỉ đang capture một artifact trong cách collect data chứ không phải cái phenomenon thật sự.

Conditional Hypothesis Generation là gì?

Framework này về cơ bản thêm một bước: thay vì hỏi "pattern nào phân biệt nhóm A vs nhóm B?", nó hỏi "pattern nào phân biệt nhóm A vs nhóm B khi giữ nguyên covariate C?"

Nghe đơn giản, nhưng implementation lại phức tạp hơn nhiều vì có hai challenge chính:

Stratum imbalance khi bạn chia data theo covariate, một số subgroup có thể cực kỳ nhỏ. Ví dụ nếu covariate là "môn học" và bạn có 10 môn, nhưng 80% data tập trung vào 2 môn, thì 8 môn còn lại gần như bị ignore.

Sign reversal đây là cái thú vị hơn. Một pattern có thể có chiều ngược nhau ở các subgroup khác nhau. Kiểu như: nhìn tổng thể, giáo viên giỏi dùng nhiều câu hỏi hơn. Nhưng khi breakdown theo môn học, ở môn Toán thì ngược lại. Nếu chỉ nhìn global thì bạn sẽ bị mislead hoàn toàn.

Hai giải pháp được đề xuất

Nhóm tác giả đề xuất hai methods, cả hai đều lấy cảm hứng từ econometrics thú vị là họ không reinvent the wheel mà borrow từ một field đã giải quyết vấn đề tương tự từ lâu.

| Challenge | Method | Cơ chế |
|---|---|---|
| Sign reversal | Feature-covariate interaction | Thêm interaction term giữa feature và covariate để detect khi nào direction bị đảo |
| Stratum imbalance | Within-stratum demeaning + inverse-frequency reweighting | Normalize trong từng stratum, rồi reweight để các stratum nhỏ không bị lấn át |

Feature-covariate interaction thực chất là một trick quen thuộc trong regression: thay vì chỉ có feature f, bạn thêm term f × covariate. Nếu coefficient của interaction term có ý nghĩa, tức là effect của feature thay đổi theo covariate đây chính là dấu hiệu của sign reversal.

Within-stratum demeaning thì mình thấy elegant hơn. Ý tưởng là: thay vì so sánh raw values, bạn so sánh deviation so với mean của chính stratum đó. Kết hợp với inverse-frequency reweighting (stratum nhỏ được weight cao hơn), bạn đảm bảo mọi subgroup đều được represent công bằng trong quá trình hypothesis selection.

Tại sao mình thấy cái này practical

Mình hay làm việc với các bài toán phân tích survey hoặc user feedback, và bài toán covariate control này xuất hiện liên tục. Ví dụ:

• So sánh sentiment của user ở các tier khác nhau, nhưng phải control for product category vì user enterprise và SMB dùng feature set khác nhau hoàn toàn
• Phân tích văn phong support ticket, nhưng phải control for ngôn ngữ (EN vs VI vs JP) vì distribution khác nhau
• Tìm signal trong review, nhưng phải control for thời gian vì dataset có temporal bias

Trước đây mình thường xử lý mấy cái này bằng cách manually stratify và run analysis riêng lẻ, rồi aggregate kết quả. Cách này tốn công và dễ miss interaction effects. Một framework tự động hóa bước này với LLM thì khá hấp dẫn.

Kết quả thực nghiệm

Nhóm tác giả test trên cả synthetic experiments và hai real-world datasets. Trên synthetic data, mỗi method outperform global baseline trong targeted setting của nó tức là interaction method tốt hơn khi có sign reversal, và demeaning method tốt hơn khi có stratum imbalance. Không có gì surprises ở đây.

Phần thú vị hơn là expert evaluation trên real-world data: các hypothesis được generate với covariate-awareness được đánh giá là more useful within relevant subgroups so với global baselines. "More useful" ở đây là theo judgment của domain experts, không phải chỉ metric tự động.

Anh em lưu ý một điểm: paper này không claim rằng conditional hypotheses luôn tốt hơn global hypotheses. Nếu bạn không có covariate nào cần control, global approach vẫn fine. Framework này chỉ shine khi bạn đã có domain knowledge về confounds tiềm năng và muốn steer hypothesis generation về phía signal thật sự.

Góc nhìn từ phía engineering

Nhìn từ góc độ implementation, mình đánh giá cao việc paper này chọn các kỹ thuật từ econometrics thay vì cố design một neural architecture mới. Demeaning và reweighting là những operations đơn giản, interpretable, và dễ debug. Trong production, mình luôn prefer giải pháp mà mình có thể explain được tại sao nó hoạt động.

Một câu hỏi mình còn tò mò là latency và cost impact khi thêm covariate-conditioning vào hypothesis generation pipeline. Paper tập trung vào research quality metrics, nhưng nếu muốn productionize thì đây là số liệu mình cần biết.

Framework này chưa có open-source implementation được link từ paper (ít nhất là tại thời điểm mình viết bài này), nhưng về mặt conceptual thì các bước khá rõ ràng để implement trên top của bất kỳ LLM-based text analysis pipeline nào. Nếu anh em đang build tool phân tích text cho research hoặc analytics, đây là một pattern đáng để borrow.