Deep Learning nhìn qua lăng kính Hamilton-Jacobi: Toán học đằng sau neural netwo

Mình đọc khá nhiều paper về lý thuyết deep learning, nhưng thỉnh thoảng mới gặp một cái làm mình phải dừng lại và đọc lại từ đầu. Paper "The Hamilton-Jacobi Theory of Deep Learning" của nhóm tác giả Jose Marie Antonio Miñoza, Erika Fille T. Legara và Christopher P. Monterola là một trong số đó.

Ý tưởng cốt lõi nghe có vẻ điên: mỗi lần bạn chạy một gradient step khi train model, bạn đang thực ra chọn điều kiện ban đầu cho một phương trình vi phân từng phần gọi là viscous Hamilton-Jacobi equation. Và khi inference, cái bạn làm là evaluate nghiệm của phương trình đó tại một điểm trong không gian. Weights của model? Đó chính là điều kiện ban đầu đã được encode vào.

Nghe abstract thôi đã thấy nặng đầu, nhưng để mình cố breakdown cái này theo cách dễ hiểu hơn.

Phương trình Hamilton-Jacobi là gì và tại sao nó xuất hiện ở đây?

Hamilton-Jacobi (HJ) là một framework trong cơ học cổ điển và optimal control, mô tả cách một hệ thống tiến hóa theo thời gian thông qua một hàm giá trị (value function). Nếu bạn đã từng học control theory hoặc reinforcement learning, bạn sẽ thấy quen với Bellman equation HJ chính là dạng continuous-time của nó.

Cái thú vị là paper này không chỉ nói "ồ nhìn này, có vẻ giống nhau" họ chứng minh sự tương đương này là exact cho log-sum-exp layers, và structural cho các architecture rộng hơn. Cụ thể:

• Residual networks: discretize cùng một lớp HJ equations
• Transformers: tương tự, với Hamiltonian và viscosity phụ thuộc vào architecture
• RNNs, LSTMs, SSMs: cũng nằm trong cùng framework đó

Tức là không phải một kiểu architecture đặc biệt nào mà hầu hết những gì chúng ta đang dùng hàng ngày đều là các discretization khác nhau của cùng một lớp phương trình.

Cái parameter ε làm được gì?

Đây là phần mình thấy elegant nhất. Họ introduce một deformation parameter ε duy nhất, và parameter này unify bốn góc nhìn hoàn toàn khác nhau trong một commutative diagram:

Nói nôm na: ε chính là cái "nhiệt độ" (temperature) mà bạn hay thấy trong softmax nhưng paper này cho thấy nó có ý nghĩa sâu hơn nhiều, nó là viscosity của phương trình PDE tương ứng. Và cái diagram đó closed under Lipschitz conditions tức là toán học ở đây rất tight, không phải approximation lỏng lẻo.

Những hệ quả thực tế không chỉ là toán học thuần túy

Đây là phần mình nghĩ anh em sẽ quan tâm nhất. Từ framework này, họ rút ra được một số kết quả quantitative khá cụ thể:

Generalization rate: Minimax optimal generalization rate là O(n^{-1/(d+2)}) với t cố định, trong đó d là intrinsic dimension của data. Điều này consistent với cái chúng ta quan sát về curse of dimensionality nhưng quan trọng hơn, nó suggest rằng model thực sự học theo intrinsic dimension của data, không phải ambient dimension. Đây là một lý giải toán học cho cái mà thực tế chúng ta hay thấy: model hoạt động tốt hơn kỳ vọng khi data có cấu trúc.

Adversarial robustness: Được control bởi chính ε. Tức là temperature của softmax không chỉ ảnh hưởng đến độ sharp của predictions nó trực tiếp quy định model robust đến đâu trước adversarial perturbations. Theo kinh nghiệm của mình, đây là một insight khá actionable vì ε là thứ bạn có thể tune.

Backpropagation = co-state equation: Với residual networks, backprop chính xác là co-state equation của Hamiltonian system tức là Pontryagin Maximum Principle. Nếu bạn đã học optimal control, điều này có nghĩa là gradient descent trên ResNet về cơ bản là đang giải một bài toán optimal control. Đây không phải analogy đây là đẳng thức.

Influence function dạng closed-form: Họ derive được một influence function O(N) với softmax attribution weights π_j. Cái hay là entropy landscape của những weights này trải qua fold bifurcations khi ε tăng mỗi bifurcation merge các attribution basins lại với nhau. Nói đơn giản hơn: khi bạn tăng temperature, model bắt đầu "nhập" các vùng ảnh hưởng của các training points lại, và điều này xảy ra không liên tục theo kiểu phase transition.

Tại sao mình nghĩ cái này quan trọng với dân làm ML thực tế?

Mình biết nhiều bạn sẽ hỏi: "OK toán đẹp, nhưng mình cần quan tâm không?" Theo mình là có, vì mấy lý do:

Thứ nhất, framework này cho một unified view để hiểu tại sao các architecture khác nhau lại behave khác nhau. Thay vì coi ResNet, Transformer, LSTM như ba thứ hoàn toàn tách biệt, bạn có thể nghĩ chúng như các discretization schemes khác nhau của cùng một PDE và từ đó dự đoán được behavior của chúng tốt hơn.

Thứ hai, kết nối với optimal control và PMP (Pontryagin Maximum Principle) mở ra một hướng hoàn toàn mới để design training algorithms. Thay vì chỉ tune learning rate và optimizer, bạn có thể leverage cả một literature về optimal control.

Thứ ba, cái influence function O(N) dạng closed-form rất có giá trị thực tế. Tính influence function thường rất expensive nếu cái này work well trong practice, nó có thể giúp ích cho interpretability và data selection.

Mình thấy cái này hay ở chỗ nào

Mình làm việc nhiều với production ML systems, và một trong những frustration lớn nhất là thiếu lý thuyết để predict behavior của model trước khi chạy experiment. Cái framework HJ này, nếu được validate thực nghiệm rộng hơn, có thể cho chúng ta những heuristics tốt hơn để trả lời các câu hỏi như: "Với dataset size này và model size này, mình expect generalization gap bao nhiêu?"

Paper này còn khá mới (published tháng 5/2026) và mình chưa thấy nhiều empirical validation ngoài những gì họ trình bày. Nhưng framework lý thuyết thì rất solid kết nối với viscosity solutions của HJ equations là một lĩnh vực toán học đã được nghiên cứu kỹ từ thập niên 80, và việc deep learning fit vào đó một cách tự nhiên là tín hiệu tốt.

Anh em nào làm research hoặc muốn hiểu deep hơn về lý thuyết đằng sau các model mình đang dùng hàng ngày thì mình recommend đọc paper này dù nặng toán nhưng phần intuition họ build up khá rõ ràng. Và nếu bạn có background về optimal control hoặc PDE thì sẽ thấy nhiều chỗ "à, hóa ra là thế" rất thú vị.