Khóa Học Deep RL Trading (Phần 1): Nền Tảng TradeMaster & Thiết Kế Môi Trường Gymnasium Tài Chính

✍️ Học Viện Giao Dịch 📅 17/10/2026 ⏱️ 20 phút đọc 🏷️ TradeMaster, Deep Reinforcement Learning, Gymnasium, Differential Sharpe, NTU

Khóa Học Deep RL Trading Phần 1 Nền Tảng TradeMaster và Môi Trường Gymnasium

Trong suốt nhiều năm, trí tuệ nhân tạo (AI) trong giao dịch tài chính chủ yếu bị hạn chế trong khuôn khổ Học có giám sát (Supervised Learning) — sử dụng mạng nơ-ron LSTM hay Transformer để cố gắng dự đoán giá ngày mai tăng hay giảm. Tuy nhiên, dự đoán đúng hướng đi của nến giá chỉ là một phần nhỏ; việc khi nào vào lệnh, phân bổ bao nhiêu vốn, cắt lỗ ở đâu và đối phó với chi phí trượt giá như thế nào mới là yếu tố quyết định sự sống còn.

Được phát triển bởi nhóm nghiên cứu Agent Mediated Intelligence (AMI) tại Đại học Công nghệ Nanyang (NTU), TradeMaster là nền tảng mã nguồn mở toàn diện số 1 thế giới về Học Tăng Cường Sâu (Deep Reinforcement Learning - DRL) trong tài chính định lượng. Thay vì dự báo giá bị động, Agent DRL đóng vai trò là một thực thể thông minh tự động tương tác với môi trường thị trường, liên tục học hỏi từ các thử nghiệm và tối ưu hóa chuỗi hành động để đạt lợi nhuận tối đa.

1. So Sánh Bản Chất: Supervised Learning vs Reinforcement Learning

HỌC CÓ GIÁM SÁT (SUPERVISED)

Hồi Quy Bị Động

Mô hình hóa hàm $y = f(x)$. Mục tiêu là giảm thiểu sai số dự báo giá $MSE$. Hoàn toàn mù quáng trước chi phí khớp lệnh, thanh khoản và rủi ro danh mục.

HỌC TĂNG CƯỜNG SÂU (DRL)

Quyết Định Tương Tác

Agent học chính sách $\pi(a|s)$ để tối đa hóa tổng phần thưởng tích lũy $G_t = \sum \gamma^k R_{t+k+1}$. Tự động thích ứng với biến động động lực học thị trường.

LỢI THẾ CỦA DRL TRADING

Chiến Lược Toàn Diện

Đồng thời quản lý cả 3 khâu: Tín hiệu mở lệnh (Entry), Phân bổ tỷ trọng vốn (Position Sizing) và Điểm thoát lệnh (Exit Stop-loss).

2. Thiết Kế Môi Trường Gymnasium Cho Giao Dịch Tài Chính

Mọi thuật toán DRL đều vận hành trên nền tảng tiến trình quyết định Markov (Markov Decision Process - MDP) bao gồm bộ tứ $(S, A, P, R, \gamma)$:

Thành Tố MDP	Thiết Kế Định Lượng Trong TradeMaster	Ý Nghĩa Thực Chiến
Không Gian Trạng Thái (State Space $S_t$)	Tensor đa chiều chứa: Chuỗi nến OHLCV, Ma trận đặc trưng kỹ thuật (MACD, RSI, ATR), Dữ liệu độ sâu sổ lệnh LOB (Level-2 Order Book), Số dư tiền mặt và vị thế hiện tại.	Cung cấp cho Agent bức tranh toàn cảnh về thị trường và tình trạng tài khoản trước khi ra quyết định.
Không Gian Hành Động (Action Space $A_t$)	Rời rạc: {-1: Bán hết, 0: Giữ nguyên, 1: Mua toàn bộ}. Liên tục: Vector trọng số danh mục $w \in \mathbb{R}^N$ với $\sum w_i = 1$ và $w_i \ge 0$.	Quyết định phân bổ tỷ trọng chính xác cho từng tài sản trong mỗi bước thời gian.
Hàm Chuyển Trạng Thái ($P(s_{t+1}\|s_t, a_t)$)	Mô phỏng dữ liệu lịch sử hoặc mô hình thị trường sinh động (Market Simulator) tích hợp chi phí trượt giá (Slippage) và phí giao dịch.	Đưa Agent vào môi trường thực tế khốc liệt, ngăn chặn hiện tượng kiếm lời ảo do bỏ qua ma sát giao dịch.

3. Kỹ Thuật Định Hình Hàm Thưởng (Reward Shaping): Tránh Cạm Bẫy PnL Thuần Túy

Sai lầm nghiêm trọng nhất của người mới bắt đầu làm DRL Trading là thiết lập hàm thưởng $R_t = PnL_t$ (chỉ thưởng khi có lãi và phạt khi lỗ). Dưới hàm thưởng này, Agent sẽ trở nên cực đoan: Nó sẵn sàng gánh mức đòn bẩy khổng lồ và chịu mức rút vốn (Drawdown) tới 80% chỉ để kiếm được một món hời lớn.

💡

HÀM THƯỞNG DIFFERENTIAL SHARPE RATIO: Để huấn luyện Agent biết sợ rủi ro và giao dịch kỷ luật như một chuyên gia phố Wall, TradeMaster ứng dụng Differential Sharpe Ratio ($D_t$) do Moody & Saffell phát minh. Hàm thưởng này đánh giá mức đóng góp cận biên của hành động hiện tại vào tỷ số Sharpe dài hạn, trừng phạt mạnh mẽ sự biến động bất thường và sự sụt giảm vốn.

4. Sơ Đồ Kiến Trúc: Vòng Lặp TradeMaster DRL Environment Loop

5. Triển Khai Code Python Thực Chiến

Dưới đây là mã nguồn Python hoàn chỉnh xây dựng một môi trường giao dịch tùy biến kế thừa chuẩn gymnasium.Env theo kiến trúc của TradeMaster:

import gymnasium as gym
from gymnasium import spaces
import numpy as np
import pandas as pd

class TradeMasterTradingEnv(gym.Env):
    """
    Môi trường Gymnasium giao dịch tài chính tích hợp Differential Sharpe Reward
    """
    metadata = {'render_modes': ['human']}
    
    def __init__(self, df: pd.DataFrame, initial_balance: float = 100_000.0, slippage: float = 0.0005):
        super().__init__()
        self.df = df.reset_index(drop=True)
        self.initial_balance = initial_balance
        self.slippage = slippage
        
        # Không gian hành động: Tỷ trọng phân bổ vốn [-1.0 (Full Short) đến +1.0 (Full Long)]
        self.action_space = spaces.Box(low=-1.0, high=1.0, shape=(1,), dtype=np.float32)
        
        # Không gian trạng thái: 5 đặc trưng nến [Open, High, Low, Close, Volume] + Vị thế hiện tại
        self.observation_space = spaces.Box(low=-np.inf, high=np.inf, shape=(6,), dtype=np.float32)
        
        self.reset()
        
    def reset(self, seed=None, options=None):
        super().reset(seed=seed)
        self.current_step = 0
        self.balance = self.initial_balance
        self.position = 0.0  # Tỷ trọng hiện tại
        return self._get_observation(), {}
        
    def _get_observation(self):
        row = self.df.iloc[self.current_step]
        obs = np.array([row['open'], row['high'], row['low'], row['close'], row['volume'], self.position], dtype=np.float32)
        return obs
        
    def step(self, action):
        target_pos = float(np.clip(action[0], -1.0, 1.0))
        
        # Tính toán tỷ suất sinh lợi thực tế và trừ chi phí trượt giá
        curr_price = self.df.iloc[self.current_step]['close']
        next_price = self.df.iloc[self.current_step + 1]['close']
        price_return = (next_price - curr_price) / curr_price
        
        trade_penalty = np.abs(target_pos - self.position) * self.slippage
        step_return = (target_pos * price_return) - trade_penalty
        
        # Định hình hàm thưởng (Reward): Lợi nhuận trừ phạt biến động mạnh
        reward = step_return - (0.5 * (step_return**2))
        
        self.position = target_pos
        self.current_step += 1
        done = self.current_step >= (len(self.df) - 2)
        
        return self._get_observation(), float(reward), done, False, {}
    

💡

TỔNG KẾT BÀI HỌC: Thiết kế đúng môi trường Gymnasium và định hình hàm thưởng Differential Sharpe là chìa khóa 80% quyết định thành bại của một dự án DRL. Trong Phần 2 tiếp theo, chúng ta sẽ bắt tay vào huấn luyện 3 thuật toán DRL kinh điển nhất cho thị trường tài chính: Rainbow DQN (cho hành động rời rạc), PPO (học chính sách an toàn) và Soft Actor-Critic (SAC) (khám phá thích ứng kịch bản mới)!

🧠

Biên Soạn: Học Viện Giao Dịch — Hàng Hóa Plus

Chuỗi bài giảng TradeMaster DRL được phát triển dựa trên nền tảng nghiên cứu học tăng cường sâu của NTU và phòng lab Agent Mediated Intelligence.