OQBoost: pohon miring yang siap digunakan di dunia nyata

OQBoost adalah pustaka Gradient Boosting Decision Tree (GBDT) yang berbasis 2D Oblique Split.

Pustaka GBDT yang selama ini paling representatif seperti XGBoost, LightGBM, dan CatBoost sebagian besar menggunakan pemisahan berbasis sumbu (axis-aligned). Karena pemisahan dilakukan hanya dengan satu fitur, pendekatan ini sangat cepat dan efisien, tetapi untuk merepresentasikan batas keputusan berbentuk diagonal atau interaksi antara dua variabel, perlu menggabungkan beberapa pohon.

Untuk mengatasi keterbatasan ini, OQBoost menggunakan 2D Oblique Split yang memakai dua fitur secara bersamaan sebagai unit pemisahan dasarnya. Dengan melakukan pemisahan miring secara langsung pada satu node, OQBoost dirancang untuk memberikan daya representasi yang lebih kaya sambil tetap mempertahankan kecepatan pelatihan yang praktis.

Untuk itu, OQBoost menggabungkan algoritma pencarian arah berkecepatan tinggi berbasis Grid Label Accumulation dengan Hessian-weighted Regression, sehingga secara signifikan mengurangi biaya komputasi tinggi yang selama ini menjadi kelemahan Oblique Tree. Selain itu, melalui berbagai optimisasi seperti Lazy Binning, Fast Search, Cache, dan Precomputation, OQBoost mewujudkan kecepatan pelatihan pada tingkat pustaka yang benar-benar praktis.

Saat ini OQBoost menyediakan fitur-fitur berikut.

• Binary Classification
• Multiclass Classification (Joint Training)
• Regression
• Native Missing Value Handling
• Native Categorical Feature Support
• SHAP-style Built-in Explanation
• Kernel SHAP Compatibility
• Multi-thread Training
• Scikit-learn Compatible API

Hasil eksperimen menunjukkan bahwa OQBoost memperlihatkan performa yang kompetitif dengan pustaka GBDT yang ada pada berbagai dataset publik.

• Binary Classification: rata-rata peringkat AUC nomor 1
• Regression: rata-rata peringkat R² nomor 1
• Multiclass Classification: performa pada tingkat yang mirip dengan LightGBM dan XGBoost

Tujuan OQBoost bukan sekadar mengimplementasikan ulang GBDT yang sudah ada, melainkan menghadirkan mesin Gradient Boosting baru yang memungkinkan penggunaan Oblique Split dengan biaya yang praktis.