Bagi pengguna Mac yang ingin menjalankan model AI lokal dengan respons cepat, oMLX mulai mencuri perhatian karena hasil yang ditunjukkan jauh lebih tinggi dibanding LM Studio. Dalam pengujian yang dikutip Better Stack, oMLX mencapai 47 token per detik, sedangkan LM Studio berada di angka 16 token per detik.
Perbedaan itu membuat oMLX dipandang sebagai opsi yang menarik di ekosistem Apple Silicon. Fokusnya bukan hanya pada kecepatan, tetapi juga pada efisiensi memori dan kemampuan menjaga pengalaman multitasking tetap mulus saat beban kerja AI berjalan bersamaan dengan aplikasi lain.
Keunggulan oMLX lahir dari pendekatan yang memang disesuaikan dengan perangkat Apple. Mesin inferensi ini dibangun di atas framework MLX milik Apple, sehingga cara kerjanya lebih selaras dengan arsitektur Apple Silicon dibanding solusi yang tidak dirancang dari awal untuk lingkungan tersebut.
Salah satu unsur yang paling menonjol adalah penggunaan zero-copy arrays. Teknik ini mengurangi perpindahan data berulang antara CPU dan GPU, sehingga latensi bisa ditekan ketika proses AI sedang padat.
oMLX juga mengandalkan strategi lazy computation. Dengan pendekatan ini, perhitungan baru dijalankan saat benar-benar diperlukan, sehingga sumber daya tidak cepat habis dan respons real-time tetap terjaga.
Memori jadi pembeda penting
Selain kencang, oMLX juga menonjol lewat cara mengelola memori. Mesin ini memakai cache key-value dua lapis untuk menyeimbangkan kecepatan akses dengan efisiensi alokasi sumber daya.
Konteks aktif disimpan di unified memory agar data yang sedang dipakai bisa diakses lebih cepat. Skema ini membantu memangkas waktu tunggu pada tugas yang sedang berlangsung.
Untuk data yang lebih lama atau tidak terlalu mendesak, oMLX memindahkannya ke cache SSD berkecepatan tinggi. Pendekatan ini mengurangi tekanan pada RAM dan membuat multitasking tetap lancar, termasuk di Mac dengan kapasitas memori terbatas.
Better Stack juga menyoroti bahwa cache tersebut tidak hanya mengejar performa. Penyimpanan di SSD ikut membantu menjaga persistensi data, sehingga progres kerja lebih mudah dipulihkan jika terjadi penghentian mendadak.
Uji beban panjang ikut menunjukkan hasil kuat
Dalam pengujian dunia nyata, oMLX juga mampu menangani komputasi skala besar. Dengan model Qwen 3.6, sistem ini memproses 1,78 juta token dengan efisiensi cache mencapai 89 persen.
Hasil itu menunjukkan bahwa oMLX tidak hanya kuat pada benchmark singkat. Mesin ini juga dirancang agar tetap efisien saat menghadapi beban kerja panjang dan kompleks.
Bagi pengguna yang menjalankan agen AI lokal atau bereksperimen dengan model besar di Mac, efisiensi cache seperti ini menjadi penting. Semakin baik cache bekerja, semakin kecil hambatan saat model perlu mengambil konteks dan data yang relevan.
Masih ada batas yang perlu diperhatikan
Meski unggul dalam kecepatan, oMLX belum sepenuhnya bebas dari kompromi. Salah satu yang disebut adalah munculnya error 400 ketika batas konteks terlampaui.
Dalam kondisi seperti itu, pengguna mungkin perlu membersihkan konteks secara manual. Situasi ini bisa mengganggu alur kerja, terutama pada tugas panjang atau sesi inferensi yang berkelanjutan.
Di sisi lain, LM Studio disebut memiliki pengelolaan konteks yang lebih stabil. Namun, konsekuensinya adalah performa yang lebih lambat, sehingga kurang cocok untuk skenario yang menuntut kecepatan tinggi.
Pengujian juga menunjukkan masih ada ruang pengembangan pada implementasi basis data untuk aplikasi tertentu. Artinya, meski performa intinya sangat kuat, sisi pendukungnya belum sepenuhnya matang untuk semua kebutuhan.
Paling terasa di Mac dengan RAM terbatas
Manfaat oMLX paling jelas terlihat pada Mac dengan RAM yang tidak besar. Dengan memanfaatkan SSD berkecepatan tinggi untuk memperluas kemampuan memori, model AI lokal bisa tetap berjalan lebih mulus.
Pendekatan ini menarik bagi pengguna yang ingin menjalankan AI secara lokal tanpa bergantung pada layanan cloud. Bagi profesional dengan beban komputasi berat maupun penggemar AI, kombinasi kecepatan dan efisiensi ini menjadi nilai jual utama.
Karena oMLX berfungsi sebagai server inferensi AI lokal, kehati-hatian tetap diperlukan. Proyek ini bersifat open source dan terlihat sah, tetapi karena masih tergolong baru, pembatasan akses ke localhost dan penghindaran data sensitif tetap menjadi langkah yang masuk akal.
Source: www.geeky-gadgets.com
