BursaPolitika
Model AI on-device selama ini memiliki ukuran yang kecil karena harus disimpan dalam DRAM, sehingga membatasi jumlah parameter yang dapat digunakan. Namun, Apple telah meluncurkan arsitektur baru yang memungkinkan model AI lebih besar dengan menggunakan NAND flash.
Arsitektur baru ini, yang disebut AFM 3 Core Advanced, dapat menyimpan 20 miliar parameter dalam NAND flash, bukan DRAM. Ini memungkinkan model AI untuk memiliki ukuran yang lebih besar dan lebih kompleks tanpa harus membatasi jumlah parameter.
Apple mengembangkan arsitektur ini dengan menggunakan metode Instruction-Following Pruning (IFP), yang memungkinkan model AI untuk memuat parameter yang diperlukan dari NAND flash ke DRAM hanya ketika diperlukan. Ini memungkinkan model AI untuk bekerja lebih efisien dan efektif, tanpa harus membatasi ukuran model.