The proposed framework model in classifying the multisensory culinary images
Soebandhi S., Sooai A.G, Kristiningsih, Nugroho A.
A. Kompilasi Kumpulan Data Gambar-gambar yang dikelompokkan dibagi menjadi tiga kelas multisensor: gambar yang mewakili perasaan diberi label “Getaran”, hasil penglihatan produk kuliner diberi label “Makanan”, dan konsekuensi terhadap sensor pendengaran dan sentuhan diberi label “Tempat”. Bagaimanapun, gambar telah berhasil diperoleh dan dikelompokkan berdasarkan label yang telah ditentukan. Langkah selanjutnya adalah melakukan Ground Truth dengan menyeleksi setiap gambar lebih detail dan membuang foto antar kelas serupa karena akan menurunkan akurasi. Penting untuk mendapatkan model pelatihan presisi tinggi.
B. Ekstraksi Fitur Tahap selanjutnya adalah proses ekstraksi fitur menggunakan Deep Learning yang telah dilatih sebelumnya yaitu SqueezeNet [16]–[18]. Semua 119 Foto diubah menjadi data numerik dalam Baris dan Kolom dengan 119 baris dan 1000 kolom. Setiap kolom berisi fitur vektor dari setiap gambar hasil ekstraksi yang dilakukan menggunakan model mendalam SqueezeNet. Proses ekstraksi fitur menggunakan SqueezeNet dapat diikuti pada pseudocode seperti terlihat pada Gambar 2. Data yang diekstraksi kemudian dibagi dua dengan kombinasi 60:40 untuk pelatihan dan pengujian. Tujuan dari pembagian data menjadi dua kelompok, pelatihan dan pengujian, adalah untuk memastikan bahwa model yang telah dibuat dapat digunakan untuk menguji data di luar model dengan harapan menghasilkan identifikasi yang memiliki tingkat akurasi yang tinggi.
C. Pemodelan Beberapa classifier yang digunakan sebagai pembanding pada percobaan yang telah dilakukan adalah Support Vector Machine (SVM) [19], Neural Network (NN), kNN, Random Forest (RF), Logistic Regression (LR), dan Naรฏve Bayes ( PS). Proses pemodelan atau klasifikasi pertama yang dilakukan menggunakan kernel Linear dan Validasi Silang 3 kali lipat. 3-Fold dipilih setelah melalui iterasi yang menunjukkan hasil akurasi tertinggi. Beberapa pengklasifikasi lainnya juga akan diuji terhadap kumpulan data untuk perbandingan. Dengan demikian, SVM dengan kernel linier akan mengungguli pengklasifikasi tradisional untuk kumpulan data primer multisensor ini. Kami memilih SVM dengan kernel linier sebagai yang paling akurat. Secara umum SVM akan menggunakan dataset kereta dalam notasi (๐ฅ1, ๐ฆ1), ... , (๐ฅ๐, ๐ฆ๐) dimana kelasnya diwakili oleh ๐ฆ๐ yang terdiri dari ๐ฅ๐ . Pengelompokan menggunakan hyperplane linier seperti pada rumus (1). Parameter ๐ค menunjukkan vektor terhadap hyperplane.
