Tentang fine-tuning yang diawasi untuk model Gemini

Penyesuaian yang diawasi adalah opsi yang baik jika Anda memiliki tugas yang terdefinisi dengan baik dengan data berlabel yang tersedia. Cara ini sangat efektif untuk aplikasi yang bahasa atau kontennya sangat berbeda dengan data yang awalnya digunakan untuk melatih model besar.

Fine-tuning yang diawasi menyesuaikan perilaku model dengan set data berlabel. Proses ini menyesuaikan bobot model untuk meminimalkan perbedaan antara prediksinya dan label yang sebenarnya. Misalnya, hal ini dapat meningkatkan performa model untuk jenis tugas berikut:

• Klasifikasi
• Perangkuman
• Menjawab pertanyaan ekstraktif
• Chat

Model yang didukung

Model teks Gemini berikut mendukung supervised tuning:

• gemini-1.0-pro-002.

Kasus penggunaan untuk menggunakan fine-tuning yang diawasi pada model teks

Model teks dasar akan berfungsi dengan baik ketika output atau tugas yang diharapkan dapat dan didefinisikan secara ringkas dalam sebuah prompt dan prompt tersebut secara konsisten {i>output<i} yang diharapkan. Jika Anda ingin model mempelajari sesuatu yang khusus atau spesifik yang menyimpang dari pola bahasa umum, sebaiknya pertimbangkan untuk menyesuaikan model tersebut. Misalnya, Anda dapat menggunakan penyesuaian model untuk mengajarkan model hal berikut ini:

• Struktur atau format spesifik untuk menghasilkan output.
• Perilaku spesifik seperti kapan harus memberikan output yang singkat atau panjang.
• Output yang disesuaikan dan spesifik untuk jenis input tertentu.

Contoh berikut adalah kasus penggunaan yang sulit direkam hanya dengan petunjuk perintah:

• Klasifikasi: Respons yang diharapkan adalah kata atau frasa tertentu.

  Perintah: Klasifikasikan teks berikut ke dalam salah satu class berikut: [bisnis, hiburan]. Teks: Mendiversifikasi portofolio investasi Anda Respons: bisnis

  Menyesuaikan model dapat membantu mencegah model menghasilkan respons panjang.

• Ringkasan: Ringkasan mengikuti format tertentu. Misalnya, Anda mungkin perlu menghapus informasi identitas pribadi (PII) dalam ringkasan chat.

  Perintah: Merangkum: Jessica: Kedengarannya bagus! Sampai jumpa di Times Square! Alexander: Sampai ketemu pukul 10! Respons: #Person1 dan #Person2 setuju untuk bertemu di Times Square pada pukul 10.00.

  Pemformatan berupa penggantian nama pembicara dengan #Person1 dan #Person2 sulit dijelaskan dan model dasar mungkin tidak secara alami menghasilkan respons tersebut.

• Question answering ekstraksi: Pertanyaannya tentang konteks dan jawabannya adalah substring konteks tersebut

  Perintah: Konteks: Terdapat bukti bahwa telah ada perubahan signifikan pada vegetasi hutan hujan Amazon selama 21.000 tahun terakhir selama Glasial Maksimum Terakhir (LGM) dan deglasiasi berikutnya. Pertanyaan: Apa kepanjangan dari LGM? Respons: Maksimum Glasial Terakhir

  Respons "Glasial Maksimum Terakhir" adalah frasa spesifik dari konteks.

• Chat: Anda perlu menyesuaikan respons model untuk mengikuti persona, peran, atau karakter.

  Perintah: Pengguna: Bagaimana cuaca hari ini? Respons: Asisten: Sebagai penjaga toko virtual di Example Organization, saya hanya bisa bantu terkait pembelian dan pengiriman.

Anda juga dapat menyesuaikan model dalam situasi berikut:

• Perintah tidak memberikan hasil yang diharapkan secara konsisten.
• Tugas terlalu rumit untuk ditentukan dalam perintah. Misalnya, Anda ingin model melakukan clone perilaku untuk perilaku yang sulit diuraikan dalam perintah.
• Anda memiliki intuisi kompleks tentang tugas yang mudah diajukan, tetapi sulit diformalkan dalam sebuah perintah.
• Anda ingin mengurangi panjang konteks dengan menghapus contoh few-shot.

Kuota

Kuota diterapkan pada jumlah tugas penyesuaian serentak. Setiap proyek datang dengan kuota default untuk menjalankan setidaknya satu tugas tuning. Ini adalah kuota global, dibagikan di semua region yang tersedia. Jika Anda ingin menjalankan lebih banyak tugas secara serentak, Anda harus meminta kuota tambahan untuk Global concurrent tuning jobs.

Harga

Penyesuaian yang diawasi untuk gemini-1.0-pro-002 sedang dalam Pratinjau.

• Selama proses tuning berlangsung pada Pratinjau, tuning model tidak akan dikenai biaya.
• Setelah melakukan tuning model, biaya inferensi untuk model yang di-tuning masih berlaku. Harga inferensi sama untuk setiap versi stabil dari Gemini 1.0 Pro.

Untuk informasi lebih lanjut, lihat harga Vertex AI dan Versi model stabil Gemini yang tersedia.

Langkah selanjutnya

• Siapkan set data fine-tuning yang diawasi.