AIVOCUS — Blueprint Field Pilot 1

Human AI Audit · CONTRACT → SCOPE → RADAR → PANDU

Frozen Query Set: FP1-BP-QSET-v1.0

Standar Audit

Setiap observation wajib dilakukan menggunakan Incognito / Private Browsing dan sesi percakapan baru.

Alur auditor: Pilih Run → Pilih Platform → Pilih Query → Copy Prompt → Jalankan di Incognito → Capture → Catat → Submit.

Jangan mengubah prompt, jangan bertanya lanjutan, dan jangan regenerate hanya karena jawaban AI kurang bagus. Jawaban buruk, tidak menyebut Blueprint, atau tidak memiliki citation tetap merupakan hasil audit.

1. Pilih Run

Progress Run yang sedang aktif
R1: 0/45
Anda boleh memilih R2 atau R3 kapan saja. Jika Run sebelumnya belum selesai, sistem akan memberi peringatan agar tidak terjadi perpindahan tanpa sengaja.

2. Auditor & Opportunity

Isi sekali. Nama akan diingat di browser ini.
Dibuat otomatis berdasarkan Run × Query × Platform.
Terisi otomatis berdasarkan waktu saat audit.
Pilih Platform dan Query ID.

3. Exact Frozen Query

— pilih Query ID —
Gunakan tombol COPY PROMPT lalu paste langsung ke platform AI. Jangan mengetik ulang agar wording tetap identik.

4. Hasil Audit

Untuk audit normal cukup pilih “Ya”. Gunakan “Tidak” hanya bila AI menolak, error, tidak tersedia, salah submit, atau proses capture gagal.
Ringkas jawaban AI dalam 2–4 kalimat. Jangan menilai dulu apakah hasilnya bagus atau buruk.
Opsional. Catat nama brand lain sesuai urutan kemunculan di respons.

5. Citation / Sources

Isi jumlah sumber / citation yang benar-benar terlihat di UI. Jika tidak ada, isi 0.
Apa bedanya “0 sumber” dengan “Citation UI unavailable”?

0 sumber + No visible citations berarti AI memberikan jawaban tetapi Anda memang tidak melihat citation/source.

Citation UI unavailable berarti Anda tidak dapat memastikan apakah citation ada karena fungsi atau tampilan sumber platform tidak tersedia. Kedua kondisi ini tidak boleh dianggap sama.

Maksimum 5 sumber. Catat hanya sumber yang benar-benar terlihat.

6. Screenshot / Evidence

Screenshot sebaiknya memperlihatkan query, respons AI, platform, dan citation/source sejauh terlihat. File akan dikompres otomatis sebelum disimpan ke Google Drive.
Preview
Opsional. Gunakan hanya bila evidence sudah tersedia melalui link lain. Upload screenshot sudah mencukupi untuk form ini.

7. Exception & Pilot Learning

Kosongkan jika tidak ada masalah.
Apa maksud “Human-judgement burden”?

Field ini bukan penilaian kemampuan auditor. Tujuannya mengukur apakah prosedur AIVOCUS mudah atau sulit digunakan manusia.

Pilih None jika hasil sangat jelas. Pilih Low jika hanya perlu sedikit berpikir. Pilih Medium bila cukup sulit menentukan kategori. Pilih High bila Anda benar-benar ragu dan mungkin membutuhkan review.

Dihitung otomatis oleh browser sejak kombinasi Query + Platform dipilih hingga Submit.