Peralihan dari chatbot sederhana ke agen AI menandai transisi dari model yang hanya berbicara menjadi model yang dapat bertindak. Sementara chatbot menjawab pertanyaan tentang sebuah produk, agen dapat menemukan produk tersebut, membandingkan harga di berbagai situs, dan menangani proses pembelian [1].
Meta menempatkan keluarga Llama 3.1 sebagai fondasi untuk perilaku agen ini. Dengan menyediakan bobot sumber terbuka dan antarmuka standar, mereka memungkinkan pengembang melampaui prompt generik menuju alat khusus yang berinteraksi dengan data dan perangkat lunak eksternal [2].
Bagaimana Llama 3.1 Memungkinkan Perilaku Agen
Sebuah agen AI memerlukan lebih dari sekadar kefasihan bahasa; ia membutuhkan kemampuan untuk menalar melalui sebuah tugas dan mengeksekusi fungsi spesifik. Llama 3.1 memperkenalkan penggunaan alat mutakhir dan kemampuan penalaran yang lebih kuat dibandingkan versi sebelumnya [2].
Ini memungkinkan model mengidentifikasi ketika ia tidak dapat menjawab sebuah pertanyaan dengan pengetahuan internalnya dan malah memicu “panggilan fungsi” ke alat eksternal [1]. Misalnya, agen pembelian dapat menggunakan fungsi untuk menanyakan basis data produk demi opsi paling hemat biaya daripada menebak harga [1].
Selain itu, panjang konteks yang diperluas menjadi 128K token memungkinkan agen-agen ini memproses jauh lebih banyak informasi dalam satu sesi [S1, S2]. Hal ini penting bagi agen yang harus menganalisis dokumen panjang atau mempertahankan status kompleks sepanjang alur kerja multi‑langkah [2].
Arsitektur Praktis untuk Agen Pribadi
Membangun agen yang berfungsi biasanya memerlukan kerangka orkestrasi untuk menghubungkan LLM dengan alat‑alatnya. Pendekatan umum melibatkan penggabungan model seperti Llama 3.1 dengan pipeline retrieval‑augmented generation (RAG) [1].
Dalam implementasi praktis, arsitektur terdiri dari beberapa komponen utama:
- Model Embedding: Mengubah teks menjadi vektor numerik untuk pencarian kemiripan [1].
- Basis Data Vektor: Menyimpan data produk, termasuk ID, harga, dan URL, sehingga agen dapat mengambil fakta secara real‑time [1].
- Retriever: Mengambil dokumen paling relevan dari basis data berdasarkan permintaan pengguna [1].
- Orkestrator LLM: Kerangka kerja (seperti Haystack) yang mengelola alur antara pengguna, retriever, dan output akhir [1].
Dengan menggunakan struktur ini, agen dapat mengambil permintaan dalam bahasa Inggris sederhana, mencari dataset terkurasi, dan memberikan jawaban yang tepat berdasarkan data sebenarnya, bukan informasi yang dihalusinasi [1].
Keamanan dan Kerangka Penyebaran
Menyebarkan agen otonom memperkenalkan risiko, terutama terkait penyuntikan prompt dan tindakan yang tidak diinginkan. Untuk mengurangi hal ini, Meta telah merilis alat keamanan khusus termasuk Llama Guard 3 dan Prompt Guard [2].
Alat‑alat ini berfungsi sebagai perisai keamanan, membantu pengembang membangun secara bertanggung jawab dengan menyaring masukan berbahaya dan memantau output model [2]. Bagi yang menginginkan penyebaran yang lebih standar, Llama Stack API menyediakan antarmuka konsisten untuk mengintegrasikan model ini ke dalam proyek pihak ketiga [2].
Pengembang dapat memilih antara skala penyebaran yang berbeda sesuai kebutuhan mereka. Sementara model besar seperti 405B menawarkan kemampuan tingkat frontier untuk penalaran kompleks, versi yang lebih kecil (seperti 8B atau 70B) seringkali lebih efisien untuk tugas agen yang spesifik dan sempit [2].
Jika Anda siap memulai pembangunan, Anda dapat menjelajahi Llama Stack dan skrip yang dikembangkan komunitas di repositori llama‑cookbook untuk mempercepat pengembangan Anda [3].
