Keandalan Sistem dengan AI-Driven Root Cause Analysis

pibitek.biz -Meta baru-baru ini membagikan bagaimana mereka meningkatkan keandalan sistem mereka melalui alat investigasi canggih, termasuk Hawkeye yang dibantu AI, yang membantu dalam debugging alur kerja machine learning. Dengan mengintegrasikan AI, Meta telah mengembangkan sistem investigasi baru yang menggabungkan heuristic-based retrieval dengan peringkat LLM untuk membantu dalam analisis penyebab akar. Sistem ini telah menunjukkan hasil yang menjanjikan, mencapai akurasi 42% dalam mengidentifikasi penyebab akar pada awal investigasi terkait dengan monorepo web Meta.

Hawkeye adalah toolkit yang dikembangkan oleh Meta sebagai bagian dari program Prediction Robustness, yang dibuat untuk mengembangkan alat dan layanan untuk memastikan kualitas produk Meta yang bergantung pada prediksi model machine learning. Hawkeye dikembangkan untuk meningkatkan pemantauan, observabilitas, dan debuggability produk ML Meta. Ini termasuk semuanya, dari menambang penyebab akar hingga alur kerja UX untuk eksplorasi yang dipandu. Menginvestigasi masalah dalam sistem besar seperti Meta dapat menjadi kompleks, terutama ketika menangani repositori monolitik yang melibatkan banyak tim dan perubahan.

Investigasi tradisional memerlukan waktu dan upaya yang signifikan untuk membangun konteks dan mengisolasi penyebab akar. Untuk mempermudah proses ini, sistem baru Meta mengurangi ruang pencarian untuk penyebab potensial menggunakan heuristik, seperti kepemilikan kode dan grafik kode runtime. Setelah menemukan beberapa ratus perubahan yang relevan, sistem peringkat LLM mengidentifikasi penyebab akar yang paling mungkin, akhirnya fokus pada lima perubahan teratas. Sistem peringkat, yang menggunakan model Llama yang telah diperhalus, menggunakan teknik prompt terstruktur untuk menangani keterbatasan jendela konteks, memungkinkannya untuk memeringkat perubahan secara efektif.

Pengujian ulang telah menunjukkan bahwa dalam 42% kasus, penyebab akar sebenarnya ada di antara lima peringkat teratas. Pelatihan LLM melibatkan pemurnian model Llama 2 (7B) menggunakan data investigasi historis Meta, yang membantu model mempelajari untuk mengikuti instruksi analisis penyebab akar.Proses pelatihan ini menggunakan dataset yang dikurasi khusus yang terdiri dari 5.000 contoh pemurnian instruksi dengan detail 2-20 perubahan dari Meta retriever, termasuk penyebab akar yang diketahui dan informasi tentang investigasi pada awalnya, seperti judul dan dampaknya.Dataset yang dikurasi ini memungkinkan model untuk memeringkat perubahan kode potensial berdasarkan relevansi mereka terhadap investigasi dengan tingkat kepercayaan yang baik. Tujuan alat investigasi AI-bantu Meta adalah untuk mengurangi waktu dan upaya yang dibutuhkan untuk analisis penyebab akar, tetapi juga menimbulkan tantangan, seperti risiko saran yang salah. Untuk mengatasi hal ini, Meta memastikan bahwa hasil sistemnya dapat dijelaskan dan diulang, dengan pengukuran kepercayaan yang digunakan untuk menghindari rekomendasi dengan kepercayaan rendah.

Alat investigasi AI-bantu lainnya yang tersedia di pasar termasuk beberapa contoh yang menjanjikan. Namun, Meta berencana untuk memperluas kemampuan sistem AI mereka, sehingga memungkinkan mereka untuk menjalankan alur kerja secara otonom dan bahkan mendeteksi insiden potensial sebelum terjadi, lebih lanjut meningkatkan keandalan sistem. Dalam beberapa tahun terakhir, Meta telah membuat kemajuan signifikan dalam meningkatkan keandalan sistem mereka. Dengan mengintegrasikan AI ke dalam proses investigasi, mereka dapat meningkatkan efisiensi dan akurasi analisis penyebab akar.