Apa Gunanya GPTs Artificial Intelligence - Berpikir Cepat dan Lambat

ChatGPT, OpenAI, Dall-e. Tengah perjalanan dan lain-lain telah banyak menjadi berita sejak awal tahun 2023. Tidak mungkin untuk melewatkannya jika Anda memiliki minat pada data, teknologi, pekerjaan pengetahuan, atau otomatisasi. Tapi apa itu dan untuk apa kita bisa menggunakannya dalam bisnis?.

A. Apa itu GPTs?

GPT (Generative Pre-trained Transformer) secara efektif adalah prediktor urutan - jika Anda melatih GPT pada sekumpulan data dan kemudian memberinya contoh baru, GPT akan mencoba melanjutkan contoh dengan menghasilkan data yang diprediksinya akan terjadi selanjutnya. Sistem seperti ini ketika dilatih pada kumpulan data besar bahasa alami (misalnya perayapan lengkap dari semua dokumen internet publik) disebut Model Bahasa Besar (LLM).

Dalam LLM, korpus teks yang digunakan untuk melatih sistem dipecah menjadi token di mana token kira-kira adalah kata, tetapi juga bagian kata dan kata dengan tanda baca. Setiap token diwakili oleh sekumpulan angka - "vektor". Setiap token berarti apa arti token lain seperti itu - yaitu di mana vektor berisi angka 'serupa' - tidak ada pengetahuan yang telah ditentukan sebelumnya tentang kata kerja, kata benda-frasa dll. atau definisi istilah apa pun.

Dalam tata letak 2 dimensi di atas, setiap konsep akan diwakili oleh vektor 2 angka, dan Anda dapat membuat tebakan yang baik tentang apa yang diwakili oleh 2 sumbu tersebut. Tapi di mana Anda akan menempatkan "meja", "warna merah", "dingin"? Jika Anda memiliki dimensi yang cukup maka dimungkinkan untuk merepresentasikan semua konsep dengan baik dengan cara yang efisien. ChatGPT misalnya membangun penyematan database vektor dengan 1.536 dimensi.

Bersamaan dengan penyematan ini, sistem terlatih menghasilkan "Matriks Perhatian" yang menjelaskan betapa pentingnya token satu sama lain dalam urutan dan bagaimana mereka berhubungan satu sama lain1.

Bersama-sama ini membentuk "Generative Pre-trained Transformer" (GPT) yang, ketika diberi urutan input token, mampu membuat tebakan probabilistik tentang apa token berikutnya seharusnya, dan berikutnya, dan seterusnya - ini adalah dasar dari berbagai sistem GPT "Obrolan" dan bisa sangat kuat, memungkinkan pengguna untuk membangun sistem yang dapat:  Terjemahkan teks antar bahasa, jawab pertanyaan (berdasarkan token yang terlihat di korpus pelatihan), menulis puisi yang tampaknya baru, dll.

Selain itu: "GPT" adalah arsitektur umum yang dilahirkan oleh Perhatian adalah semua yang Anda butuhkan kertas. Mereka digunakan untuk LLM pada awalnya tetapi perusahaan OpenAI sedikit membelokkan lanskap dengan menyebut produk mereka "ChatGPT" - jadi sekarang ada kesalahpahaman umum bahwa GPT dan LLM identik, sedangkan sebenarnya arsitektur GPT berlaku untuk banyak domain seperti yang akan kita lihat di bawah.

Tetapi apakah GPT "Cerdas", untuk apa kita dapat menggunakannya, dan apa keterbatasannya?

B. Apa itu Kecerdasan?

Berpikir cepat/lambat - Sistem-1 vs Sistem-2

Daniel Kahneman mempopulerkan pemahaman tentang kecerdasan sebagai kombinasi dari dua jenis perilaku:

Sistem 1 beroperasi secara otomatis dan cepat, dengan sedikit atau tanpa usaha dan tanpa rasa kontrol sukarela.

Sistem 2 mengalokasikan perhatian pada aktivitas mental yang menuntutnya, termasuk perhitungan yang kompleks. Operasi Sistem 2 sering dikaitkan dengan pengalaman subjektif agensi, pilihan, dan konsentrasi.

Ketika kita memikirkan diri kita sendiri, kita mengidentifikasi dengan Sistem 2, diri yang sadar dan bernalar yang memiliki keyakinan, membuat pilihan, dan memutuskan apa yang harus dipikirkan dan apa yang harus dilakukan. Operasi otomatis Sistem 1 menghasilkan pola ide yang sangat kompleks, tetapi hanya Sistem 2 yang lebih lambat yang dapat membangun pikiran dalam serangkaian langkah yang teratur ... keadaan di mana Sistem 2 mengambil alih, mengesampingkan dorongan dan asosiasi yang bebas dari Sistem 1. Berpikir, Cepat dan Lambat: Daniel Kahneman.

Alat berbasis GPT - yaitu, prediktor urutan generatif - sepenuhnya merupakan otomatisasi pemikiran System-1.

Pikirkan urutan pertukaran berikut:

Orang: Apa yang Anda dapatkan jika Anda mengalikan enam dengan sembilan?

Bot: Empat puluh dua

Orang: Saya rasa itu tidak benar

Bot: Maaf, izinkan saya memperbaikinya

Tampaknya Chatbot telah dibujuk untuk melakukan semacam refleksi pada jawabannya, tetapi, pada saat penulisan, bukan itu masalahnya. 3 pertukaran pertama hanya dikumpulkan ke dalam prompt dan disajikan kembali ke bot kata demi kata untuk prediksi urutan lebih lanjut: dalam keadaan teknologi chatbot saat ini, pertukaran keempat, respons terakhir dari bot, masih hanya kreasi System-1. Bahkan model Mixture-of-Experts tidak melakukan kesadaran diri atau refleksi diri.

Program-program ini berbeda secara signifikan dari pikiran manusia dalam evolusi kognitif, keterbatasan, dan ketidakmampuan untuk membedakan antara yang mungkin dan yang mustahil. Mereka fokus pada deskripsi dan prediksi, daripada penjelasan kausal, yang merupakan tanda kecerdasan sejati, dan tidak memiliki pemikiran moral dan kritik kreatif.

Cukup menyeramkan, teks di atas dibuat secara otomatis oleh AI yang merangkum esai yang jauh lebih panjang, yang merupakan tanggapan terhadap "Noam Chomsky: The False Promise of ChatGPT" yang asli (sayangnya di balik paywall: esai Chomsky berpendapat bahwa ChatGPT dan sejenisnya tidak lebih dari mesin plagiarisme berteknologi tinggi).

Kurangnya refleksi diri ini - kurangnya pemikiran Sistem-2 - adalah masalah serius, seperti yang akan saya bahas di bagian "Halusinasi".

C. Pengenalan Pola dan Halusinasi

Sistem GPT menghasilkan teks dengan membuat pilihan acak tertimbang dari kumpulan token berikutnya yang paling mungkin, lalu token berikutnya, dan seterusnya. Tetapi "kebanyakan" kemungkinan tidak selalu menyiratkan seberapa besar kemungkinan token itu, dan GPT tidak memiliki cara untuk memeriksa (batas nilai arbitrer kemungkinan akan berbeda saat Anda bergerak di sekitar ruang vektor). Jadi, dalam beberapa keadaan, GPT dapat menghasilkan fiksi lengkap - yang dikenal sebagai "halusinasi".

(Eugene Cernan adalah orang ke-11 di bulan, sisanya kira-kira benar).

Jadi kapan GPT merespons dengan kenyataan dan kapan mereka berhalusinasi? Inilah masalahnya:

GPT sebenarnya berhalusinasi SEPANJANG waktu!

Hanya saja terkadang halusinasi cukup sesuai dengan persepsi manusia tentang realitas sehingga pembaca manusia berpikir itu benar dan cerdas...

Pikiran manusia adalah mesin pengenalan pola yang dengan murah hati mencoba memahami realitas sehari-hari. Dampak dari ini termasuk efek Pareidolia di mana Anda melihat wajah, atau objek lain, dalam pola acak.

Jadi sistem chatbot GPT memang tampak sangat cerdas bagi pengamat biasa - dan bahkan lulus beberapa bentuk tes Turing - tetapi, seperti mesin bermain catur, sekarang kita tahu cara kerjanya, jelas itu bukan bentuk kecerdasan umum. Ini adalah kebetulan memiliki kumpulan data pelatihan yang cukup besar sehingga perhitungan "kemungkinan token berikutnya" sangat sesuai dengan harapan kita.

Dalam contoh halusinasi obrolan di atas, mungkin ketika menghitung orang yang pernah berada di bulan, angka 11 adalah angka terbesar yang pernah terjadi. Jadi mungkin GPT telah membentuk semacam model penghitungan untuk pengunjung bulan di mana ke-97 juga dianggap sebagai angka terbesar. Tapi apakah itu benar atau apakah saya hanya antropomorfisasi dengan tebakan saya? Tanpa mempelajari bobot dalam model - tugas yang terkenal sulit - tidak mungkin untuk mengetahuinya. Jadi, demikian juga, klaim apa pun tentang GPT yang memiliki AGI (Kecerdasan Umum Buatan) penuh mungkin harus disambut dengan skeptisisme.

Trik dengan sistem berbasis GPT adalah menjaga penggunaannya secara ketat dalam domain yang mereka latih, dengan cara ini ada kemungkinan besar halusinasi mereka akan benar-benar cocok dengan kenyataan. Pertanyaan tentang bagaimana menjamin ini saat ini belum diputuskan. Di bagian selanjutnya kita akan membahas beberapa kasus penggunaan yang mungkin mengejutkan tetapi dibatasi dengan cukup baik untuk yakin akan akurasi yang baik.

D. Aplikasi GPT/LLM yang Mengejutkan

1. Prediksi Cuaca

Sejumlah sistem prediksi cuaca mekanis hingga saat ini telah didasarkan pada simulasi Computational Fluid Dynamics (CFD) - di mana dunia dipecah menjadi sel dan mekanika Newton dari aliran gas dan energi dimodelkan secara matematis. Ini didasarkan pada pemahaman fisik tentang alam dan cukup efektif meskipun sangat mahal dalam upaya komputasi - misalnya superkomputer prakiraan cuaca Inggris memiliki 460.000 inti dan memori 2 Petabyte: Sistem superkomputer Cray XC40 - Met Office Prakiraan cuaca 1 minggu ke depan sebenarnya cukup luar biasa mengingat kompleksitas masalahnya.

Tetapi ada kemungkinan bahwa sistem pembelajaran mendalam gaya transformator, tanpa pra-pengetahuan fisika, dapat dengan mudah menggunakan sejumlah besar data cuaca yang diukur secara historis untuk memprediksi urutan peristiwa cuaca di masa depan mengingat serangkaian kondisi baru-baru ini. Dalam model ini permukaan bumi dipecah menjadi kisi kolom, setiap kolom menjadi vektor angka yang mewakili nilai fisik seperti suhu pada ketinggian tertentu, aliran angin, kelembaban, hujan di permukaan, dll. dan beberapa informasi lokasi relatif. Ada data untuk ini, diukur dan diperhitungkan, pada interval 1 jam selama 40 tahun.

Upaya penelitian khusus ini telah berlangsung selama sekitar satu tahun, tetapi telah menunjukkan prediksi setidaknya 70% seakurat teknik CFD tetapi 10.000x lebih murah untuk dijalankan.

• Revolusi AI yang tenang dalam prakiraan cuaca.
• Profesor Richard Turner - Revolusi AI yang Tenang dalam Prakiraan Cuaca.
• Prakiraan cuaca global jarak menengah yang akurat dengan jaringan saraf 3D.

2. Memecahkan masalah geometri

Masalah geometri terkadang dapat diselesaikan secara mekanis hanya dengan mencari secara menyeluruh melalui semua langkah induktif dari serangkaian deskripsi masalah awal yang diberikan. Tetapi banyak yang tidak dapat diselesaikan dengan cara ini. Seringkali diperlukan beberapa bentuk langkah "intuitif", yang dikuasai oleh pemecah manusia berpengalaman, untuk menambahkan item deskriptif baru ke masalah (misalnya "mari kita gambar garis dari titik ini ke sisi berlawanan dari segitiga untuk membentuk dua segitiga siku-siku") yang membuat masalah entah bagaimana lebih mudah dipecahkan.

Sistem AlphaGeometry mampu melakukan langkah "intuitif" itu. Dengan dilatih pada serangkaian besar solusi geometri, ia mampu membaca masalah yang sebelumnya tidak terlihat dan membuat saran untuk penambahan konstruktif yang memungkinkan tugas pemecah mekanis.

3. Mengekstrak Grafik Pengetahuan

Anda mungkin memiliki basis pengetahuan besar yang ditulis dalam teks yang tidak jelas dan tidak terstruktur - misalnya wikipedia - tetapi ingin mewakilinya dengan cara yang deterministik yang dapat dicari dan dipikirkan secara mekanis - misalnya Resource Description Framework (RDF), Semantic Web, database grafik Neo4j, dll.

Ini secara efektif merupakan masalah terjemahan untuk LLM. Mirip dengan menerjemahkan bahasa Inggris ke dalam bahasa Prancis, kita dapat melatih LLM dengan misalnya korpus besar kode Cypher sehingga dapat membentuk model bahasa pengkodean bersama dengan bahasa alami, dan juga beberapa contoh terjemahan teks ke kode sehingga dapat membentuk model prediksi pemetaan. Perhatikan bahwa LLM utama seperti ChatGPT dilatih pada semua teks yang tersedia untuk umum, termasuk github, jadi mungkin sudah terpapar bahasa grafik ini.

• Demo Konstruksi Grafik Pengetahuan dari teks mentah menggunakan LLM.
• NODES 2023 - Menggunakan LLM untuk Mengonversi Data Tidak Terstruktur menjadi Grafik Pengetahuan.

E. Cara menggunakan GPT secara praktis

1. Bagian yang bergerak

Ada 4 kategori utama subsistem yang harus ditangani:

• Model Bahasa Besar - dibangun dari korpus besar teks, gambar, video, atau sumber data lainnya, misalnya pemindaian penuh seluruh Internet. Miliaran dokumen dan titik data, dan biaya jutaan dolar untuk diproduksi. Hanya ada beberapa di antaranya (dari OpenAI, Meta, dll.).
• Parameter Efficient Fine Tuning (PEFT)2 - menggunakan korpus besar (mungkin 100-1.000-an contoh) untuk menghasilkan lapisan tweaking di atas LLM. Ini hanya membutuhkan beberapa ribu atau ratusan dolar untuk diproduksi dan, oleh karena itu, ada sejumlah opsi yang tidak dapat dikelola untuk dipilih (misalnya sekitar 400.000 model yang disimpan dalam repositori bobot terbuka).
• Database Vektor (Penyematan) - dapat dibangun dari korpus dokumen dari dalam bisnis Anda, sangat murah untuk diproduksi.
• Prompt Engineering - detail prompt yang dikirim ke sistem GPT: apa yang harus disertakan dalam "jendela konteks"

Semua integrasi dengan sistem AI harus menavigasi setidaknya 4 bagian ini.

Melakukan pelatihan penuh model dasar berada di luar jangkauan semua kecuali bisnis atau organisasi terbesar - hanya perusahaan seukuran Google, Meta, X / Twitter, OpenAI, Apple dll yang bahkan dapat merenungkan hal ini.

Biasanya bisnis hanya perlu mempertimbangkan 3 yang terakhir (yaitu mendasarkan sistem pada model dasar LLM yang telah dilatih sebelumnya) dan, lebih umum, bahkan mengatur pelatihan untuk menyempurnakan model dasar tidak perlu - meninggalkan bisnis untuk menghasilkan database penyematan dari korpus dokumen jika diperlukan, atau hanya merekayasa petunjuk yang diperlukan untuk menggunakan model yang tersedia.

Pemilihan model dasar yang paling cocok atau model yang disesuaikan sangat penting, ini hanyalah contoh kecil dari opsi yang tersedia:

Umum

• ChatGPT
• Claude
• Llama
• HuggingChat
• Mixtral

Instruction

• Menyelaraskan model bahasa untuk mengikuti instruksi.
• Melatih model bahasa untuk mengikuti instruksi dengan umpan balik manusia.

Time series

• TimeGPT

Koding

• Devin
• GPT Pilot
• GPT Engineer

Lainnya

• Chatbot AI terbaik di tahun 2024

Ada sejumlah integrasi komersial, yang telah menyempurnakan model dasar, yang menyediakan semacam "Co-pilot" percakapan. Berikut adalah beberapa contohnya:

• Amazon CodeWhisperer.
• Github copilot.
• Intellij AI Assistant.
• Salesforce Einstein Co-pilot.
• dll.

Halusinasi adalah masalah dengan banyak alat ini. Mereka dapat bertindak sebagai magang yang sangat baik membaca, melakukan banyak pekerjaan yang membosankan dengan sangat cepat, tetapi penting untuk memiliki manusia yang kompeten dalam lingkaran untuk mengedit hasil mereka. Tentu saja sistem ini seharusnya tidak dalam posisi untuk membuat janji atas nama perusahaan: misalnya melalui agen layanan otomatis "obrolan langsung" yang menghadap publik, atau dengan mengirim email tindak lanjut otomatis.

2. Rekayasa yang cepat

Rekayasa cepat melibatkan pembuatan instruksi atau petunjuk yang tepat dan efektif untuk memandu sistem AI dalam menghasilkan output yang diinginkan. Ini seperti memberikan instruksi khusus kepada asisten yang sangat cerdas, mengajarinya cara merespons dengan cara yang selaras dengan niat kita.

Sifat eksplorasi dari Prompt Engineering membuatnya sangat mirip dengan Data Science, tetapi alat dan keterampilan yang dibutuhkan berbeda karena seseorang menggerakkan alat menggunakan bahasa alami normal.

3. Mengobrol dengan Docs & RAG

Dimungkinkan untuk melatih LLM/GPT pada konten basis pengetahuan internal dokumen, baik melalui PEFT untuk menghasilkan LLM yang disempurnakan atau dengan membuat database vektor "Penyematan".

Model yang dihasilkan kemudian dapat ditanyakan secara percakapan. Tetapi masalahnya adalah ketika menanyakan model LLM yang dihasilkan, Anda tidak tahu apakah GPT mengatakan yang sebenarnya atau berhalusinasi jawaban yang benar-benar fiktif.

Jadi opsi lain yang tersedia dikenal sebagai Retrieval-Augmented Generation. Dalam arsitektur RAG, respons dihasilkan dalam dua fase:

• Pertama, kueri pengguna dibaca oleh LLM dan kueri pencarian dibuat terhadap penyimpanan dokumen Anda untuk menemukan dokumen apa pun yang mungkin terkait dengan kueri.
• Pada fase kedua kueri baru dibangun dengan terlebih dahulu membaca semua dokumen yang ditemukan di fase 1 dan kemudian menginstruksikan LLM untuk menghasilkan jawaban berdasarkan konten itu (meskipun masih akan menggunakan model dasar sebagai dasar bahasa, sehingga halusinasi masih dimungkinkan).

Teknik ini membutuhkan sedikit pra pelatihan model atau penyematan, tetapi memerlukan teknik lanjutan untuk rekayasa yang cepat. Keuntungan lain dari RAG adalah jika tidak ada dokumen yang ditemukan dalam fase pencarian maka LLM dapat diinstruksikan untuk menanggapi dengan jawaban gaya "Saya tidak tahu" daripada mengarang sesuatu dari isi model dasar.

4. Kueri mekanis

Area yang menarik dari integrasi co-pilot AI adalah menyediakan antarmuka percakapan untuk tugas membangun pencarian deterministik mekanis ke dalam penyimpanan data.

Jika Anda memiliki sistem manajemen pengetahuan dalam bentuk apa pun yang ingin Anda cari atau visualisasikan dengan cara tertentu, kemungkinan ada bahasa kueri, pembuat laporan, pembuat dasbor, atau alat lain yang memungkinkan Anda melakukannya. Tetapi seringkali alat-alat ini, karena kebutuhan, ekspresif dan kompleks dan membutuhkan keahlian teknik untuk digunakan dengan benar.

Tetapi sistem LLM GPT mampu membuat kode, kueri, atau konfigurasi yang benar berdasarkan input percakapan dari pengguna.

Jadi integrasi yang kuat adalah menggunakan LLM GPT untuk menghasilkan kueri atau konfigurasi pembuatan laporan dan kemudian menggunakannya untuk menjalankan kueri di basis pengetahuan. Dengan cara ini Anda setidaknya tahu bahwa hasil kueri bersifat deterministik dan benar secara faktual: data dalam basis pengetahuan belum diringkas atau ditafsirkan ulang oleh model dengan cara apa pun, kueri sedang dijalankan pada data sumber dan hasilnya dikembalikan kata demi kata.

Mungkin kueri yang dihasilkan tidak sesuai dengan yang dimaksud pengguna, tetapi dimungkinkan untuk memiliki urutan pertukaran percakapan dengan GPT yang menyempurnakan kueri hingga Anda melihat apa yang Anda butuhkan. Dampaknya seperti memiliki programmer ahli sebagai asisten pribadi yang dengan senang hati membantu dengan cara apa pun saat Anda mengeksplorasi ide.

Contohnya meliputi:

• Menyatukan Model Bahasa Besar dan Grafik Pengetahuan untuk Representasi Pengetahuan yang Ditingkatkan.
• AI Tableau / Pulsa Tableau.

AI generatif adalah bidang yang sangat baru dalam pengembangan perangkat lunak. Ada banyak hype seputar tingkat kecerdasan sistem ini, tetapi kekurangannya mungkin dilebih-lebihkan. "Dataran tinggi produktivitas" belum tercapai dan ada banyak perkembangan menarik yang bisa didapat.

Perusahaan menuangkan sumber daya ke dalam penelitian, mengambil talenta terbaik, dan menjalin kemitraan strategis untuk mendapatkan keunggulan. Dalam perlombaan ini, pemenangnya bukan hanya mereka yang memiliki teknologi paling mencolok; merekalah yang dapat menerjemahkan kecakapan AI menjadi dampak dunia nyata. Perlombaan AI di PLG.