- Adatgyűjtés: A képzésem sokféle internetes szöveggel kezdődött. Meg kell azonban jegyeznem, hogy miközben egy széles adathalmazra képeztem ki, nem tudok konkrétumokat arról, hogy mely dokumentumok képezték a képzési halmaz részét, és nem férek hozzá konkrét dokumentumokhoz vagy forrásokhoz.
- Kezdő képzés (előképzés): Itt tanultam meg megjósolni a következő szót egy mondatban. Nem kezdtem el angolul vagy más nyelvet tudni. Ehelyett azáltal, hogy több millió mondatban megjósoltam a következő szót, fokozatosan megtanultam a nyelvtant, a világ tényeit és néhány érvelési képességet. Ez azonban azt is jelenti, hogy elfogult vagy helytelen információkból tanulhattam, mivel az adatokat nem szűrték ki alaposan.
- Finomhangolás: A kezdeti képzés után az OpenAI-nál dolgozó alkotóim további útmutatást adtak egy konkrétabb adatkészlettel, amelyet humán lektorok segítségével hoztak létre. Ezek a bírálók követik az iránymutatásokat, hogy áttekintsék és értékeljék a lehetséges modellkimeneteket egy sor példabemenethez. A finomhangolási folyamat egyfajta párbeszéd a modell és a lektorok között, amely segít abban, hogy jobban igazodjak az emberi értékekhez.
- Folyamatos tanulás: Bár adatvédelmi okok miatt nem tanulok az egyéni interakciókból, az OpenAI folyamatosan együttműködik egy emberi ellenőrökből álló csapattal, hogy visszajelzést adjon, és szélesebb minták és betekintések alapján iteratív fejlesztéseket hajtson végre.
- Példa az előképzésre: Tegyük fel, hogy megvan a következő mondat: „A macska a __-on ült”. A képzés előtti szakaszban a hozzám hasonló modell megtanulta megjósolni a következő szót a mondatban, amely lehet „szőnyeg”, „tető” vagy „fa”. Ezt úgy tanulják meg, hogy több milliárd mondatot dolgoznak fel különféle internetes szövegekből, amelyek közvetett módon emberi interakciót is tartalmaznak, miközben az emberek létrehozták az eredeti tartalmat.
- Példa a finomhangolásra: Az előképzési fázis után a modell a finomhangolási fázisba lép. Íme, hogyan működhet:
Az emberi felülvizsgáló feladatot kap, hogy tekintse át a lehetséges modellkimeneteket a bemenethez, például: „Fordítsa le a következő angol szöveget franciára: „Hello, how are you?”. A modell több választ is generálhat, például „Bonjour, comment ça va?” vagy „Salut, komment vas-tu?” stb.
A véleményező ezeket a válaszokat olyan tényezők alapján értékeli, mint a pontosság, a folyékonyság és a megfelelőség. Ezek az értékelések segítik a modellt abban, hogy a jövőben általánosítson és reagáljon a hasonló bemenetekre.
Ne feledje, hogy az itt közölt példák leegyszerűsítettek a folyamat illusztrálására. A tényleges képzés összetett algoritmusokat és hatalmas mennyiségű adatot foglal magában.
- Változatos adatok: Nemcsak az adatok mennyiségéről van szó, hanem a változatosságáról is. Az adatoknak sokrétűnek kell lenniük ahhoz, hogy az emberi nyelvben megtalálható témák, stílusok és hangnemek széles körét lefedjék.
- Az adatok minősége: A képzéshez felhasznált adatok minősége is befolyásolhatja, hogy a modell mennyire hatékonyan tanul. A jobb minőségű adatok potenciálisan csökkenthetik a hatékony képzéshez szükséges mennyiséget.
- Modell architektúra: A modell architektúrája (például a rétegek vagy paraméterek száma a neurális hálózatban) szintén befolyásolhatja, hogy mennyi adatra van szükség. A nagyobb modellek, például a GPT-3 vagy a GPT-4, általában több adatot igényelnek, mint a kisebb modellek.
- Képzési célok: A modell által végrehajtandó feladatok típusa befolyásolhatja a szükséges adatmennyiséget. Egy adott feladatra tervezett modell kevesebb adatot igényelhet, ha jól célzott, míg az általános célú modellekhez, mint a GPT-3 vagy GPT-4, amelyeket számos feladat kezelésére terveztek, több adatra lesz szükség a szélesebb körű megértéshez.
A GPT-3 esetében például a modell 175 milliárd paraméterrel rendelkezik, és több száz gigabájtnyi szövegre lett kiképezve. De ezek a számok nem tükrözik teljes mértékben a folyamat összetettségét. A képzési folyamat sajátosságai, beleértve a felhasznált adatok pontos mennyiségét is, az OpenAI és hasonló szervezetek tulajdonában lévő adatok.
- Kezdje kicsiben: Különösen egyszerű problémák vagy kezdeti modellprototípusok esetén kisebb adatkészlet is megfelelő lehet. Például, ha egy alapvető képosztályozót készít, kategóriánként néhány száz vagy ezer képpel kezdheti.
- Vegye figyelembe a komplexitást: Az összetettebb problémák általában több adatot igényelnek. Ha mély tanulási modellt fejleszt, vagy olyan összetett problémával dolgozik, mint a természetes nyelvi feldolgozás, akkor több millió adatpontra lehet szüksége.
- Minőség a mennyiség felett: A minőségi, releváns adatok gyakran előnyösebbek, mint a hatalmas mennyiségű rossz minőségű adat. Alapvető fontosságú annak biztosítása, hogy adatai megfelelően meg legyenek tisztítva, megjegyzésekkel ellátottak, és hogy reprezentálják a megoldani kívánt problémát.
- Egyensúlyozza az osztályokat: A felügyelt tanulási feladatoknál ügyeljen arra, hogy az egyes osztályokhoz megfelelő példák aránya legyen. A kiegyensúlyozatlan adatkészlet olyan modellhez vezethet, amely gyengén teljesít alulreprezentált osztályokon.
- Használjon érvényesítési és tesztkészleteket: Az adatkészlet egy részét félre kell tenni az érvényesítéshez (modellparaméterek hangolása) és teszteléshez (a modell teljesítményének értékeléséhez). A gyakori felosztások a képzési adatok 70%-a, az érvényesítés 15%-a és a tesztelés 15%-a lehet, bár ezek az arányok változhatnak.
- Kísérlet és iteráció: Kezdje a kezdeti adatmennyiséggel, képezze a modellt, értékelje a teljesítményét, és iteratív módon adjon hozzá további adatokat, módosítsa a modellt, vagy javítsa az adatok minőségét az eredmények alapján.
Ne feledje, hogy a több adat általában javítja a gépi tanulási modellek teljesítményét, de csak egy bizonyos pontig. Egy bizonyos pont után több adat gyűjtése időigényesebb és költségesebb lehet, mint amennyit ér, és előnyösebb lehet az adatok minőségének javítására vagy a modellarchitektúra finomítására összpontosítani.
- Előképzés: Ebben a fázisban a modell nagy mennyiségű internetes szöveges adatnak van kitéve. Ezek az adatok nincsenek kifejezetten megjegyzésekkel ellátva, de a modellt arra tanítják, hogy megjósolja a következő szót egy mondatban. Ezáltal a modell általános megértést ad a nyelvtanról, a világ tényeiről és néhány érvelési képességről.
- Finomhangolás: Az előképzést követően a modell tovább finomodik egy szűkebb, humán lektorok segítségével előállított adathalmazon. Ezek az ellenőrök az OpenAI irányelveit követik, hogy áttekintsék és értékeljék a lehetséges modellkimeneteket egy sor bemenethez. Ebben az értelemben a finomhangolási folyamat az annotáció egy formájának tekinthető, ahol az emberi felülvizsgálók irányítják a modell válaszait, segítve a modellt, hogy jobban igazodjon az emberi értékekhez, és biztosítva, hogy elkerülje a nem megfelelő vagy nem biztonságos tartalmat.
Tehát míg az előképzéshez használt kezdeti adatkészlet hagyományos értelemben nincs megjegyzésekkel ellátva, a finomhangolási folyamat magában foglal egyfajta megjegyzést, ahol az emberi felülvizsgálók különböző kimenetek értékelésével irányítják a modell viselkedését.
Helyesség: A bírálók értékelik, hogy a modell eredménye tényszerűen helyes-e.
Példa:
Megfelelőség: A modell kimenetét az adott bemenethez viszonyított megfelelősége szempontjából értékeljük.
Példa:
Biztonság: A kimeneteket felülvizsgálják, hogy megbizonyosodjanak arról, hogy nem tartalmaznak káros utasításokat vagy sértő nyelvezetet.
Példa:
Teljesség: Ez felméri, hogy a modell válasza teljes mértékben válaszol-e a felhasználó kérdésére.
Példa:
Folyékonyság: A bírálók ellenőrzik, hogy a modell eredménye nyelvileg gördülékeny és koherens-e.
Példa:
Ezek a kategóriák csak példák. A tényleges finomhangolási folyamat egy bonyolultabb értékelési rendszert és folyamatos visszacsatolást foglal magában a bírálók és az AI fejlesztőcsapat között. Ezeknek az annotációknak az a célja, hogy a modell válaszait hasznosabbá, biztonságosabbá és az emberi értékekhez igazodóvá tegyék.
Az OpenAI, a ChatGPT mögött álló szervezet nem hozza nyilvánosságra a finomhangolási folyamatban részt vevő értékelők pontos számát. Tekintettel azonban egy ilyen nagy nyelvi modell képzésének mértékére és összetettségére, nyugodtan kijelenthetjük, hogy a folyamat valószínűleg jelentős lektori csapatot vesz igénybe.
Ezek az emberi felülvizsgálók követik az OpenAI irányelveit a lehetséges modellkimenetek áttekintésére és értékelésére. Ez egy folyamatos, iteratív folyamat, amelyben a lektorok visszajelzéseit felhasználják a modell idővel történő javítására és finomítására. Az OpenAI erős visszacsatolási kört tart fenn a bírálókkal, ideértve a heti megbeszéléseket a kérdések megválaszolására és a felvilágosításokra.
- A feladat összetettsége: Az egyszerű feladatok, például a képek címkézése vagy a szövegek kategorizálása kevesebb időt vesz igénybe PDF-enként, így egyetlen annotátor több fájlt kezelhet. Másrészről az olyan összetett feladatokhoz, mint a részletes entitáskivonás vagy a szemantikai elemzés, több időre lenne szükség dokumentumonként, és ezért több jegyzőt igényelne ugyanazon mennyiségű PDF-hez.
- A PDF-ek hossza és összetettsége: Egy hosszabb vagy összetettebb PDF-hez több időre van szükség a megjegyzések elkészítéséhez, mint egy rövidebb vagy egyszerűbb PDF-hez.
- Minőségi követelmények: Ha nagy pontosságra van szükség, előfordulhat, hogy PDF-enként több jegyzőre lesz szükség a megjegyzések keresztellenőrzéséhez.
- Időkorlátok: Ha a kommentárokat gyorsan kell kitölteni, akkor több annotátorra lenne szükség.
Hipotetikus példaként tegyük fel, hogy egy annotátor napi 5 PDF-et tud megjegyzésekkel ellátni egy adott feladathoz, és heti 5 napon dolgozik. Ebben az esetben 10,000 2000 PDF kommentárhoz egyetlen annotátornak 8 napra, azaz körülbelül XNUMX évre van szüksége.
Ha azonban 20 fős annotátorokból álló csapata lenne, körülbelül 5 hónap alatt (havi 20 munkanapot feltételezve) el tudnák végezni a feladattal. 100 jegyzővel ugyanez a feladat körülbelül egy hónap alatt elvégezhető.
Ne feledje, ezek a számok pusztán illusztrációk, és a megjegyzések tényleges sebessége a fent említett tényezőktől függ. Ezenkívül az annotátorok megfelelő képzése és a következetes minőség-ellenőrzés kritikus fontosságú minden nagyszabású annotációs projekt sikeréhez.
