ในยุคที่ข้อมูลความเป็นส่วนตัวและประสิทธิภาพเป็นสิ่งสำคัญยิ่งนักวิเคราะห์การลงทุนและนักวิจัยสถาบันอาจถามมากขึ้น: เราสามารถควบคุมพลังของ AI กำเนิดโดยไม่กระทบต่อข้อมูลที่ละเอียดอ่อนได้หรือไม่? คำตอบคือการดังก้องใช่
โพสต์นี้อธิบายถึงกรอบการทำงานแบบโอเพนซอร์ซที่ปรับแต่งได้ซึ่งนักวิเคราะห์สามารถปรับให้เข้ากับการปรับใช้ที่ปลอดภัยและท้องถิ่น มันแสดงให้เห็นถึงการใช้งานจริง ของแอปพลิเคชันโมเดลภาษาขนาดใหญ่ที่โฮสต์ (LLM) ที่เป็นส่วนตัวซึ่งปรับแต่งเพื่อช่วยในการตรวจสอบและสอบถามเอกสารการวิจัยการลงทุน ผลที่ได้คือผู้ช่วยวิจัย AI ที่ปลอดภัยและประหยัดค่าใช้จ่ายหนึ่งที่สามารถแยกวิเคราะห์หลายพันหน้าในไม่กี่วินาทีและไม่ส่งข้อมูลของคุณไปยังคลาวด์หรืออินเทอร์เน็ต ฉันใช้ AI เพื่อเพิ่มกระบวนการวิเคราะห์การลงทุนผ่านระบบอัตโนมัติบางส่วนซึ่งกล่าวถึงในไฟล์ นักลงทุนที่กล้าหาญ โพสต์ ใช้ AI เพื่อเพิ่มการวิเคราะห์การลงทุน–
เครื่องมือสไตล์แชทบอทนี้ช่วยให้นักวิเคราะห์สามารถสืบค้นสื่อการวิจัยที่ซับซ้อนในภาษาธรรมดาโดยไม่ต้องเปิดเผยข้อมูลที่ละเอียดอ่อนต่อคลาวด์
กรณีสำหรับ “GPT ส่วนตัว”
สำหรับมืออาชีพที่ทำงานในการวิจัยการลงทุนด้านซื้อ-ไม่ว่าจะเป็นหุ้นรายได้คงที่หรือกลยุทธ์หลายสินทรัพย์-การใช้ ChatGPT และเครื่องมือที่คล้ายกันทำให้เกิดความกังวลหลัก: การรักษาความลับ การอัปโหลดรายงานการวิจัยบันทึกการลงทุนหรือเอกสารการเสนอเอกสารให้กับเครื่องมือ AI บนคลาวด์มักจะไม่ใช่ตัวเลือก
นั่นคือสิ่งที่“ GPT ส่วนตัว” เข้ามา: กรอบการทำงานที่สร้างขึ้นทั้งหมดบนส่วนประกอบโอเพนซอร์ซทำงานในเครื่องบนเครื่องของคุณเอง ไม่มีการพึ่งพาปุ่มอินเตอร์เฟสการเขียนโปรแกรมแอปพลิเคชัน (API) ไม่จำเป็นต้องมีการเชื่อมต่ออินเทอร์เน็ตและไม่มีความเสี่ยงต่อการรั่วไหลของข้อมูล
ชุดเครื่องมือนี้ใช้ประโยชน์:
- สคริปต์ Python สำหรับการบริโภคและการฝังเอกสารข้อความ
- โอลลาแพลตฟอร์มโอเพนซอร์ซสำหรับโฮสต์ LLM ในท้องถิ่นบนคอมพิวเตอร์
- มีแสงสว่าง สำหรับการสร้างอินเทอร์เฟซที่ใช้งานง่าย
- mistral, deepseekและ รุ่นโอเพนซอร์ซอื่น ๆ สำหรับการตอบคำถามเป็นภาษาธรรมชาติ
รหัส Python พื้นฐานสำหรับตัวอย่างนี้เป็นที่สาธารณะใน ที่เก็บ GitHub ที่นี่– คำแนะนำเพิ่มเติมเกี่ยวกับการดำเนินการตามขั้นตอนด้านเทคนิคในโครงการนี้มีให้ในสิ่งนี้ เอกสารสนับสนุน–
การสอบถามการวิจัยเช่น chatbot ที่ไม่มีคลาวด์
ขั้นตอนแรกในการใช้งานนี้คือการเปิดตัวสภาพแวดล้อมเสมือนจริงที่ใช้งูเหลือมบนคอมพิวเตอร์ส่วนบุคคล สิ่งนี้ช่วยในการรักษาแพ็คเกจและยูทิลิตี้ที่ไม่ซ้ำกันซึ่งป้อนเข้าสู่แอปพลิเคชันนี้เพียงอย่างเดียว เป็นผลให้การตั้งค่าและการกำหนดค่าของแพ็คเกจที่ใช้ใน Python สำหรับแอปพลิเคชันและโปรแกรมอื่น ๆ ยังคงไม่ถูกรบกวน เมื่อติดตั้งสคริปต์จะอ่านและฝังเอกสารการลงทุนโดยใช้รูปแบบการฝัง การฝังตัวเหล่านี้ช่วยให้ LLMs เข้าใจเนื้อหาของเอกสารในระดับละเอียดโดยมีวัตถุประสงค์เพื่อจับความหมายเชิงความหมาย
เนื่องจากโมเดลถูกโฮสต์ผ่าน Ollama บนเครื่องท้องถิ่นเอกสารยังคงปลอดภัยและไม่ออกจากคอมพิวเตอร์ของนักวิเคราะห์ สิ่งนี้มีความสำคัญอย่างยิ่งเมื่อต้องรับมือกับการวิจัยที่เป็นกรรมสิทธิ์ทางการเงินที่ไม่ใช่สาธารณะเช่นในการทำธุรกรรมภาคเอกชนหรือบันทึกการลงทุนภายใน
การสาธิตเชิงปฏิบัติ: การวิเคราะห์เอกสารการลงทุน
ต้นแบบมุ่งเน้นไปที่การย่อยเอกสารการลงทุนแบบยาวเช่นการถอดเสียงโทรหารายได้รายงานนักวิเคราะห์และการเสนองบ เมื่อเอกสาร TXT ถูกโหลดลงในโฟลเดอร์ที่กำหนดของคอมพิวเตอร์ส่วนบุคคลแล้วโมเดลจะประมวลผลและพร้อมที่จะโต้ตอบ การใช้งานนี้สนับสนุนประเภทเอกสารที่หลากหลายตั้งแต่ Microsoft Phrase (.docx) หน้าเว็บไซต์ (.html) ไปจนถึงงานนำเสนอ PowerPoint (.pptx) นักวิเคราะห์สามารถเริ่มสอบถามเอกสารผ่านโมเดลที่เลือกในอินเทอร์เฟซสไตล์แชทบอทแบบง่ายที่แสดงในเว็บเบราว์เซอร์ท้องถิ่น
การใช้อินเทอร์เฟซบนเว็บเบราว์เซอร์ที่ขับเคลื่อนโดย Streamlit นักวิเคราะห์สามารถเริ่มสอบถามเอกสารผ่านรุ่นที่เลือก แม้ว่าสิ่งนี้จะเปิดตัวเว็บเบราว์เซอร์ แต่แอปพลิเคชันก็ไม่ได้โต้ตอบกับอินเทอร์เน็ต การเรนเดอร์ที่ใช้เบราว์เซอร์ใช้ในตัวอย่างนี้เพื่อแสดงส่วนต่อประสานผู้ใช้ที่สะดวก สิ่งนี้สามารถแก้ไขได้เป็นอินเทอร์เฟซบรรทัดคำสั่งหรืออาการดาวน์สตรีมอื่น ๆ ตัวอย่างเช่นหลังจากการรับฟังการโทรหารายได้ของ AAPL หนึ่งอาจถาม:
“ ทิมคุกทำอะไรที่ AAPL”
ภายในไม่กี่วินาที LLM จะวิเคราะห์เนื้อหาจากการถอดเสียงและส่งคืน:
“ …ทิโมธีโดนัลด์คุกเป็นประธานเจ้าหน้าที่บริหาร (ซีอีโอ) ของ Apple Inc …”
ผลลัพธ์นี้ได้รับการตรวจสอบข้ามภายในเครื่องมือซึ่งแสดงให้เห็นว่าหน้าข้อมูลถูกดึงออกมาจากใด เมื่อใช้การคลิกเมาส์ผู้ใช้สามารถขยายรายการ“ แหล่งที่มา” ที่แสดงไว้ด้านล่างแต่ละการตอบกลับในอินเทอร์เฟซที่ใช้เบราว์เซอร์ แหล่งข้อมูลที่แตกต่างกันในการป้อนคำตอบนั้นมีการจัดอันดับตามความเกี่ยวข้อง/ความสำคัญ โปรแกรมสามารถแก้ไขเพื่อแสดงจำนวนการอ้างอิงแหล่งที่แตกต่างกัน คุณลักษณะนี้ช่วยเพิ่มความโปร่งใสและความไว้วางใจในผลลัพธ์ของโมเดล
การสลับแบบจำลองและการกำหนดค่าเพื่อประสิทธิภาพที่เพิ่มขึ้น
คุณลักษณะที่โดดเด่นอย่างหนึ่งคือความสามารถในการสลับระหว่าง LLM ที่แตกต่างกันด้วยการคลิกเพียงครั้งเดียว การสาธิตแสดงให้เห็นถึงความสามารถในการปั่นจักรยานระหว่าง LLM แบบโอเพนซอร์ซเช่น Mistral, Mixtral, Llama และ Deepseek สิ่งนี้แสดงให้เห็นว่ารุ่นที่แตกต่างกันสามารถเสียบเข้ากับสถาปัตยกรรมเดียวกันเพื่อเปรียบเทียบประสิทธิภาพหรือปรับปรุงผลลัพธ์ Ollama เป็นแพ็คเกจซอฟต์แวร์โอเพนซอร์ซที่สามารถติดตั้งได้ในพื้นที่และอำนวยความสะดวกให้กับความยืดหยุ่นนี้ เมื่อมีรุ่นโอเพนซอร์ซมากขึ้น (หรือรุ่นที่มีอยู่ได้รับการอัปเดต) Ollama จึงสามารถดาวน์โหลด/อัปเดตได้ตามลำดับ
ความยืดหยุ่นนี้มีความสำคัญ ช่วยให้นักวิเคราะห์สามารถทดสอบรูปแบบที่เหมาะสมที่สุดของความแตกต่างของงานเฉพาะที่อยู่ในมือเช่นภาษากฎหมายการเปิดเผยทางการเงินหรือบทสรุปการวิจัยทั้งหมดโดยไม่จำเป็นต้องเข้าถึง API ที่ชำระเงินหรือใบอนุญาตทั่วทั้งองค์กร
มีมิติอื่น ๆ ของโมเดลที่สามารถปรับเปลี่ยนเพื่อกำหนดเป้าหมายประสิทธิภาพที่ดีขึ้นสำหรับงาน/วัตถุประสงค์ที่กำหนด โดยทั่วไปแล้วการกำหนดค่าเหล่านี้จะถูกควบคุมโดยไฟล์สแตนด์อโลนซึ่งโดยทั่วไปจะมีชื่อว่า“ config.py” เช่นเดียวกับในโครงการนี้ ตัวอย่างเช่นเกณฑ์ความคล้ายคลึงกันระหว่างชิ้นข้อความในเอกสารอาจถูกปรับเพื่อระบุการจับคู่ที่ใกล้ชิดมากโดยใช้ค่าสูง (พูดมากกว่า 0.9) สิ่งนี้จะช่วยลดเสียงรบกวน แต่อาจพลาดผลลัพธ์ที่เกี่ยวข้องกับความหมายหากเกณฑ์แน่นเกินไปสำหรับบริบทที่เลือก
ในทำนองเดียวกันความยาวก้อนต่ำสุดสามารถใช้ในการระบุและกำจัดวัชพืชข้อความสั้น ๆ ที่ไม่ช่วยเหลือหรือทำให้เข้าใจผิด การพิจารณาที่สำคัญยังเกิดขึ้นจากตัวเลือกขนาดของก้อนและทับซ้อนกันระหว่างข้อความของข้อความ ร่วมกันสิ่งเหล่านี้กำหนดว่าเอกสารถูกแบ่งออกเป็นชิ้น ๆ สำหรับการวิเคราะห์อย่างไร ขนาดก้อนที่ใหญ่ขึ้นช่วยให้บริบทมากขึ้นต่อคำตอบ แต่อาจทำให้การมุ่งเน้นของหัวข้อในการตอบกลับขั้นสุดท้าย ปริมาณของการทับซ้อนทำให้มั่นใจได้ถึงความต่อเนื่องที่ราบรื่นในหมู่ชิ้นที่ตามมา สิ่งนี้ทำให้มั่นใจได้ว่าแบบจำลองสามารถตีความข้อมูลที่ครอบคลุมหลายส่วนของเอกสาร
ในที่สุดผู้ใช้จะต้องกำหนดจำนวนข้อความที่อยู่ในรายการยอดนิยมสำหรับการสืบค้นสำหรับการสืบค้นควรมุ่งเน้นไปที่คำตอบสุดท้าย สิ่งนี้นำไปสู่ความสมดุลระหว่างความเร็วและความเกี่ยวข้อง การใช้ชิ้นเป้าหมายมากเกินไปสำหรับการตอบสนองแบบสอบถามแต่ละครั้งอาจทำให้เครื่องมือช้าลงและป้อนลงในสิ่งรบกวนที่อาจเกิดขึ้น อย่างไรก็ตามการใช้ชิ้นส่วนเป้าหมายน้อยเกินไปอาจเสี่ยงต่อการพลาดบริบทที่สำคัญซึ่งอาจไม่ได้เขียน/อภิปรายในความใกล้ชิดทางภูมิศาสตร์ใกล้เคียงภายในเอกสาร ร่วมกับรุ่นที่แตกต่างกันที่เสิร์ฟผ่าน Ollama ผู้ใช้อาจกำหนดค่าการตั้งค่าที่เหมาะสมที่สุดของพารามิเตอร์การกำหนดค่าเหล่านี้เพื่อให้เหมาะกับงานของพวกเขา
ปรับขนาดสำหรับทีมวิจัย
ในขณะที่การสาธิตเกิดขึ้นในพื้นที่การวิจัยหุ้นความหมายนั้นกว้างขึ้น นักวิเคราะห์รายได้คงที่สามารถโหลดงบเสนอขายและเอกสารตามสัญญาที่เกี่ยวข้องกับพันธบัตรธนารักษ์ บริษัท หรือพันธบัตรเทศบาล นักวิจัยแมโครสามารถนำเสนอสุนทรพจน์ของ Federal Reserve หรือเอกสารแนวโน้มเศรษฐกิจจากธนาคารกลางและนักวิจัยบุคคลที่สาม ทีมงานพอร์ตโฟลิโอสามารถโหลดบันทึกการลงทุนล่วงหน้าหรือรายงานภายใน นักวิเคราะห์ด้านซื้ออาจใช้งานวิจัยจำนวนมาก ตัวอย่างเช่นกองทุนป้องกันความเสี่ยง Marshall Wace ประมวลผลข้อมูลมากกว่า 30 petabytes ในแต่ละวันซึ่งเท่ากับอีเมลเกือบ 400 พันล้านฉบับ–
ดังนั้นกระบวนการโดยรวมในกรอบนี้สามารถปรับขนาดได้:
- เพิ่มเอกสารเพิ่มเติมลงในโฟลเดอร์
- เรียกใช้สคริปต์การฝังที่นำเอกสารเหล่านี้มาใช้
- เริ่มโต้ตอบ/สอบถาม
ขั้นตอนทั้งหมดเหล่านี้สามารถดำเนินการในสภาพแวดล้อมที่ปลอดภัยและมีค่าใช้จ่ายใด ๆ ในการดำเนินงานนอกเหนือจากทรัพยากรการคำนวณในท้องถิ่น
วาง AI ไว้ในมือของนักวิเคราะห์อย่างปลอดภัย
การเพิ่มขึ้นของการกำเนิด AI ไม่จำเป็นต้องหมายถึงการควบคุมข้อมูลการยอมจำนน โดยการกำหนดค่า LLM แบบโอเพนซอร์ซสำหรับการใช้งานส่วนตัวออฟไลน์นักวิเคราะห์สามารถสร้างแอปพลิเคชันภายใน บริษัท เช่น Chatbot ที่กล่าวถึงที่นี่ซึ่งมีความสามารถ-และปลอดภัยกว่า-มากกว่าทางเลือกเชิงพาณิชย์
แนวคิด“ GPT ส่วนตัว” นี้ช่วยให้ผู้เชี่ยวชาญด้านการลงทุน:
- ใช้ AI สำหรับการวิเคราะห์เอกสารโดยไม่เปิดเผยข้อมูลที่ละเอียดอ่อน
- ลดการพึ่งพาเครื่องมือของบุคคลที่สาม
- ปรับแต่งระบบให้เข้ากับเวิร์กโฟลว์การวิจัยที่เฉพาะเจาะจง
codebase แบบเต็มสำหรับแอปพลิเคชันนี้มีอยู่ คนอื่น ๆ และสามารถขยายหรือปรับแต่งเพื่อใช้ในการตั้งค่าการลงทุนของสถาบัน มีหลายจุดของความยืดหยุ่นในสถาปัตยกรรมนี้ซึ่งช่วยให้ผู้ใช้ปลายทางสามารถใช้ตัวเลือกของพวกเขาสำหรับกรณีการใช้งานเฉพาะ คุณสมบัติในตัวเกี่ยวกับการตรวจสอบแหล่งที่มาของการตอบสนองช่วยยืนยันความถูกต้องของเครื่องมือนี้เพื่อหลีกเลี่ยงข้อผิดพลาดทั่วไปของภาพหลอนระหว่าง LLM พื้นที่เก็บข้อมูลนี้มีไว้เพื่อทำหน้าที่เป็นแนวทางและจุดเริ่มต้นสำหรับการสร้างแอปพลิเคชันท้องถิ่นที่ ‘ปรับจูน’ ไปยังความต้องการทั่วทั้งองค์กรหรือความต้องการส่วนบุคคล
AI Generative ไม่จำเป็นต้องประนีประนอมความเป็นส่วนตัวและความปลอดภัยของข้อมูล เมื่อใช้อย่างระมัดระวังมันสามารถเพิ่มความสามารถของมืออาชีพและช่วยให้พวกเขาวิเคราะห์ข้อมูลได้เร็วขึ้นและดีขึ้น เครื่องมือเช่นนี้ทำให้ AI กำเนิดโดยตรงอยู่ในมือของนักวิเคราะห์-ไม่มีใบอนุญาตของบุคคลที่สามไม่มีการประนีประนอมข้อมูลและไม่มีการแลกเปลี่ยนระหว่างข้อมูลเชิงลึกและความปลอดภัย
