Wie man Streaming-Antworten mit Pinecone hinzufügt (Schritt für Schritt)

Vergessen Sie nicht, nach sich selbst aufzuräumen. Es ist einfach, hängende Streams zu hinterlassen, und das kann zu unerwartetem Verhalten führen oder die Kosten erhöhen, wenn Sie mit Phantomressourcen zu kämpfen haben. So wie damals, als ich vergessen habe, einen Testindex zu löschen. Sie wollen nicht diese Person sein!

Die Fallstricke

• Datenformatfehler: Glauben Sie mir, wenn Ihre Datenstruktur nicht den Erwartungen von Pinecone entspricht, werden Sie sich die Haare raufen, während Sie versuchen zu debuggen.
• Stream-Management: Streaming hat seine Eigenheiten. Das Abonnieren und Abbestellen sollte sauber sein; andernfalls erhalten Sie möglicherweise doppelte Daten.
• Rate Limits: Überprüfen Sie die API-Ratenlimits von Pinecone. Wenn Sie diese erreichen, könnten Ihre Antworten verzögert und unzuverlässig werden.
• Datenmenge: Stellen Sie sicher, dass die über Streams geschobenen Daten handhabbar sind. Große Blobs könnten die Echtzeitleistungsfähigkeit verringern.

Vollständiger Code

import pinecone

# Pinecone-Client initialisieren
pinecone.init(api_key='your-api-key', environment='us-west1-gcp')
index_name = 'sample-index'
if index_name not in pinecone.list_indexes():
 pinecone.create_index(index_name)

# Mit dem Index verbinden
index = pinecone.Index(index_name)

# Beispieldaten zum Indizieren
data = [
 {'id': '1', 'values': [0.1, 0.2, 0.3]},
 {'id': '2', 'values': [0.4, 0.5, 0.6]},
] 

# Daten in den Index einfügen
index.upsert(vectors=data)

# Erstellen Sie einen Stream, der Daten abruft, sobald sie verfügbar sind
from pinecone import Stream
stream = Stream(index=index)

# Definieren Sie einen Callback zur Verarbeitung jeder Antwort
def callback(response):
 print("Received:", response)

# Abonnieren Sie den Stream
stream.subscribe(callback)

# Simulieren Sie das Hinzufügen neuer Elemente zum Index
def add_data(new_data):
 index.upsert(vectors=new_data)

# Neue Daten hinzufügen, um sie gestreamt zu sehen
new_data = [{'id': '3', 'values': [0.7, 0.8, 0.9]}]
add_data(new_data)

# Stoppen Sie den Stream, wenn Sie fertig sind
stream.unsubscribe()
pinecone.delete_index(index_name)