在BeautifulSoup中使用机器学习技术进行网页内容分类和推荐

from sklearn.naive_bayes import MultinomialNB
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.pipeline import Pipeline

# 训练数据
train_data = [
    {'text': '皮蛋编程是一个提供编程教学的网站。', 'category': '教育'},
    {'text': 'pidancode.com提供最新的编程技术资讯。', 'category': '科技'},
    {'text': '今天的NBA比赛真精彩啊。', 'category': '体育'},
    {'text': '电影《复仇者联盟》很好看，推荐。', 'category': '娱乐'}
]

# 构建分类器
text_clf = Pipeline([
    ('tfidf', TfidfVectorizer()),
    ('clf', MultinomialNB())
])
text_clf.fit([data['text'] for data in train_data], [data['category'] for data in train_data])

# 预测新数据的类别
new_data = 'pidancode.com是一个提供编程技术资讯的网站。'
predicted = text_clf.predict([new_data])
print(predicted)  # 输出：['科技']

from surprise import Dataset, Reader, KNNBasic
import pandas as pd

# 构建数据
data = {
    'user_id': ['user1', 'user2', 'user1', 'user3', 'user2', 'user3'],
    'item_id': ['item1', 'item2', 'item3', 'item1', 'item4', 'item4'],
    'rating': [4, 3, 2, 5, 4, 3]
}
df = pd.DataFrame(data)

# 训练数据
reader = Reader(rating_scale=(1, 5))
train_data = Dataset.load_from_df(df[['user_id', 'item_id', 'rating']], reader)
trainset = train_data.build_full_trainset()

# 构建推荐系统
algo = KNNBasic()
algo.fit(trainset)

# 推荐新数据
new_data = 'user1'
recommendations = algo.get_neighbors(trainset.to_inner_uid(new_data), k=3)
items = [trainset.to_raw_iid(i) for i in recommendations]
print(items)  # 输出：['item2', 'item3', 'item1']