# 在 data_preprocessor.py 中修改以下关键词列表

# 🧠 心理支持服务（默认）
patient_keywords = ['患者', '病人', '家属', '家人', '确诊', '化疗', '放疗', '手术', '癌症', '肿瘤']
volunteer_keywords = ['志愿者', '志愿', '帮助', '陪伴', '支持', '倾听', '服务', '援助']
medical_keywords = ['医生', '医师', '护士', '专业', '医疗', '临床', '诊断', '用药', '医院']

# 🏥 医疗健康服务
# patient_keywords = ['患者', '病人', '家属', '症状', '诊断', '治疗', '用药', '检查', '康复']
# doctor_keywords = ['医生', '医师', '专家', '主任', '主治', '住院医', '实习医']
# nurse_keywords = ['护士', '护师', '护理', '护士长', '专科护士']

# 🏢 企业客服服务
# customer_keywords = ['客户', '用户', '消费者', '购买', '咨询', '投诉', '建议']
# service_keywords = ['客服', '服务', '支持', '帮助', '解答', '处理']
# technical_keywords = ['技术', '工程师', '专家', '故障', '问题', '修复']

# 🎓 教育培训服务
# student_keywords = ['学生', '学员', '同学', '学习', '课程', '作业', '考试']
# teacher_keywords = ['老师', '教师', '导师', '教授', '讲师', '教学', '指导']
# parent_keywords = ['家长', '父母', '监护人', '关心', '了解', '沟通']

# 在 data_preprocessor.py 中修改情感词汇库

# 🧠 心理支持服务（默认）
positive_words = ['谢谢', '感谢', '帮助', '有用', '好', '棒', '专业', '安慰', '支持', '鼓励', '温暖', '理解', '陪伴', '放心', '舒服', '开心', '满意', '赞']
negative_words = ['担心', '害怕', '痛苦', '难受', '焦虑', '不好', '没用', '绝望', '沮丧', '恐惧', '抑郁', '烦躁', '失望', '无助', '孤独', '崩溃', '压抑']
neutral_words = ['咨询', '询问', '了解', '知道', '请教', '想问', '如何', '什么', '怎么']

# 🏥 医疗健康服务
# positive_words = ['好转', '康复', '治愈', '有效', '改善', '缓解', '稳定', '正常', '健康']
# negative_words = ['疼痛', '不适', '恶化', '严重', '危险', '紧急', '并发症', '副作用', '耐药']
# neutral_words = ['检查', '诊断', '治疗', '用药', '复查', '随访', '观察']

# 🏢 企业客服服务
# positive_words = ['满意', '好评', '推荐', '解决', '快速', '专业', '贴心', '周到', '感谢']
# negative_words = ['不满', '投诉', '差评', '慢', '差', '敷衍', '推诿', '态度差', '失望']
# neutral_words = ['咨询', '了解', '询问', '处理', '跟进', '反馈', '建议']

# 在 monthly_analyzer.py 中修改主题关键词

# 🧠 心理支持服务（默认）
conversation_themes = {
    'symptom_management': ['症状', '疼痛', '不适', '感觉', '表现', '反应'],
    'emotional_support': ['情感', '心情', '情绪', '心理', '安慰', '支持', '陪伴'],
    'treatment_info': ['治疗', '用药', '手术', '化疗', '放疗', '康复'],
    'daily_care': ['护理', '照顾', '生活', '饮食', '运动', '休息'],
    'family_support': ['家属', '家人', '陪伴', '关心', '理解', '支持']
}

# 🏥 医疗健康服务
# conversation_themes = {
#     'diagnosis': ['诊断', '检查', '化验', '影像', '病理', '确诊'],
#     'treatment': ['治疗', '用药', '手术', '康复', '理疗', '中医'],
#     'prevention': ['预防', '保健', '体检', '疫苗', '筛查', '早期'],
#     'complications': ['并发症', '副作用', '风险', '注意事项', '禁忌'],
#     'follow_up': ['随访', '复查', '监测', '调整', '评估']
# }

# 🏢 企业客服服务
# conversation_themes = {
#     'product_inquiry': ['产品', '功能', '价格', '规格', '比较', '推荐'],
#     'technical_support': ['技术', '故障', '问题', '错误', '修复', '升级'],
#     'order_service': ['订单', '支付', '物流', '退换', '发票', '售后'],
#     'complaint_handling': ['投诉', '不满', '问题', '处理', '解决', '赔偿'],
#     'suggestion_feedback': ['建议', '反馈', '意见', '改进', '优化', '新功能']
# }

# 自动编码检测
encodings = ['utf-8', 'gbk', 'gb2312', 'cp936']
for encoding in encodings:
    try:
        df = pd.read_csv(file_path, encoding=encoding)
        break
    except UnicodeDecodeError:
        continue

# 列名标准化映射
standard_columns = [
    'timestamp', 'source', 'user_id', 'contact_type', 
    'title', 'message_type', 'user_agreement', 'user_reply',
    'auto_reply', 'notes', 'dialogue_content'
]

# JSON对话内容提取
content_pattern = r'"content"\s*:\s*"([^"]*)"'
content_matches = re.findall(content_pattern, text)

# 关键词匹配算法
patient_keywords = ['患者', '病人', '家属', '家人', '确诊', '化疗', ...]
volunteer_keywords = ['志愿者', '志愿', '帮助', '陪伴', '支持', ...]
medical_keywords = ['医生', '医师', '护士', '专业', '医疗', ...]

# 情感词汇库
positive_words = ['谢谢', '感谢', '帮助', '有用', '好', '棒', ...]
negative_words = ['担心', '害怕', '痛苦', '难受', '焦虑', ...]
neutral_words = ['咨询', '询问', '了解', '知道', '请教', ...]

from data_preprocessor import XiaoXinBaoDataProcessor

# 初始化处理器
processor = XiaoXinBaoDataProcessor("input/filtered_data.csv")

# 执行预处理
if processor.load_data():
    processor.clean_column_names()
    processor.parse_timestamp()
    processor.extract_dialogue_content()
    processor.categorize_users()
    processor.analyze_sentiment()
    
    # 保存结果
    summary = processor.save_processed_data("processed_data")
    print("处理完成:", summary)

from monthly_analyzer import MonthlyAnalyzer
import pandas as pd

# 加载月度数据
month_data = pd.read_csv("processed_data/data_2025-07.csv")

# 执行分析
analyzer = MonthlyAnalyzer(month_data)
report = analyzer.comprehensive_analysis()

# 查看结果
print("基础指标:", report['basic_metrics'])
print("主要洞察:", report['insights'])
print("改进建议:", report['recommendations'])

# 批量处理多个文件
import glob
from pathlib import Path

data_files = glob.glob("data/*.csv")
for file_path in data_files:
    processor = XiaoXinBaoDataProcessor(file_path)
    if processor.load_data():
        # 执行处理...
        output_dir = f"processed_data/{Path(file_path).stem}"
        processor.save_processed_data(output_dir)

class XiaoXinBaoDataProcessor:
    """数据预处理器主类"""
    
    def __init__(self, file_path: str):
        """初始化处理器
        
        Args:
            file_path: CSV文件路径
        """
    
    def load_data(self) -> bool:
        """加载数据
        
        Returns:
            bool: 加载成功返回True
        """
    
    def clean_column_names(self) -> List[str]:
        """清理列名
        
        Returns:
            List[str]: 标准化后的列名列表
        """
    
    def parse_timestamp(self) -> int:
        """解析时间戳
        
        Returns:
            int: 成功解析的时间戳数量
        """
    
    def extract_dialogue_content(self) -> float:
        """提取对话内容
        
        Returns:
            float: 平均对话长度
        """
    
    def categorize_users(self) -> Dict[str, int]:
        """用户分类
        
        Returns:
            Dict[str, int]: 用户类型分布
        """
    
    def analyze_sentiment(self) -> Dict[str, int]:
        """情感分析
        
        Returns:
            Dict[str, int]: 情感分布
        """
    
    def save_processed_data(self, output_dir: str) -> Dict:
        """保存处理结果
        
        Args:
            output_dir: 输出目录
            
        Returns:
            Dict: 处理摘要
        """

class MonthlyAnalyzer:
    """月度分析器主类"""
    
    def __init__(self, month_data: pd.DataFrame):
        """初始化分析器
        
        Args:
            month_data: 月度数据DataFrame
        """
    
    def basic_metrics(self) -> Dict:
        """计算基础指标
        
        Returns:
            Dict: 基础指标字典
        """
    
    def conversation_analysis(self) -> Dict[str, int]:
        """对话主题分析
        
        Returns:
            Dict[str, int]: 主题统计
        """
    
    def user_journey_analysis(self) -> Dict:
        """用户旅程分析
        
        Returns:
            Dict: 用户旅程数据
        """
    
    def pain_points_identification(self) -> List[Dict]:
        """痛点识别
        
        Returns:
            List[Dict]: 痛点列表
        """
    
    def comprehensive_analysis(self) -> Dict:
        """综合分析
        
        Returns:
            Dict: 完整分析报告
        """

def convert_numpy_types(obj) -> Any:
    """转换numpy类型为Python原生类型
    
    Args:
        obj: 待转换对象
        
    Returns:
        Any: 转换后的对象
    """

def process_all_months(input_dir: str) -> List[Dict]:
    """批量处理所有月份数据
    
    Args:
        input_dir: 输入目录路径
        
    Returns:
        List[Dict]: 所有月份的分析报告列表
    """

# 患者家属关键词
patient_keywords = [
    '患者', '病人', '家属', '家人', '老公', '老婆', 
    '妈妈', '爸爸', '儿子', '女儿', '确诊', '化疗', 
    '放疗', '手术', '癌症', '肿瘤', '检查', '治疗'
]

# 志愿者关键词  
volunteer_keywords = [
    '志愿者', '志愿', '帮助', '陪伴', '支持', 
    '倾听', '服务', '援助'
]

# 医疗专业人员关键词
medical_keywords = [
    '医生', '医师', '护士', '专业', '医疗', 
    '临床', '诊断', '用药', '医院'
]

# 正面情感词汇
positive_words = [
    '谢谢', '感谢', '帮助', '有用', '好', '棒', 
    '专业', '安慰', '支持', '鼓励', '温暖', '理解', 
    '陪伴', '放心', '舒服', '开心', '满意', '赞'
]

# 负面情感词汇
negative_words = [
    '担心', '害怕', '痛苦', '难受', '焦虑', '不好', 
    '没用', '绝望', '沮丧', '恐惧', '抑郁', '烦躁', 
    '失望', '无助', '孤独', '崩溃', '压抑'
]

# 中性情感词汇
neutral_words = [
    '咨询', '询问', '了解', '知道', '请教', 
    '想问', '如何', '什么', '怎么'
]

# 性能基准测试
import time

def performance_test():
    start_time = time.time()
    
    # 执行完整分析流程
    processor = XiaoXinBaoDataProcessor("test_data.csv")
    processor.load_data()
    # ... 其他处理步骤
    
    end_time = time.time()
    print(f"处理耗时: {end_time - start_time:.2f}秒")

# 生成测试CSV数据
test_data = """时间,来源,使用者,联系方式,标题,消息总数,用户赞同反馈,用户反对反馈,自定义反馈,标注答案,对话详情
2025/7/28 14:32,外部接入,user1,'-,测试,1,[],[],[],[],"[{""type"":""text"",""text"":{""content"":""我是癌症患者家属，很担心""}}]"
2025/7/29 15:30,外部接入,user2,'-,测试,1,[],[],[],[],"[{""type"":""text"",""text"":{""content"":""谢谢志愿者的帮助和陪伴""}}]"
"""

with open("test_data.csv", "w", encoding="utf-8") as f:
    f.write(test_data)

def validate_data_quality(df):
    """数据质量验证"""
    issues = []
    
    # 检查必需列
    required_cols = ['timestamp', 'user_id', 'clean_dialogue']
    for col in required_cols:
        if col not in df.columns:
            issues.append(f"缺少必需列: {col}")
    
    # 检查数据完整性
    if df['timestamp'].isna().any():
        issues.append("存在空时间戳")
    
    if df['clean_dialogue'].str.len().mean() < 10:
        issues.append("对话内容过短，可能提取失败")
    
    return issues

def validate_analysis_results(report):
    """分析结果验证"""
    assert 'basic_metrics' in report
    assert 'insights' in report
    assert 'recommendations' in report
    
    # 验证指标合理性
    metrics = report['basic_metrics']
    assert metrics['total_dialogues'] > 0
    assert metrics['avg_dialogue_length'] > 0
    
    print("分析结果验证通过")

# 系统会自动尝试多种编码，如果仍然失败：
# 1. 检查文件编码
file -i input/filtered_data.csv

# 2. 手动转换编码
iconv -f gbk -t utf-8 input/filtered_data.csv > input/filtered_data_utf8.csv

# 3. 使用记事本另存为UTF-8格式

# 系统已内置convert_numpy_types函数解决此问题
# 如果仍有问题，手动转换：
import json
result = convert_numpy_types(analysis_result)
json.dumps(result, ensure_ascii=False)

# 1. 分批处理大文件
def process_large_file(file_path, chunk_size=1000):
    for chunk in pd.read_csv(file_path, chunksize=chunk_size):
        # 处理每个块
        process_chunk(chunk)

# 2. 优化内存使用
df = df.astype({
    'user_id': 'category',
    'user_type': 'category',
    'sentiment': 'category'
})

# 1. 检查时间格式
print(df['timestamp'].head())

# 2. 手动指定格式
df['timestamp'] = pd.to_datetime(df['timestamp'], format='%Y/%m/%d %H:%M')

# 3. 添加新的时间格式支持
time_formats = [
    '%Y/%m/%d %H:%M', 
    '%Y-%m-%d %H:%M:%S', 
    '%Y/%m/%d', 
    '%Y-%m-%d',
    '%d/%m/%Y %H:%M',  # 新增格式
    '%m/%d/%Y %H:%M'   # 新增格式
]

# 1. 检查原始对话格式
print(df['dialogue_content'].iloc[0])

# 2. 调整提取正则表达式
content_pattern = r'"content"\s*:\s*"([^"]*)"'
# 或尝试更宽松的模式
content_pattern = r'content["\s:]*([^"]+)'

# 3. 手动处理特殊格式
def custom_extract_dialogue(text):
    # 根据实际数据格式自定义提取逻辑
    pass

import logging

# 配置日志
logging.basicConfig(
    level=logging.DEBUG,
    format='%(asctime)s - %(levelname)s - %(message)s',
    handlers=[
        logging.FileHandler('analysis.log'),
        logging.StreamHandler()
    ]
)

# 在关键位置添加日志
logging.info(f"数据加载完成，形状: {df.shape}")
logging.debug(f"列名: {df.columns.tolist()}")

# 分块读取
def process_large_file(file_path):
    chunk_list = []
    for chunk in pd.read_csv(file_path, chunksize=5000):
        # 处理chunk
        processed_chunk = process_chunk(chunk)
        chunk_list.append(processed_chunk)
    
    # 合并结果
    return pd.concat(chunk_list, ignore_index=True)

# 数据类型优化
def optimize_dtypes(df):
    for col in df.columns:
        if df[col].dtype == 'object':
            if df[col].nunique() < 50:
                df[col] = df[col].astype('category')
    return df

from multiprocessing import Pool
import os

def parallel_monthly_analysis(monthly_files):
    with Pool(os.cpu_count()) as pool:
        results = pool.map(analyze_single_month, monthly_files)
    return results

def data_quality_report(df):
    report = {
        'total_rows': len(df),
        'missing_values': df.isnull().sum().to_dict(),
        'duplicate_rows': df.duplicated().sum(),
        'data_types': df.dtypes.to_dict()
    }
    
    print("数据质量报告:")
    for key, value in report.items():
        print(f"{key}: {value}")
    
    return report

def clean_anomalies(df):
    # 移除异常时间戳
    df = df[df['timestamp'].notna()]
    
    # 移除过短的对话
    df = df[df['clean_dialogue'].str.len() > 5]
    
    # 移除重复对话
    df = df.drop_duplicates(subset=['user_id', 'clean_dialogue'])
    
    return df

# 在monthly_analyzer.py中添加新方法
class MonthlyAnalyzer:
    def new_analysis_method(self):
        """新的分析方法"""
        # 实现分析逻辑
        result = self.analyze_specific_aspect()
        return result
    
    def comprehensive_analysis(self):
        """更新综合分析以包含新功能"""
        analysis_result = {
            # 现有分析...
            'new_analysis': self.new_analysis_method()
        }
        return analysis_result

# 在data_preprocessor.py中扩展分类逻辑
def categorize_users(self):
    # 添加新的关键词
    new_category_keywords = ['新类型', '关键词']
    
    # 更新分类逻辑
    def classify_user(dialogue):
        # 现有分类逻辑...
        
        # 新分类判断
        new_score = sum(1 for word in new_category_keywords if word in dialogue_str)
        if new_score > threshold:
            return 'new_category'
    
    # 应用新分类
    self.df['user_type'] = self.df['clean_dialogue'].apply(classify_user)

# 创建新的数据处理器
class NewDataSourceProcessor(XiaoXinBaoDataProcessor):
    def load_data(self):
        """重写数据加载方法支持新格式"""
        # 新格式的加载逻辑
        pass
    
    def extract_dialogue_content(self):
        """重写内容提取方法"""
        # 新格式的内容提取逻辑
        pass

# 在unit_tests.py中添加新测试
class TestNewFeature(unittest.TestCase):
    def setUp(self):
        """设置测试数据"""
        self.test_data = create_test_data()
    
    def test_new_functionality(self):
        """测试新功能"""
        result = new_function(self.test_data)
        self.assertEqual(result, expected_result)
    
    def test_edge_cases(self):
        """测试边界情况"""
        # 空数据测试
        result = new_function(pd.DataFrame())
        self.assertIsNotNone(result)
        
        # 异常数据测试
        malformed_data = create_malformed_data()
        with self.assertRaises(ValueError):
            new_function(malformed_data)

def test_integration_with_new_feature():
    """测试新功能的集成"""
    # 完整流程测试
    processor = XiaoXinBaoDataProcessor("test_data.csv")
    processor.load_data()
    # ... 执行所有步骤包括新功能
    
    # 验证结果
    assert 'new_feature_result' in final_report

def complex_function(param1: str, param2: int) -> Dict[str, Any]:
    """复杂函数的详细说明
    
    这个函数执行复杂的数据处理逻辑，包括...
    
    Args:
        param1: 参数1的说明
        param2: 参数2的说明
    
    Returns:
        Dict[str, Any]: 返回值的详细说明
        
    Raises:
        ValueError: 当参数无效时抛出
        
    Example:
        >>> result = complex_function("test", 42)
        >>> print(result['key'])
        value
    """
    # 详细的实现逻辑注释
    pass