Running a module with Scalene

[MrHup]

Hello, I have a relatively simple aiohttp python app that I would like to analyse using Scalene. The way I run the module is using python -m myApp. If I were to use Scalene, how would I proceed?

Am I required to use a python script as an entry point or is there a way to attach it to a module directly? Thank you in advance!

[rupendra-sharma]

I am also having the similar needs and having hard time to understand how to profile many file and functions of a python app using Scalene. Would appreciate a suggestion.

[emeryberger]

You should be able to run Scalene on a module as follows:
python3 -m scalene --- -m yourModule (the --- forces Scalene to not consume any arguments to yourModule).

[rpdelaney]

Thanks @emeryberger . Here is a simple cli utility with a specific entrypoint: https://github.com/rpdelaney/downforeveryone/blob/main/downforeveryone/isup.py#L89

Since the entrypoint is unreachable without invoking the build system, how would you suggest I profile this? My attempts are only profiling the imports:

$ python3 -m scalene --cli --- -m downforeveryone.isup google.com
                                                            Memory usage: ██ (max: 10.094 MB, growth rate: 101%)
                                /Users/ryan/src/me/downforeveryone/downforeveryone/isup.py: % of time = 100.00% (206.578ms) out of 206.578ms.
       ╷       ╷       ╷       ╷        ╷       ╷               ╷       ╷
       │Time   │–––––– │–––––– │Memory  │–––––– │–––––––––––    │Copy   │
  Line │Python │native │system │Python  │peak   │timeline/%     │(MB/s) │/Users/ryan/src/me/downforeveryone/downforeveryone/isup.py
╺━━━━━━┿━━━━━━━┿━━━━━━━┿━━━━━━━┿━━━━━━━━┿━━━━━━━┿━━━━━━━━━━━━━━━┿━━━━━━━┿━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╸
     1 │       │       │       │        │       │               │       │"""Checks if a website is down for everyone or just you, via isup.me.
     2 │       │       │       │        │       │               │       │
     3 │       │       │       │        │       │               │       │Usage example when importing this module:
     4 │       │       │       │        │       │               │       │
     5 │       │       │       │        │       │               │       │    import downforeveryone.isup as isup
     6 │       │       │       │        │       │               │       │
     7 │       │       │       │        │       │               │       │    isup_message, isup_status == isup.isitup("https://a.website")
     8 │       │       │       │        │       │               │       │
     9 │       │       │       │        │       │               │       │    if isup_status == 0:
    10 │       │       │       │        │       │               │       │        print("down for everyone")
    11 │       │       │       │        │       │               │       │    elif isup_status == 1:
    12 │       │       │       │        │       │               │       │        print("it's just you")
    13 │       │       │       │        │       │               │       │    elif isup_status == 3:
    14 │       │       │       │        │       │               │       │        print("there was an error")
    15 │       │       │       │        │       │               │       │"""
    16 │       │       │       │        │       │               │       │import sys
    17 │       │       │       │        │       │               │       │import traceback
    18 │       │       │       │        │       │               │       │from http import HTTPStatus
    19 │       │       │       │        │       │               │       │from json.decoder import JSONDecodeError
    20 │       │       │       │        │       │               │       │from typing import Any, Dict, Tuple
    21 │       │       │       │        │       │               │       │
    22 │   20% │   61% │  19%  │ 100%   │   10M │█ 100%         │   810 │import requests
    23 │       │       │       │        │       │               │       │from requests.exceptions import RequestException
    24 │       │       │       │        │       │               │       │
    25 │       │       │       │        │       │               │       │from downforeveryone import cli
    26 │       │       │       │        │       │               │       │from downforeveryone.constants import API_URL, QUERY_HEADERS
    27 │       │       │       │        │       │               │       │
    28 │       │       │       │        │       │               │       │
    29 │       │       │       │        │       │               │       │def _handle_response(response: Dict[str, Any]) -> Tuple[str, int]:
    30 │       │       │       │        │       │               │       │    """Handle isup.me API response.
    31 │       │       │       │        │       │               │       │
    32 │       │       │       │        │       │               │       │    Args:
    33 │       │       │       │        │       │               │       │        response: A dict representation of the received json response
    34 │       │       │       │        │       │               │       │
    35 │       │       │       │        │       │               │       │    Returns: A status code
    36 │       │       │       │        │       │               │       │        0       The site is down
    37 │       │       │       │        │       │               │       │        1       The site is up
    38 │       │       │       │        │       │               │       │        3       Error state
    39 │       │       │       │        │       │               │       │
    40 │       │       │       │        │       │               │       │    """
    41 │       │       │       │        │       │               │       │    isdown = response.get("isDown")
    42 │       │       │       │        │       │               │       │
    43 │       │       │       │        │       │               │       │    if isdown is True:
    44 │       │       │       │        │       │               │       │        return "down for everyone.", 0
    45 │       │       │       │        │       │               │       │    elif isdown is False:
    46 │       │       │       │        │       │               │       │        return "just you.", 1
    47 │       │       │       │        │       │               │       │
    48 │       │       │       │        │       │               │       │    return (
    49 │       │       │       │        │       │               │       │        f"There was a problem with the request. response was:\n{response}"
    50 │       │       │       │        │       │               │       │    ), 3
    51 │       │       │       │        │       │               │       │
    52 │       │       │       │        │       │               │       │
    53 │       │       │       │        │       │               │       │def isitup(url: str) -> Tuple[str, int]:
    54 │       │       │       │        │       │               │       │    """Check if a URL is up. Returns a status code.
    55 │       │       │       │        │       │               │       │
    56 │       │       │       │        │       │               │       │    Args:
    57 │       │       │       │        │       │               │       │        url: URL to the site to be checked
    58 │       │       │       │        │       │               │       │
    59 │       │       │       │        │       │               │       │    Returns: A human-readable status message, and a status code
    60 │       │       │       │        │       │               │       │        0       The site is down
    61 │       │       │       │        │       │               │       │        1       The site is up
    62 │       │       │       │        │       │               │       │        3       Error state
    63 │       │       │       │        │       │               │       │
    64 │       │       │       │        │       │               │       │    """
    65 │       │       │       │        │       │               │       │    try:
    66 │       │       │       │        │       │               │       │        response = requests.get(
    67 │       │       │       │        │       │               │       │            API_URL.format(domain=url),
    68 │       │       │       │        │       │               │       │            headers=QUERY_HEADERS,
    69 │       │       │       │        │       │               │       │        )
    70 │       │       │       │        │       │               │       │    except RequestException as rexc:
    71 │       │       │       │        │       │               │       │        title = type(rexc).__name__
    72 │       │       │       │        │       │               │       │        message = str(rexc)
    73 │       │       │       │        │       │               │       │        return (f"{title}: {message}"), 3
    74 │       │       │       │        │       │               │       │
    75 │       │       │       │        │       │               │       │    if response.status_code != HTTPStatus.OK.value:
    76 │       │       │       │        │       │               │       │        status_name = HTTPStatus(response.status_code).description
    77 │       │       │       │        │       │               │       │        return (f"{response.status_code} {status_name}"), 3
    78 │       │       │       │        │       │               │       │
    79 │       │       │       │        │       │               │       │    try:
    80 │       │       │       │        │       │               │       │        jsondata = response.json()
    81 │       │       │       │        │       │               │       │    except JSONDecodeError as jde:
    82 │       │       │       │        │       │               │       │        title = type(jde).__name__
    83 │       │       │       │        │       │               │       │        message = str(jde)
    84 │       │       │       │        │       │               │       │        return (f"{title}: {message}"), 3
    85 │       │       │       │        │       │               │       │
    86 │       │       │       │        │       │               │       │    return _handle_response(jsondata)
    87 │       │       │       │        │       │               │       │
    88 │       │       │       │        │       │               │       │
    89 │       │       │       │        │       │               │       │def main() -> None:
    90 │       │       │       │        │       │               │       │    """Provide the console entrypoint."""
    91 │       │       │       │        │       │               │       │    args = cli.parse_args()
    92 │       │       │       │        │       │               │       │
    93 │       │       │       │        │       │               │       │    try:
    94 │       │       │       │        │       │               │       │        message, exit_code = isitup(args.url)
    95 │       │       │       │        │       │               │       │    except Exception:
    96 │       │       │       │        │       │               │       │        exit_code = 3
    97 │       │       │       │        │       │               │       │        traceback.print_exc()
    98 │       │       │       │        │       │               │       │    else:
    99 │       │       │       │        │       │               │       │        output_device = sys.stderr if exit_code == 3 else sys.stdout
   100 │       │       │       │        │       │               │       │        print(message, file=output_device)
   101 │       │       │       │        │       │               │       │
   102 │       │       │       │        │       │               │       │    sys.exit(exit_code)
   103 │       │       │       │        │       │               │       │
       ╵       ╵       ╵       ╵        ╵       ╵               ╵       ╵
Top PEAK memory consumption, by line:
(1)    22:    10 MB
$

[rpdelaney]

I got it working by creating a wrapper:

import sys
from downforeveryone.isup import main

if __name__ == "__main__":
    sys.argv[0] = "downforeveryone.isup:main"
    main()

Now I was able to profile it like so:

$ python3 -m scalene --cli --- scalene wrapper.py google.com